Separate malloc debug library. Removal of ASN_COMPILED-#ifdefs.
[yaz-moved-to-github.git] / zutil / pquery.c
index 92e45d4..0df4c1b 100644 (file)
@@ -1,100 +1,8 @@
 /*
- * Copyright (c) 1995-1998, Index Data.
+ * Copyright (c) 1995-2001, Index Data.
  * See the file LICENSE for details.
- * Sebastian Hammer, Adam Dickmeiss
- *
- * $Log: pquery.c,v $
- * Revision 1.6  2001-03-07 13:24:40  adam
- * Member and_not in Z_Operator is kept for backwards compatibility.
- * Added support for definition of CCL operators in field spec file.
- *
- * Revision 1.5  2001/02/21 13:46:54  adam
- * C++ fixes.
- *
- * Revision 1.4  1999/12/21 16:25:20  adam
- * Fixed handling of default/inherited attributes.
- *
- * Revision 1.3  1999/12/20 15:20:13  adam
- * Implemented ccl_pquery to convert from CCL tree to prefix query.
- *
- * Revision 1.2  1999/11/30 13:47:12  adam
- * Improved installation. Moved header files to include/yaz.
- *
- * Revision 1.1  1999/06/08 10:10:16  adam
- * New sub directory zutil. Moved YAZ Compiler to be part of YAZ tree.
- *
- * Revision 1.22  1999/04/20 09:56:49  adam
- * Added 'name' paramter to encoder/decoder routines (typedef Odr_fun).
- * Modified all encoders/decoders to reflect this change.
- *
- * Revision 1.21  1998/10/13 16:03:37  adam
- * Better checking for invalid OID's in p_query_rpn.
- *
- * Revision 1.20  1998/03/31 15:13:20  adam
- * Development towards compiled ASN.1.
- *
- * Revision 1.19  1998/03/05 08:09:03  adam
- * Minor change to make C++ happy.
- *
- * Revision 1.18  1998/02/11 11:53:36  adam
- * Changed code so that it compiles as C++.
- *
- * Revision 1.17  1997/11/24 11:33:57  adam
- * Using function odr_nullval() instead of global ODR_NULLVAL when
- * appropriate.
- *
- * Revision 1.16  1997/09/29 13:19:00  adam
- * Added function, oid_ent_to_oid, to replace the function
- * oid_getoidbyent, which is not thread safe.
- *
- * Revision 1.15  1997/09/29 07:13:43  adam
- * Changed type of a few variables to avoid warnings.
- *
- * Revision 1.14  1997/09/22 12:33:41  adam
- * Fixed bug introduced by previous commit.
- *
- * Revision 1.13  1997/09/17 12:10:42  adam
- * YAZ version 1.4.
- *
- * Revision 1.12  1997/09/01 08:54:13  adam
- * New windows NT/95 port using MSV5.0. Made prefix query handling
- * thread safe. The function options ignores empty arguments when met.
- *
- * Revision 1.11  1996/11/11 13:15:29  adam
- * Added proximity operator.
- *
- * Revision 1.10  1996/08/12 14:10:35  adam
- * New function p_query_attset to define default attribute set.
- *
- * Revision 1.9  1996/03/15  11:03:46  adam
- * Attribute set can be set globally for a query with the @attrset
- * operator. The @attr operator has an optional attribute-set specifier
- * that sets the attribute set locally.
- *
- * Revision 1.8  1996/01/02  11:46:56  quinn
- * Changed 'operator' to 'roperator' to avoid C++ conflict.
- *
- * Revision 1.7  1995/09/29  17:12:36  quinn
- * Smallish
- *
- * Revision 1.6  1995/09/27  15:03:03  quinn
- * Modified function heads & prototypes.
- *
- * Revision 1.5  1995/06/15  12:31:02  quinn
- * *** empty log message ***
- *
- * Revision 1.4  1995/06/15  07:45:19  quinn
- * Moving to v3.
- *
- * Revision 1.3  1995/06/14  11:06:35  adam
- * Bug fix: Attributes wasn't interpreted correctly!
- *
- * Revision 1.2  1995/05/26  08:56:11  adam
- * New function: p_query_scan.
- *
- * Revision 1.1  1995/05/22  15:31:49  adam
- * New function, p_query_rpn, to convert from prefix (ascii) to rpn (asn).
  *
+ * $Id: pquery.c,v 1.11 2001-11-13 23:00:43 adam Exp $
  */
 
 #include <stdio.h>
@@ -120,7 +28,8 @@ struct lex_info {
 
 static Z_RPNStructure *rpn_structure (struct lex_info *li, ODR o, oid_proto, 
                                       int num_attr, int max_attr, 
-                                      int *attr_list, oid_value *attr_set);
+                                      int *attr_list, char **attr_clist,
+                                     oid_value *attr_set);
 
 static enum oid_value query_oid_getvalbyname (struct lex_info *li)
 {
@@ -146,6 +55,7 @@ static int compare_term (struct lex_info *li, const char *src, size_t off)
 
 static int query_token (struct lex_info *li)
 {
+    int sep_char = ' ';
     const char *sep_match;
     const char **qptr = &li->query_buf;
 
@@ -156,27 +66,23 @@ static int query_token (struct lex_info *li)
     li->lex_len = 0;
     if ((sep_match = strchr (li->left_sep, **qptr)))
     {
-        int sep_index = sep_match - li->left_sep;
-        
+       sep_char = li->right_sep[sep_match - li->left_sep];
         ++(*qptr);
-        li->lex_buf = *qptr;
-        while (**qptr && **qptr != li->right_sep[sep_index])
-        {
-            ++(li->lex_len);
-            ++(*qptr);
-        }
-        if (**qptr)
-            ++(*qptr);
     }
-    else
+    li->lex_buf = *qptr;
+    
+    while (**qptr && **qptr != sep_char)
     {
-        li->lex_buf = *qptr;
-        while (**qptr && **qptr != ' ')
-        {
-            ++(li->lex_len);
-            ++(*qptr);
-        }
+       if (**qptr == '\\')
+       {
+           ++(li->lex_len);
+           ++(*qptr);
+       }
+       ++(li->lex_len);
+       ++(*qptr);
     }
+    if (**qptr)
+       ++(*qptr);
     if (li->lex_len >= 1 && li->lex_buf[0] == li->escape_char)
     {
        if (compare_term (li, "and", 1))
@@ -204,10 +110,114 @@ static int lex (struct lex_info *li)
     return li->query_look = query_token (li);
 }
 
+static int escape_string(char *out_buf, const char *in, int len)
+{
+
+    char *out = out_buf;
+    while (--len >= 0)
+       if (*in == '\\' && len > 0)
+       {
+           --len;
+           switch (*++in)
+           {
+           case 't':
+               *out++ = '\t';
+               break;
+           case 'n':
+               *out++ = '\n';
+               break;
+           case 'r':
+               *out++ = '\r';
+               break;
+           case 'f':
+               *out++ = '\f';
+               break;
+           case 'x':
+               if (len > 1)
+               {
+                   char s[4];
+                   int n = 0;
+                   s[0] = *++in;
+                   s[1] = *++in;
+                   s[2] = '\0';
+                   len = len - 2;
+                   sscanf (s, "%x", &n);
+                   *out++ = n;
+               }
+               break;
+           case '0':
+           case '1':
+           case '2':
+           case '3':
+               if (len > 1)
+               {
+                   char s[4];
+                   int n = 0;
+                   s[0] = *in;
+                   s[1] = *++in;                   
+                   s[2] = *++in;
+                   s[3] = '\0';
+                   len = len - 2;
+                   sscanf (s, "%o", &n);
+                   *out++ = n;
+               }
+               break;
+           default:
+               *out++ = *in;
+               break;
+           }
+           in++;
+       }
+       else
+           *out++ = *in++;
+    return out - out_buf;
+}
+
+static int p_query_parse_attr(struct lex_info *li, ODR o,
+                             int num_attr, int *attr_list,
+                             char **attr_clist, oid_value *attr_set)
+{
+    const char *cp;
+    if (!(cp = strchr (li->lex_buf, '=')) ||
+       (size_t) (cp-li->lex_buf) > li->lex_len)
+    {
+       attr_set[num_attr] = query_oid_getvalbyname (li);
+       if (attr_set[num_attr] == VAL_NONE)
+           return 0;
+       lex (li);
+       
+       if (!(cp = strchr (li->lex_buf, '=')))
+           return 0;
+    }
+    else 
+    {
+       if (num_attr > 0)
+           attr_set[num_attr] = attr_set[num_attr-1];
+       else
+           attr_set[num_attr] = VAL_NONE;
+    }
+    attr_list[2*num_attr] = atoi(li->lex_buf);
+       cp++;
+    if (*cp >= '0' && *cp <= '9')
+    {
+       attr_list[2*num_attr+1] = atoi (cp);
+       attr_clist[num_attr] = 0;
+    }
+    else
+    {
+       int len = li->lex_len - (cp - li->lex_buf);
+       attr_list[2*num_attr+1] = 0;
+       attr_clist[num_attr] = (char *) odr_malloc (o, len+1);
+       len = escape_string(attr_clist[num_attr], cp, len);
+       attr_clist[num_attr][len] = '\0';
+    }
+    return 1;
+}
+
 static Z_AttributesPlusTerm *rpn_term (struct lex_info *li, ODR o,
                                        oid_proto proto, 
                                        int num_attr, int *attr_list,
-                                       oid_value *attr_set)
+                                      char **attr_clist, oid_value *attr_set)
 {
     Z_AttributesPlusTerm *zapt;
     Odr_oct *term_octet;
@@ -241,47 +251,53 @@ static Z_AttributesPlusTerm *rpn_term (struct lex_info *li, ODR o,
             elements[k] =
                 (Z_AttributeElement*)odr_malloc (o,sizeof(**elements));
             elements[k]->attributeType = &attr_tmp[2*i];
-            if (attr_set[i] == VAL_NONE)
-                elements[k]->attributeSet = 0;
-            else
-            {
-                oident attrid;
-                int oid[OID_SIZE];
-               
-                attrid.proto = PROTO_Z3950;
-                attrid.oclass = CLASS_ATTSET;
-                attrid.value = attr_set[i];
-                   
-                elements[k]->attributeSet =
-                   odr_oiddup (o, oid_ent_to_oid (&attrid, oid));
-            }
-           elements[k]->which = Z_AttributeValue_numeric;
-           elements[k]->value.numeric = &attr_tmp[2*i+1];
+           elements[k]->attributeSet =
+               yaz_oidval_to_z3950oid(o, CLASS_ATTSET, attr_set[i]);
+           if (attr_clist[i])
+           {
+               elements[k]->which = Z_AttributeValue_complex;
+               elements[k]->value.complex = (Z_ComplexAttribute *)
+                   odr_malloc (o, sizeof(Z_ComplexAttribute));
+               elements[k]->value.complex->num_list = 1;
+               elements[k]->value.complex->list =
+                   (Z_StringOrNumeric **)
+                   odr_malloc (o, 1 * sizeof(Z_StringOrNumeric *));
+               elements[k]->value.complex->list[0] =
+                   (Z_StringOrNumeric *)
+                   odr_malloc (o, sizeof(Z_StringOrNumeric));
+               elements[k]->value.complex->list[0]->which =
+                   Z_StringOrNumeric_string;
+               elements[k]->value.complex->list[0]->u.string =
+                   attr_clist[i];
+               elements[k]->value.complex->semanticAction = (int **)
+                   odr_nullval();
+               elements[k]->value.complex->num_semanticAction = 0;
+           }
+           else
+           {
+               elements[k]->which = Z_AttributeValue_numeric;
+               elements[k]->value.numeric = &attr_tmp[2*i+1];
+           }
             k++;
         }
         num_attr = k;
     }
-#ifdef ASN_COMPILED
     zapt->attributes = (Z_AttributeList *)
        odr_malloc (o, sizeof(*zapt->attributes));
     zapt->attributes->num_attributes = num_attr;
     zapt->attributes->attributes = elements;
-#else
-    zapt->num_attributes = num_attr;
-    zapt->attributeList = elements;
-#endif    
 
     zapt->term = term;
     term->which = Z_Term_general;
     term->u.general = term_octet;
     term_octet->buf = (unsigned char *)odr_malloc (o, li->lex_len);
-    term_octet->size = term_octet->len = li->lex_len;
-    memcpy (term_octet->buf, li->lex_buf, li->lex_len);
+    term_octet->size = term_octet->len =
+       escape_string ((char *) (term_octet->buf), li->lex_buf, li->lex_len);
     return zapt;
 }
 
 static Z_Operand *rpn_simple (struct lex_info *li, ODR o, oid_proto proto,
-                              int num_attr, int *attr_list,
+                              int num_attr, int *attr_list, char **attr_clist,
                               oid_value *attr_set)
 {
     Z_Operand *zo;
@@ -292,7 +308,8 @@ static Z_Operand *rpn_simple (struct lex_info *li, ODR o, oid_proto proto,
     case 't':
         zo->which = Z_Operand_APT;
         if (!(zo->u.attributesPlusTerm =
-              rpn_term (li, o, proto, num_attr, attr_list, attr_set)))
+              rpn_term (li, o, proto, num_attr, attr_list, attr_clist,
+                       attr_set)))
             return NULL;
         lex (li);
         break;
@@ -357,20 +374,16 @@ static Z_ProximityOperator *rpn_proximity (struct lex_info *li, ODR o)
 
     if (!lex (li))
         return NULL;
-#ifdef ASN_COMPILED
     p->which = Z_ProximityOperator_known;
     p->u.known = (int *)odr_malloc (o, sizeof(*p->u.known));
     *p->u.known = atoi (li->lex_buf);
-#else
-    p->proximityUnitCode = (int *)odr_malloc (o, sizeof(*p->proximityUnitCode));
-    *p->proximityUnitCode = atoi (li->lex_buf);
-#endif
     return p;
 }
 
 static Z_Complex *rpn_complex (struct lex_info *li, ODR o, oid_proto proto,
                                int num_attr, int max_attr, 
-                               int *attr_list, oid_value *attr_set)
+                               int *attr_list, char **attr_clist,
+                              oid_value *attr_set)
 {
     Z_Complex *zc;
     Z_Operator *zo;
@@ -404,11 +417,11 @@ static Z_Complex *rpn_complex (struct lex_info *li, ODR o, oid_proto proto,
     lex (li);
     if (!(zc->s1 =
           rpn_structure (li, o, proto, num_attr, max_attr, attr_list,
-                         attr_set)))
+                        attr_clist, attr_set)))
         return NULL;
     if (!(zc->s2 =
           rpn_structure (li, o, proto, num_attr, max_attr, attr_list,
-                         attr_set)))
+                         attr_clist, attr_set)))
         return NULL;
     return zc;
 }
@@ -416,10 +429,11 @@ static Z_Complex *rpn_complex (struct lex_info *li, ODR o, oid_proto proto,
 static Z_RPNStructure *rpn_structure (struct lex_info *li, ODR o,
                                       oid_proto proto, 
                                       int num_attr, int max_attr, 
-                                      int *attr_list, oid_value *attr_set)
+                                      int *attr_list,
+                                     char **attr_clist,
+                                     oid_value *attr_set)
 {
     Z_RPNStructure *sz;
-    const char *cp;
 
     sz = (Z_RPNStructure *)odr_malloc (o, sizeof(*sz));
     switch (li->query_look)
@@ -431,7 +445,7 @@ static Z_RPNStructure *rpn_structure (struct lex_info *li, ODR o,
         sz->which = Z_RPNStructure_complex;
         if (!(sz->u.complex =
               rpn_complex (li, o, proto, num_attr, max_attr, attr_list,
-                           attr_set)))
+                           attr_clist, attr_set)))
             return NULL;
         break;
     case 't':
@@ -439,7 +453,7 @@ static Z_RPNStructure *rpn_structure (struct lex_info *li, ODR o,
         sz->which = Z_RPNStructure_simple;
         if (!(sz->u.simple =
               rpn_simple (li, o, proto, num_attr, attr_list,
-                          attr_set)))
+                          attr_clist, attr_set)))
             return NULL;
         break;
     case 'l':
@@ -448,31 +462,12 @@ static Z_RPNStructure *rpn_structure (struct lex_info *li, ODR o,
             return NULL;
         if (num_attr >= max_attr)
             return NULL;
-        if (!(cp = strchr (li->lex_buf, '=')) ||
-            (size_t) (cp-li->lex_buf) > li->lex_len)
-        {
-            attr_set[num_attr] = query_oid_getvalbyname (li);
-           if (attr_set[num_attr] == VAL_NONE)
-               return NULL;
-            lex (li);
-
-            if (!(cp = strchr (li->lex_buf, '=')))
-                return NULL;
-        }
-        else 
-        {
-            if (num_attr > 0)
-                attr_set[num_attr] = attr_set[num_attr-1];
-            else
-                attr_set[num_attr] = VAL_NONE;
-        }
-       attr_list[2*num_attr] = atoi(li->lex_buf); 
-       attr_list[2*num_attr+1] = atoi (cp+1);
+       p_query_parse_attr(li, o, num_attr, attr_list, attr_clist, attr_set);
        num_attr++;
         lex (li);
         return
             rpn_structure (li, o, proto, num_attr, max_attr, attr_list,
-                           attr_set);
+                          attr_clist,  attr_set);
     case 'y':
        lex (li);
        if (!li->query_look)
@@ -492,7 +487,7 @@ static Z_RPNStructure *rpn_structure (struct lex_info *li, ODR o,
        lex (li);
         return
             rpn_structure (li, o, proto, num_attr, max_attr, attr_list,
-                           attr_set);
+                          attr_clist, attr_set);
     case 0:                /* operator/operand expected! */
         return NULL;
     }
@@ -504,10 +499,9 @@ Z_RPNQuery *p_query_rpn_mk (ODR o, struct lex_info *li, oid_proto proto,
 {
     Z_RPNQuery *zq;
     int attr_array[1024];
+    char *attr_clist[512];
     oid_value attr_set[512];
     oid_value topSet = VAL_NONE;
-    oident oset;
-    int oid[OID_SIZE];
 
     zq = (Z_RPNQuery *)odr_malloc (o, sizeof(*zq));
     lex (li);
@@ -524,16 +518,14 @@ Z_RPNQuery *p_query_rpn_mk (ODR o, struct lex_info *li, oid_proto proto,
         topSet = p_query_dfset;
     if (topSet == VAL_NONE)
         topSet = VAL_BIB1;
-    oset.proto = proto;
-    oset.oclass = CLASS_ATTSET;
-    oset.value = topSet;
 
-    if (!oid_ent_to_oid (&oset, oid))
-       return NULL;
-    zq->attributeSetId = odr_oiddup (o, oid);
+    zq->attributeSetId = yaz_oidval_to_z3950oid(o, CLASS_ATTSET, topSet);
+
+    if (!zq->attributeSetId)
+       return 0;
 
     if (!(zq->RPNStructure = rpn_structure (li, o, proto, 0, 512,
-                                            attr_array, attr_set)))
+                                            attr_array, attr_clist, attr_set)))
         return NULL;
     return zq;
 }
@@ -551,19 +543,18 @@ Z_RPNQuery *p_query_rpn (ODR o, oid_proto proto,
     return p_query_rpn_mk (o, &li, proto, qbuf);
 }
 
+
 Z_AttributesPlusTerm *p_query_scan_mk (struct lex_info *li,
                                        ODR o, oid_proto proto,
                                        Odr_oid **attributeSetP,
                                        const char *qbuf)
 {
     int attr_list[1024];
+    char *attr_clist[512];
     oid_value attr_set[512];
     int num_attr = 0;
     int max_attr = 512;
-    const char *cp;
     oid_value topSet = VAL_NONE;
-    oident oset;
-    int oid[OID_SIZE];
 
     lex (li);
     if (li->query_look == 'r')
@@ -577,11 +568,8 @@ Z_AttributesPlusTerm *p_query_scan_mk (struct lex_info *li,
         topSet = p_query_dfset;
     if (topSet == VAL_NONE)
         topSet = VAL_BIB1;
-    oset.proto = proto;
-    oset.oclass = CLASS_ATTSET;
-    oset.value = topSet;
 
-    *attributeSetP = odr_oiddup (o, oid_ent_to_oid (&oset, oid));
+    *attributeSetP = yaz_oidval_to_z3950oid (o, CLASS_ATTSET, topSet);
 
     while (li->query_look == 'l')
     {
@@ -590,31 +578,13 @@ Z_AttributesPlusTerm *p_query_scan_mk (struct lex_info *li,
             return NULL;
         if (num_attr >= max_attr)
             return NULL;
-
-        if (!(cp = strchr (li->lex_buf, '=')) ||
-            (size_t) (cp-li->lex_buf) > li->lex_len)
-        {
-            attr_set[num_attr] = query_oid_getvalbyname (li);
-            lex (li);
-
-            if (!(cp = strchr (li->lex_buf, '=')))
-                return NULL;
-        }
-        else
-        {
-            if (num_attr > 0)
-                attr_set[num_attr] = attr_set[num_attr-1];
-            else
-                attr_set[num_attr] = VAL_NONE;
-        }
-        attr_list[2*num_attr] = atoi (li->lex_buf);
-        attr_list[2*num_attr+1] = atoi (cp+1);
+        p_query_parse_attr(li, o, num_attr, attr_list, attr_clist, attr_set);
         num_attr++;
         lex (li);
     }
     if (!li->query_look)
         return NULL;
-    return rpn_term (li, o, proto, num_attr, attr_list, attr_set);
+    return rpn_term (li, o, proto, num_attr, attr_list, attr_clist, attr_set);
 }
 
 Z_AttributesPlusTerm *p_query_scan (ODR o, oid_proto proto,