CCL: configurable masking character YAZ-661
[yaz-moved-to-github.git] / src / cclfind.c
index f7903fe..a2ea081 100644 (file)
@@ -1,8 +1,8 @@
 /* This file is part of the YAZ toolkit.
- * Copyright (C) 1995-2012 Index Data
+ * Copyright (C) 1995-2013 Index Data
  * See the file LICENSE for details.
  */
-/** 
+/**
  * \file cclfind.c
  * \brief Implements parsing of a CCL FIND query.
  *
@@ -61,7 +61,7 @@ static int qual_val_type(ccl_qualifier_t *qa, int type, int value,
 
 /**
  * strxcat: concatenate strings.
- * n:      Null-terminated Destination string 
+ * n:      Null-terminated Destination string
  * src:    Source string to be appended (not null-terminated)
  * len:    Length of source string.
  */
@@ -171,7 +171,7 @@ static struct ccl_rpn_attr *add_attr_node(struct ccl_rpn_node *p,
                                            const char *set, int type)
 {
     struct ccl_rpn_attr *n;
-    
+
     n = (struct ccl_rpn_attr *)xmalloc(sizeof(*n));
     ccl_assert(n);
     if (set)
@@ -181,7 +181,7 @@ static struct ccl_rpn_attr *add_attr_node(struct ccl_rpn_node *p,
     n->type = type;
     n->next = p->u.t.attr_list;
     p->u.t.attr_list = n;
-    
+
     return n;
 }
 
@@ -232,6 +232,7 @@ static size_t cmp_operator(const char **aliases, const char *input)
 static int append_term(CCL_parser cclp, const char *src_str, size_t src_len,
                        char *dst_term, int *regex_trunc, int *z3958_trunc,
                        const char **truncation_aliases,
+                       const char **mask_aliases,
                        int is_first, int is_last,
                        int *left_trunc, int *right_trunc)
 {
@@ -283,8 +284,10 @@ static int append_term(CCL_parser cclp, const char *src_str, size_t src_len,
                 return -1;
             }
         }
-        else if (!quote_mode && src_str[j] == '#')
+        else if (!quote_mode &&
+                 (op_size = cmp_operator(mask_aliases, src_str + j)))
         {
+            j += (op_size - 1);  /* j++ in for loop */
             if (*regex_trunc)
             {
                 strcat(dst_term, ".");
@@ -313,14 +316,14 @@ static int append_term(CCL_parser cclp, const char *src_str, size_t src_len,
                 *z3958_trunc = 2;
                 strcat(dst_term, "\\");
             }
-            strxcat(dst_term, src_str + j, 1);                    
+            strxcat(dst_term, src_str + j, 1);
         }
     }
     return 0;
 }
 
 /**
- * search_term: Parse CCL search term. 
+ * search_term: Parse CCL search term.
  * cclp:   CCL Parser
  * qa:     Qualifier attributes already applied.
  * term_list: tokens we accept as terms in context
@@ -339,6 +342,8 @@ static struct ccl_rpn_node *search_term_x(CCL_parser cclp,
     char *attset;
     const char **truncation_aliases;
     const char *t_default[2];
+    const char **mask_aliases;
+    const char *m_default[2];
 
     truncation_aliases =
         ccl_qual_search_special(cclp->bibset, "truncation");
@@ -349,6 +354,16 @@ static struct ccl_rpn_node *search_term_x(CCL_parser cclp,
         t_default[1] = 0;
     }
 
+    mask_aliases =
+        ccl_qual_search_special(cclp->bibset, "mask");
+    if (!mask_aliases)
+    {
+        mask_aliases = m_default;
+        m_default[0] = "#";
+        m_default[1] = 0;
+    }
+
+
     if (qual_val_type(qa, CCL_BIB1_STR, CCL_BIB1_STR_AND_LIST, 0))
         and_list = 1;
     if (qual_val_type(qa, CCL_BIB1_STR, CCL_BIB1_STR_AUTO_GROUP, 0))
@@ -373,7 +388,7 @@ static struct ccl_rpn_node *search_term_x(CCL_parser cclp,
         size_t max = 200;
         if (and_list || or_list || !multi)
             max = 1;
-        
+
         /* ignore commas when dealing with and-lists .. */
         if (and_list && lookahead && lookahead->kind == CCL_TOK_COMMA)
         {
@@ -402,7 +417,7 @@ static struct ccl_rpn_node *search_term_x(CCL_parser cclp,
 
         if (len == 0)
             break;      /* no more terms . stop . */
-                
+
         /* create the term node, but wait a moment before adding the term */
         p = ccl_rpn_node_create(CCL_RPN_TERM);
         p->u.t.attr_list = NULL;
@@ -418,7 +433,7 @@ static struct ccl_rpn_node *search_term_x(CCL_parser cclp,
         for (i=0; qa && qa[i]; i++)
         {
             struct ccl_rpn_attr *attr;
-            
+
             for (attr = ccl_qual_get_attr(qa[i]); attr; attr = attr->next)
                 switch(attr->kind)
                 {
@@ -462,8 +477,9 @@ static struct ccl_rpn_node *search_term_x(CCL_parser cclp,
                     }
                 }
         }
+        attset = 0;
         if (structure_value == -1 && (
-                auto_group || 
+                auto_group ||
                 qual_val_type(qa, CCL_BIB1_STR, CCL_BIB1_STR_WP, &attset))
             )
         {
@@ -499,7 +515,8 @@ static struct ccl_rpn_node *search_term_x(CCL_parser cclp,
                         cclp->look_token->ws_prefix_len);
             }
             if (append_term(cclp, src_str, src_len, p->u.t.term, &regex_trunc,
-                            &z3958_trunc, truncation_aliases, i == 0, i == no - 1,
+                            &z3958_trunc, truncation_aliases, mask_aliases,
+                            i == 0, i == no - 1,
                             &left_trunc, &right_trunc))
             {
                 ccl_rpn_delete(p);
@@ -612,7 +629,7 @@ static struct ccl_rpn_node *search_terms2(CCL_parser cclp,
         static int list[] = {
             CCL_TOK_TERM, CCL_TOK_COMMA,CCL_TOK_EQ,
             CCL_TOK_REL, CCL_TOK_SET, -1};
-        
+
         return search_term_x(cclp, qa, list, 1);
     }
 }
@@ -663,7 +680,7 @@ struct ccl_rpn_node *qualifiers_order(CCL_parser cclp,
                 if (cclp->look_token->name[i] == '-')
                     break;
             }
-            
+
             if (cclp->look_token->len > 1 && i == 0)
             {   /*  -xx*/
                 struct ccl_token *ntoken = ccl_token_add(cclp->look_token);
@@ -705,7 +722,7 @@ struct ccl_rpn_node *qualifiers_order(CCL_parser cclp,
                      cclp->look_token->next->kind == CCL_TOK_TERM &&
                      cclp->look_token->next->len > 1 &&
                      cclp->look_token->next->name[0] == '-')
-                     
+
             {   /* xx -yy */
                 /* we _know_ that xx does not have - in it */
                 struct ccl_token *ntoken = ccl_token_add(cclp->look_token);
@@ -715,11 +732,11 @@ struct ccl_rpn_node *qualifiers_order(CCL_parser cclp,
                 ntoken->len = 1;
 
                 (ntoken->next->name)++;        /* adjust yy */
-                (ntoken->next->len)--; 
+                (ntoken->next->len)--;
             }
         }
     }
-        
+
     if (rel == 3 &&
         KIND == CCL_TOK_TERM &&
         cclp->look_token->next && cclp->look_token->next->len == 1 &&
@@ -732,7 +749,7 @@ struct ccl_rpn_node *qualifiers_order(CCL_parser cclp,
         if (KIND == CCL_TOK_TERM)  /* = term - term  ? */
         {
             struct ccl_rpn_node *p2;
-            
+
             if (!(p2 = search_term(cclp, ap)))
             {
                 ccl_rpn_delete(p1);
@@ -776,7 +793,7 @@ static
 struct ccl_rpn_node *qualifier_relation(CCL_parser cclp, ccl_qualifier_t *ap)
 {
     char *attset;
-    
+
     if (qual_val_type(ap, CCL_BIB1_REL, CCL_BIB1_REL_ORDER, &attset)
         || qual_val_type(ap, CCL_BIB1_REL, CCL_BIB1_REL_PORDER, &attset))
         return qualifiers_order(cclp, ap, attset);
@@ -792,13 +809,13 @@ struct ccl_rpn_node *qualifier_relation(CCL_parser cclp, ccl_qualifier_t *ap)
 }
 
 /**
- * qualifier_list: Parse CCL qualifiers and search terms. 
+ * qualifier_list: Parse CCL qualifiers and search terms.
  * cclp:   CCL Parser
  * la:     Token pointer to RELATION token.
  * qa:     Qualifier attributes already applied.
  * return: pointer to node(s); NULL on error.
  */
-static struct ccl_rpn_node *qualifier_list(CCL_parser cclp, 
+static struct ccl_rpn_node *qualifier_list(CCL_parser cclp,
                                            struct ccl_token *la,
                                            ccl_qualifier_t *qa)
 {
@@ -848,7 +865,7 @@ static struct ccl_rpn_node *qualifier_list(CCL_parser cclp,
             {
                 struct ccl_rpn_node *node_sub;
                 cclp->look_token = la;
-                
+
                 node_sub = qualifier_relation(cclp, ap);
                 if (!node_sub)
                 {
@@ -858,7 +875,7 @@ static struct ccl_rpn_node *qualifier_list(CCL_parser cclp,
                 }
                 if (node)
                 {
-                    struct ccl_rpn_node *node_this = 
+                    struct ccl_rpn_node *node_this =
                         ccl_rpn_node_create(CCL_RPN_OR);
                     node_this->u.p[0] = node;
                     node_this->u.p[1] = node_sub;
@@ -911,17 +928,17 @@ static struct ccl_rpn_node *qualifier_list(CCL_parser cclp,
             if (qa)
             {
                 ccl_qualifier_t *qa0 = qa;
-                
+
                 while (*qa0)
                     ap[i++] = *qa0++;
             }
             ap[i] = NULL;
-            
+
             if (!found)
                 break;
-            
+
             cclp->look_token = lookahead;
-            
+
             node_sub = qualifier_relation(cclp, ap);
             if (!node_sub)
             {
@@ -930,7 +947,7 @@ static struct ccl_rpn_node *qualifier_list(CCL_parser cclp,
             }
             if (node)
             {
-                struct ccl_rpn_node *node_this = 
+                struct ccl_rpn_node *node_this =
                     ccl_rpn_node_create(CCL_RPN_OR);
                 node_this->u.p[0] = node;
                 node_this->u.p[1] = node_sub;
@@ -1072,7 +1089,7 @@ static struct ccl_rpn_node *search_elements(CCL_parser cclp,
             }
             if (node)
             {
-                struct ccl_rpn_node *node_this = 
+                struct ccl_rpn_node *node_this =
                     ccl_rpn_node_create(CCL_RPN_OR);
                 node_this->u.p[0] = node;
                 node_this->u.p[1] = node_sub;
@@ -1160,7 +1177,7 @@ struct ccl_rpn_node *ccl_parser_find_str(CCL_parser cclp, const char *str)
     return p;
 }
 
-struct ccl_rpn_node *ccl_parser_find_token(CCL_parser cclp, 
+struct ccl_rpn_node *ccl_parser_find_token(CCL_parser cclp,
                                            struct ccl_token *list)
 {
     struct ccl_rpn_node *p;