Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz
[yaz-moved-to-github.git] / src / ccltoken.c
index e9c1f34..a793f8b 100644 (file)
@@ -1,91 +1,14 @@
-/*
- * Copyright (c) 1995, the EUROPAGATE consortium (see below).
- *
- * The EUROPAGATE consortium members are:
- *
- *    University College Dublin
- *    Danmarks Teknologiske Videnscenter
- *    An Chomhairle Leabharlanna
- *    Consejo Superior de Investigaciones Cientificas
- *
- * Permission to use, copy, modify, distribute, and sell this software and
- * its documentation, in whole or in part, for any purpose, is hereby granted,
- * provided that:
- *
- * 1. This copyright and permission notice appear in all copies of the
- * software and its documentation. Notices of copyright or attribution
- * which appear at the beginning of any file must remain unchanged.
- *
- * 2. The names of EUROPAGATE or the project partners may not be used to
- * endorse or promote products derived from this software without specific
- * prior written permission.
- *
- * 3. Users of this software (implementors and gateway operators) agree to
- * inform the EUROPAGATE consortium of their use of the software. This
- * information will be used to evaluate the EUROPAGATE project and the
- * software, and to plan further developments. The consortium may use
- * the information in later publications.
- * 
- * 4. Users of this software agree to make their best efforts, when
- * documenting their use of the software, to acknowledge the EUROPAGATE
- * consortium, and the role played by the software in their work.
- *
- * THIS SOFTWARE IS PROVIDED "AS IS" AND WITHOUT WARRANTY OF ANY KIND,
- * EXPRESS, IMPLIED, OR OTHERWISE, INCLUDING WITHOUT LIMITATION, ANY
- * WARRANTY OF MERCHANTABILITY OR FITNESS FOR A PARTICULAR PURPOSE.
- * IN NO EVENT SHALL THE EUROPAGATE CONSORTIUM OR ITS MEMBERS BE LIABLE
- * FOR ANY SPECIAL, INCIDENTAL, INDIRECT OR CONSEQUENTIAL DAMAGES OF
- * ANY KIND, OR ANY DAMAGES WHATSOEVER RESULTING FROM LOSS OF USE, DATA
- * OR PROFITS, WHETHER OR NOT ADVISED OF THE POSSIBILITY OF DAMAGE, AND
- * ON ANY THEORY OF LIABILITY, ARISING OUT OF OR IN CONNECTION WITH THE
- * USE OR PERFORMANCE OF THIS SOFTWARE.
- *
+/* This file is part of the YAZ toolkit.
+ * Copyright (C) 1995-2010 Index Data
+ * See the file LICENSE for details.
  */
 /** 
  * \file ccltoken.c
  * \brief Implements CCL lexical analyzer (scanner)
  */
-/* CCL - lexical analysis
- * Europagate, 1995
- *
- * $Id: ccltoken.c,v 1.12 2007-04-30 19:55:40 adam Exp $
- *
- * Old Europagate Log:
- *
- * Revision 1.10  1995/07/11  12:28:31  adam
- * New function: ccl_token_simple (split into simple tokens) and
- *  ccl_token_del (delete tokens).
- *
- * Revision 1.9  1995/05/16  09:39:28  adam
- * LICENSE.
- *
- * Revision 1.8  1995/05/11  14:03:57  adam
- * Changes in the reading of qualifier(s). New function: ccl_qual_fitem.
- * New variable ccl_case_sensitive, which controls whether reserved
- * words and field names are case sensitive or not.
- *
- * Revision 1.7  1995/04/19  12:11:24  adam
- * Minor change.
- *
- * Revision 1.6  1995/04/17  09:31:48  adam
- * Improved handling of qualifiers. Aliases or reserved words.
- *
- * Revision 1.5  1995/02/23  08:32:00  adam
- * Changed header.
- *
- * Revision 1.3  1995/02/15  17:42:16  adam
- * Minor changes of the api of this module. FILE* argument added
- * to ccl_pr_tree.
- *
- * Revision 1.2  1995/02/14  19:55:13  adam
- * Header files ccl.h/cclp.h are gone! They have been merged an
- * moved to ../include/ccl.h.
- * Node kind(s) in ccl_rpn_node have changed names.
- *
- * Revision 1.1  1995/02/13  12:35:21  adam
- * First version of CCL. Qualifiers aren't handled yet.
- *
- */
+#if HAVE_CONFIG_H
+#include <config.h>
+#endif
 
 #include <string.h>
 #include <stdlib.h>
@@ -159,6 +82,7 @@ struct ccl_token *ccl_parser_tokenize(CCL_parser cclp, const char *command)
             last->next->prev = last;
             last = last->next;
         }
+        last->left_trunc = last->right_trunc = 0;
         last->ws_prefix_buf = (const char *) cp0;
         last->ws_prefix_len = cp - cp0;
         last->next = NULL;
@@ -201,53 +125,66 @@ struct ccl_token *ccl_parser_tokenize(CCL_parser cclp, const char *command)
             else
                 last->kind = CCL_TOK_REL;
             break;
-        case '\"':
-            last->kind = CCL_TOK_TERM;
-            last->name = (const char *) cp;
-            last->len = 0;
-            while (*cp && *cp != '\"')
+        default:
+            --cp;
+            --last->len;
+            if (*cp == '?')
             {
+                last->left_trunc = 1;
                 cp++;
-                ++ last->len;
             }
-            if (*cp == '\"')
-                cp++;
-            break;
-        default:
-            if (!strchr("(),%!><= \t\n\r", cp[-1]))
+            if (*cp == '"')
             {
-                while (*cp && !strchr("(),%!><= \t\n\r", *cp))
+                cp++;
+                last->kind = CCL_TOK_TERM;
+                last->name = (const char *) cp;
+                while (*cp && *cp != '"')
                 {
                     cp++;
                     ++ last->len;
                 }
+                if (*cp)
+                    cp++;
+            }
+            else
+            {
+                last->kind = CCL_TOK_TERM;
+                last->name = (const char *) cp;
+                while (*cp && !strchr("(),%!><=? \t\n\r", *cp))
+                {
+                    ++ last->len;
+                    cp++;
+                }
+                aliases = ccl_qual_search_special(cclp->bibset, "and");
+                if (!aliases)
+                    aliases = cclp->ccl_token_and;
+                if (token_cmp(cclp, aliases, last))
+                    last->kind = CCL_TOK_AND;
+                
+                aliases = ccl_qual_search_special(cclp->bibset, "or");
+                if (!aliases)
+                    aliases = cclp->ccl_token_or;
+                if (token_cmp(cclp, aliases, last))
+                    last->kind = CCL_TOK_OR;
+                
+                aliases = ccl_qual_search_special(cclp->bibset, "not");
+                if (!aliases)
+                    aliases = cclp->ccl_token_not;
+                if (token_cmp(cclp, aliases, last))
+                    last->kind = CCL_TOK_NOT;
+                
+                aliases = ccl_qual_search_special(cclp->bibset, "set");
+                if (!aliases)
+                    aliases = cclp->ccl_token_set;
+                
+                if (token_cmp(cclp, aliases, last))
+                    last->kind = CCL_TOK_SET;
+            }
+            if (*cp == '?')
+            {
+                last->right_trunc = 1;
+                cp++;
             }
-            last->kind = CCL_TOK_TERM;
-
-            aliases = ccl_qual_search_special(cclp->bibset, "and");
-            if (!aliases)
-                aliases = cclp->ccl_token_and;
-            if (token_cmp(cclp, aliases, last))
-                last->kind = CCL_TOK_AND;
-
-            aliases = ccl_qual_search_special(cclp->bibset, "or");
-            if (!aliases)
-                aliases = cclp->ccl_token_or;
-            if (token_cmp(cclp, aliases, last))
-                last->kind = CCL_TOK_OR;
-
-            aliases = ccl_qual_search_special(cclp->bibset, "not");
-            if (!aliases)
-                aliases = cclp->ccl_token_not;
-            if (token_cmp(cclp, aliases, last))
-                last->kind = CCL_TOK_NOT;
-
-            aliases = ccl_qual_search_special(cclp->bibset, "set");
-            if (!aliases)
-                aliases = cclp->ccl_token_set;
-
-            if (token_cmp(cclp, aliases, last))
-                last->kind = CCL_TOK_SET;
         }
     }
     return first;
@@ -264,6 +201,7 @@ struct ccl_token *ccl_token_add(struct ccl_token *at)
         n->next->prev = n;
 
     n->kind = CCL_TOK_TERM;
+    n->left_trunc = n->right_trunc = 0;
     n->name = 0;
     n->len = 0;
     n->ws_prefix_buf = 0;
@@ -288,7 +226,7 @@ void ccl_token_del(struct ccl_token *list)
 
 static const char **create_ar(const char *v1, const char *v2)
 {
-    const char **a = xmalloc(3 * sizeof(*a));
+    const char **a = (const char **) xmalloc(3 * sizeof(*a));
     a[0] = xstrdup(v1);
     if (v2)
     {
@@ -307,7 +245,7 @@ static void destroy_ar(const char **a)
         int i;
         for (i = 0; a[i]; i++)
             xfree((char *) a[i]);
-        xfree(a);
+        xfree((char **)a);
     }
 }
 
@@ -357,6 +295,7 @@ int ccl_parser_get_error(CCL_parser cclp, int *pos)
 /*
  * Local variables:
  * c-basic-offset: 4
+ * c-file-style: "Stroustrup"
  * indent-tabs-mode: nil
  * End:
  * vim: shiftwidth=4 tabstop=8 expandtab