Towards 2.1.40.
[yaz-moved-to-github.git] / src / cql.y
index c98696d..f4293e7 100644 (file)
--- a/src/cql.y
+++ b/src/cql.y
@@ -1,6 +1,6 @@
-/* $Id: cql.y,v 1.1 2003-10-27 12:21:30 adam Exp $
-   Copyright (C) 2002-2003
-   Index Data Aps
+/* $Id: cql.y,v 1.11 2006-10-05 16:19:16 adam Exp $
+   Copyright (C) 2002-2006
+   Index Data ApS
 
 This file is part of the YAZ toolkit.
 
@@ -9,18 +9,32 @@ See the file LICENSE.
  bison parser for CQL grammar.
 */
 %{
+/** 
+ * \file cql.c
+ * \brief Implements CQL parser.
+ *
+ * This is a YACC parser, but since it must be reentrant, Bison is required.
+ * The original source file is cql.y.
+ */
 #include <stdio.h>
 #include <stdlib.h>
 #include <string.h>
 #include <ctype.h>
+#include <yaz/xmalloc.h>
 #include <yaz/nmem.h>
 #include <yaz/cql.h>
-    
+
+    /** Node in the LALR parse tree. */
     typedef struct {
+       /** Inhereted attribute: relation */
         struct cql_node *rel;
+       /** Synthesized attribute: CQL node */
         struct cql_node *cql;
+       /** string buffer with token */
         char *buf;
+       /** length of token */
         size_t len;
+       /** size of buffer (len <= size) */
         size_t size;
     } token;        
 
@@ -45,12 +59,13 @@ See the file LICENSE.
 
 %pure_parser
 %token TERM AND OR NOT PROX GE LE NE
-%expect 8
+%expect 9
 
 %%
 
 top: { 
-    $$.rel = cql_node_mk_sc("srw.serverChoice", "scr", 0);
+    $$.rel = cql_node_mk_sc(((CQL_parser) parm)->nmem,
+                           "cql.serverChoice", "scr", 0);
     ((CQL_parser) parm)->top = 0;
 } cqlQuery1 {
     cql_node_destroy($$.rel);
@@ -68,14 +83,15 @@ cqlQuery1: cqlQuery
 cqlQuery: 
   searchClause
 |
-  cqlQuery boolean { 
-      $$.rel = $0.rel; 
+  cqlQuery boolean modifiers { 
+      $$.rel = $0.rel;
   } searchClause {
-      struct cql_node *cn = cql_node_mk_boolean($2.buf);
+      struct cql_node *cn = cql_node_mk_boolean(((CQL_parser) parm)->nmem,
+                                               $2.buf);
       
-      cn->u.boolean.modifiers = $2.rel;
+      cn->u.boolean.modifiers = $3.cql;
       cn->u.boolean.left = $1.cql;
-      cn->u.boolean.right = $4.cql;
+      cn->u.boolean.right = $5.cql;
 
       $$.cql = cn;
   }
@@ -90,118 +106,71 @@ searchClause:
   }
 |
   searchTerm {
-      struct cql_node *st = cql_node_dup ($0.rel);
-      st->u.st.term = strdup($1.buf);
+      struct cql_node *st = cql_node_dup (((CQL_parser) parm)->nmem, $0.rel);
+      st->u.st.term = nmem_strdup(((CQL_parser)parm)->nmem, $1.buf);
       $$.cql = st;
   }
 | 
-  index relation {
-      $$.rel = $2.rel;
-      $$.rel->u.st.index = strdup($1.buf);
+  index relation modifiers {
+      $$.rel = cql_node_mk_sc(((CQL_parser) parm)->nmem, $1.buf, $2.buf, 0);
+      $$.rel->u.st.modifiers = $3.cql;
   } searchClause {
-      $$.cql = $4.cql;
-      cql_node_destroy($2.rel);
+      $$.cql = $5.cql;
+      cql_node_destroy($4.rel);
   }
 | '>' searchTerm '=' searchTerm {
       $$.rel = $0.rel;
   } cqlQuery {
-    $$.cql = cql_node_prefix($6.cql, $2.buf, $4.buf);
+    $$.cql = cql_apply_prefix(((CQL_parser) parm)->nmem,
+                             $6.cql, $2.buf, $4.buf);
   }
 | '>' searchTerm {
       $$.rel = $0.rel;
   } cqlQuery {
-    $$.cql = cql_node_prefix($4.cql, 0, $2.buf);
+    $$.cql = cql_apply_prefix(((CQL_parser) parm)->nmem, 
+                             $4.cql, 0, $2.buf);
    }
 ;
 
 /* unary NOT search TERM here .. */
 
 boolean: 
-  AND | OR | NOT | PROX proxqualifiers {
-      $$ = $1;
-      $$.rel = $2.rel;
-  }
+  AND | OR | NOT | PROX 
   ;
 
-proxqualifiers: 
-  Prelation { 
-      $$.rel = cql_node_mk_proxargs ($1.buf, 0, 0, 0);
-  }
-|
-  PrelationO Pdistance {
-      $$.rel = cql_node_mk_proxargs ($1.buf, $2.buf, 0, 0);
-  }
-|
-  PrelationO PdistanceO Punit {
-      $$.rel = cql_node_mk_proxargs ($1.buf, $2.buf, $3.buf, 0);
-  }
-|
-  PrelationO PdistanceO PunitO Pordering {
-      $$.rel = cql_node_mk_proxargs ($1.buf, $2.buf, $3.buf, $4.buf);
-  }
-|
-{ $$.rel = 0; }
-;
-
-Punit: '/' searchTerm { 
-      $$ = $2;
-   }
-;
-
-PunitO: '/' searchTerm {
-      $$ = $2;
-   } 
-| 
-'/' { $$.buf[0] = 0; }
-;
-Prelation: '/' baseRelation {
-    $$ = $2;
-}
-;
-PrelationO: '/' baseRelation {
-    $$ = $2;
-}
-| '/' { $$.buf[0] = 0; }
-;
-Pdistance: '/' searchTerm { 
-    $$ = $2;
-}
-;
-
-PdistanceO: '/' searchTerm {
-    $$ = $2;
-}
-| '/' { $$.buf[0] = 0; }
-;
-Pordering: '/' searchTerm { 
-    $$ = $2;
-}
-;
-
-relation: baseRelation modifiers {
-    struct cql_node *st = cql_node_mk_sc(/* index */ 0, 
-                                         /* relation */ $1.buf, 
-                                         /* term */ 0);
+modifiers: modifiers '/' searchTerm
+{ 
+    struct cql_node *mod = cql_node_mk_sc(((CQL_parser)parm)->nmem,
+                                         $3.buf, "=", 0);
 
-    st->u.st.modifiers = $2.cql;
-    $$.rel = st;
+    mod->u.st.modifiers = $1.cql;
+    $$.cql = mod;
 }
-;
-
-modifiers: '/' searchTerm modifiers
-{ 
-    struct cql_node *mod = cql_node_mk_mod(0, $2.buf);
+|
+modifiers '/' searchTerm mrelation searchTerm
+{
+    struct cql_node *mod = cql_node_mk_sc(((CQL_parser)parm)->nmem,
+                                         $3.buf, $4.buf, $5.buf);
 
-    mod->u.mod.next = $3.cql;
+    mod->u.st.modifiers = $1.cql;
     $$.cql = mod;
 }
-|  
+|
 { 
     $$.cql = 0;
 }
 ;
 
-baseRelation: 
+mrelation:
+  '=' 
+| '>' 
+| '<'
+| GE
+| LE
+| NE
+;
+
+relation: 
   '=' 
 | '>' 
 | '<'
@@ -229,7 +198,117 @@ int yyerror(char *s)
     return 0;
 }
 
-#include "lexer.h"
+/**
+ * putb is a utility that puts one character to the string
+ * in current lexical token. This routine deallocates as
+ * necessary using NMEM.
+ */
+
+static void putb(YYSTYPE *lval, CQL_parser cp, int c)
+{
+    if (lval->len+1 >= lval->size)
+    {
+        char *nb = (char *)
+           nmem_malloc(cp->nmem, (lval->size = lval->len * 2 + 20));
+        memcpy (nb, lval->buf, lval->len);
+        lval->buf = nb;
+    }
+    if (c)
+        lval->buf[lval->len++] = c;
+    lval->buf[lval->len] = '\0';
+}
+
+
+/**
+ * yylex returns next token for Bison to be read. In this
+ * case one of the CQL terminals are returned.
+ */
+int yylex(YYSTYPE *lval, void *vp)
+{
+    CQL_parser cp = (CQL_parser) vp;
+    int c;
+    lval->cql = 0;
+    lval->rel = 0;
+    lval->len = 0;
+    lval->size = 10;
+    lval->buf = (char *) nmem_malloc(cp->nmem, lval->size);
+    lval->buf[0] = '\0';
+    do
+    {
+        c = cp->getbyte(cp->client_data);
+        if (c == 0)
+            return 0;
+        if (c == '\n')
+            return 0;
+    } while (isspace(c));
+    if (strchr("()=></", c))
+    {
+        int c1;
+        putb(lval, cp, c);
+        if (c == '>')
+        {
+            c1 = cp->getbyte(cp->client_data);
+            if (c1 == '=')
+            {
+                putb(lval, cp, c1);
+                return GE;
+            }
+            else
+                cp->ungetbyte(c1, cp->client_data);
+        }
+        else if (c == '<')
+        {
+            c1 = cp->getbyte(cp->client_data);
+            if (c1 == '=')
+            {
+                putb(lval, cp, c1);
+                return LE;
+            }
+            else if (c1 == '>')
+            {
+                putb(lval, cp, c1);
+                return NE;
+            }
+            else
+                cp->ungetbyte(c1, cp->client_data);
+        }
+        return c;
+    }
+    if (c == '"')
+    {
+        while ((c = cp->getbyte(cp->client_data)) != 0 && c != '"')
+        {
+            if (c == '\\')
+                c = cp->getbyte(cp->client_data);
+            putb(lval, cp, c);
+        }
+        putb(lval, cp, 0);
+    }
+    else
+    {
+        while (c != 0 && !strchr(" \n()=<>/", c))
+        {
+            if (c == '\\')
+                c = cp->getbyte(cp->client_data);
+            putb(lval, cp, c);
+           c = cp->getbyte(cp->client_data);
+        }
+#if YYDEBUG
+        printf ("got %s\n", lval->buf);
+#endif
+        if (c != 0)
+            cp->ungetbyte(c, cp->client_data);
+        if (!cql_strcmp(lval->buf, "and"))
+            return AND;
+        if (!cql_strcmp(lval->buf, "or"))
+            return OR;
+        if (!cql_strcmp(lval->buf, "not"))
+            return NOT;
+        if (!cql_strcmp(lval->buf, "prox"))
+            return PROX;
+    }
+    return TERM;
+}
 
 
 int cql_parser_stream(CQL_parser cp,
@@ -237,6 +316,7 @@ int cql_parser_stream(CQL_parser cp,
                       void (*ungetbyte)(int b, void *client_data),
                       void *client_data)
 {
+    nmem_reset(cp->nmem);
     cp->getbyte = getbyte;
     cp->ungetbyte = ungetbyte;
     cp->client_data = client_data;
@@ -250,7 +330,7 @@ int cql_parser_stream(CQL_parser cp,
 
 CQL_parser cql_parser_create(void)
 {
-    CQL_parser cp = (CQL_parser) malloc (sizeof(*cp));
+    CQL_parser cp = (CQL_parser) xmalloc (sizeof(*cp));
 
     cp->top = 0;
     cp->getbyte = 0;
@@ -266,7 +346,7 @@ void cql_parser_destroy(CQL_parser cp)
 {
     cql_node_destroy(cp->top);
     nmem_destroy(cp->nmem);
-    free (cp);
+    xfree (cp);
 }
 
 struct cql_node *cql_parser_result(CQL_parser cp)