Added z_ext_record_oid_any() function.
[yaz-moved-to-github.git] / src / ccltoken.c
1 /* This file is part of the YAZ toolkit.
2  * Copyright (C) 1995-2008 Index Data
3  * See the file LICENSE for details.
4  */
5 /** 
6  * \file ccltoken.c
7  * \brief Implements CCL lexical analyzer (scanner)
8  */
9
10 #include <string.h>
11 #include <stdlib.h>
12 #include <ctype.h>
13
14 #include "cclp.h"
15
16 /*
17  * token_cmp: Compare token with keyword(s)
18  * kw:     Keyword list. Each keyword is separated by space.
19  * token:  CCL token.
20  * return: 1 if token string matches one of the keywords in list;
21  *         0 otherwise.
22  */
23 static int token_cmp(CCL_parser cclp, const char **kw, struct ccl_token *token)
24 {
25     const char **aliases;
26     int case_sensitive = cclp->ccl_case_sensitive;
27     int i;
28
29     aliases = ccl_qual_search_special(cclp->bibset, "case");
30     if (aliases)
31         case_sensitive = atoi(aliases[0]);
32
33     for (i = 0; kw[i]; i++)
34     {
35         if (token->len == strlen(kw[i]))
36         {
37             if (case_sensitive)
38             {
39                 if (!memcmp(kw[i], token->name, token->len))
40                     return 1;
41             }
42             else
43             {
44                 if (!ccl_memicmp(kw[i], token->name, token->len))
45                     return 1;
46             }
47         }
48     }
49     return 0;
50 }
51
52 /*
53  * ccl_tokenize: tokenize CCL command string.
54  * return: CCL token list.
55  */
56 struct ccl_token *ccl_parser_tokenize(CCL_parser cclp, const char *command)
57 {
58     const char **aliases;
59     const unsigned char *cp = (const unsigned char *) command;
60     struct ccl_token *first = NULL;
61     struct ccl_token *last = NULL;
62     cclp->start_pos = command;
63
64     while (1)
65     {
66         const unsigned char *cp0 = cp;
67         while (*cp && strchr(" \t\r\n", *cp))
68             cp++;
69         if (!first)
70         {
71             first = last = (struct ccl_token *)xmalloc(sizeof(*first));
72             ccl_assert(first);
73             last->prev = NULL;
74         }
75         else
76         {
77             last->next = (struct ccl_token *)xmalloc(sizeof(*first));
78             ccl_assert(last->next);
79             last->next->prev = last;
80             last = last->next;
81         }
82         last->ws_prefix_buf = (const char *) cp0;
83         last->ws_prefix_len = cp - cp0;
84         last->next = NULL;
85         last->name = (const char *) cp;
86         last->len = 1;
87         switch (*cp++)
88         {
89         case '\0':
90             last->kind = CCL_TOK_EOL;
91             return first;
92         case '(':
93             last->kind = CCL_TOK_LP;
94             break;
95         case ')':
96             last->kind = CCL_TOK_RP;
97             break;
98         case ',':
99             last->kind = CCL_TOK_COMMA;
100             break;
101         case '%':
102         case '!':
103             last->kind = CCL_TOK_PROX;
104             while (isdigit(*cp))
105             {
106                 ++ last->len;
107                 cp++;
108             }
109             break;
110         case '>':
111         case '<':
112         case '=':
113             if (*cp == '=' || *cp == '<' || *cp == '>')
114             {
115                 cp++;
116                 last->kind = CCL_TOK_REL;
117                 ++ last->len;
118             }
119             else if (cp[-1] == '=')
120                 last->kind = CCL_TOK_EQ;
121             else
122                 last->kind = CCL_TOK_REL;
123             break;
124         case '\"':
125             last->kind = CCL_TOK_TERM;
126             last->name = (const char *) cp;
127             last->len = 0;
128             while (*cp && *cp != '\"')
129             {
130                 cp++;
131                 ++ last->len;
132             }
133             if (*cp == '\"')
134                 cp++;
135             break;
136         default:
137             if (!strchr("(),%!><= \t\n\r", cp[-1]))
138             {
139                 while (*cp && !strchr("(),%!><= \t\n\r", *cp))
140                 {
141                     cp++;
142                     ++ last->len;
143                 }
144             }
145             last->kind = CCL_TOK_TERM;
146
147             aliases = ccl_qual_search_special(cclp->bibset, "and");
148             if (!aliases)
149                 aliases = cclp->ccl_token_and;
150             if (token_cmp(cclp, aliases, last))
151                 last->kind = CCL_TOK_AND;
152
153             aliases = ccl_qual_search_special(cclp->bibset, "or");
154             if (!aliases)
155                 aliases = cclp->ccl_token_or;
156             if (token_cmp(cclp, aliases, last))
157                 last->kind = CCL_TOK_OR;
158
159             aliases = ccl_qual_search_special(cclp->bibset, "not");
160             if (!aliases)
161                 aliases = cclp->ccl_token_not;
162             if (token_cmp(cclp, aliases, last))
163                 last->kind = CCL_TOK_NOT;
164
165             aliases = ccl_qual_search_special(cclp->bibset, "set");
166             if (!aliases)
167                 aliases = cclp->ccl_token_set;
168
169             if (token_cmp(cclp, aliases, last))
170                 last->kind = CCL_TOK_SET;
171         }
172     }
173     return first;
174 }
175
176 struct ccl_token *ccl_token_add(struct ccl_token *at)
177 {
178     struct ccl_token *n = (struct ccl_token *)xmalloc(sizeof(*n));
179     ccl_assert(n);
180     n->next = at->next;
181     n->prev = at;
182     at->next = n;
183     if (n->next)
184         n->next->prev = n;
185
186     n->kind = CCL_TOK_TERM;
187     n->name = 0;
188     n->len = 0;
189     n->ws_prefix_buf = 0;
190     n->ws_prefix_len = 0;
191     return n;
192 }
193     
194 /*
195  * ccl_token_del: delete CCL tokens
196  */
197 void ccl_token_del(struct ccl_token *list)
198 {
199     struct ccl_token *list1;
200
201     while (list) 
202     {
203         list1 = list->next;
204         xfree(list);
205         list = list1;
206     }
207 }
208
209 static const char **create_ar(const char *v1, const char *v2)
210 {
211     const char **a = (const char **) xmalloc(3 * sizeof(*a));
212     a[0] = xstrdup(v1);
213     if (v2)
214     {
215         a[1] = xstrdup(v2);
216         a[2] = 0;
217     }
218     else
219         a[1] = 0;
220     return a;
221 }
222
223 static void destroy_ar(const char **a)
224 {
225     if (a)
226     {
227         int i;
228         for (i = 0; a[i]; i++)
229             xfree((char *) a[i]);
230         xfree((char **)a);
231     }
232 }
233
234 CCL_parser ccl_parser_create(CCL_bibset bibset)
235 {
236     CCL_parser p = (CCL_parser)xmalloc(sizeof(*p));
237     if (!p)
238         return p;
239     p->look_token = NULL;
240     p->error_code = 0;
241     p->error_pos = NULL;
242     p->bibset = bibset;
243
244     p->ccl_token_and = create_ar("and", 0);
245     p->ccl_token_or = create_ar("or", 0);
246     p->ccl_token_not = create_ar("not", "andnot");
247     p->ccl_token_set = create_ar("set", 0);
248     p->ccl_case_sensitive = 1;
249
250     return p;
251 }
252
253 void ccl_parser_destroy(CCL_parser p)
254 {
255     if (!p)
256         return;
257     destroy_ar(p->ccl_token_and);
258     destroy_ar(p->ccl_token_or);
259     destroy_ar(p->ccl_token_not);
260     destroy_ar(p->ccl_token_set);
261     xfree(p);
262 }
263
264 void ccl_parser_set_case(CCL_parser p, int case_sensitivity_flag)
265 {
266     if (p)
267         p->ccl_case_sensitive = case_sensitivity_flag;
268 }
269
270 int ccl_parser_get_error(CCL_parser cclp, int *pos)
271 {
272     if (pos && cclp->error_code)
273         *pos = cclp->error_pos - cclp->start_pos;
274     return cclp->error_code;
275 }
276
277 /*
278  * Local variables:
279  * c-basic-offset: 4
280  * indent-tabs-mode: nil
281  * End:
282  * vim: shiftwidth=4 tabstop=8 expandtab
283  */
284