CCL: tests for configurable mask/truncation
[yaz-moved-to-github.git] / test / test_ccl.c
1 /* This file is part of the YAZ toolkit.
2  * Copyright (C) 1995-2013 Index Data
3  * See the file LICENSE for details.
4  */
5 #if HAVE_CONFIG_H
6 #include <config.h>
7 #endif
8
9 #include <string.h>
10 #include <yaz/ccl_xml.h>
11 #include <yaz/log.h>
12 #include <yaz/test.h>
13
14
15 static int tst_ccl_query(CCL_bibset bibset,
16                          const char *query,
17                          const char *result)
18 {
19     CCL_parser parser = ccl_parser_create(bibset);
20     int ret = 0;
21
22     if (parser && bibset)
23     {
24         struct ccl_rpn_node *rpn;
25
26         rpn = ccl_parser_find_str(parser, query);
27         if (rpn)
28         {
29             /* parse ok. check that result is there and match */
30             WRBUF wrbuf = wrbuf_alloc();
31             ccl_pquery(wrbuf, rpn);
32
33             /* check expect a result and that it matches */
34             if (result && !strcmp(wrbuf_cstr(wrbuf), result))
35                 ret = 1;
36             else
37             {
38                 yaz_log(YLOG_WARN, "%s: result does not match", query);
39                 yaz_log(YLOG_WARN, " expected %s", result);
40                 yaz_log(YLOG_WARN, " got      %s", wrbuf_cstr(wrbuf));
41                 ret = 0;
42             }
43             ccl_rpn_delete(rpn);
44             wrbuf_destroy(wrbuf);
45         }
46         else
47         {
48             if (result)
49             {
50                 yaz_log(YLOG_WARN, "%s: parse failed", query);
51                 ret = 0;
52             }
53             else
54                 ret = 1;
55         }
56     }
57     ccl_parser_destroy (parser);
58     return ret;
59 }
60
61 void tst1(int pass)
62 {
63     CCL_bibset bibset = ccl_qual_mk();
64     char tstline[128];
65
66     YAZ_CHECK(bibset);
67     if (!bibset)
68         return;
69
70     if (pass == 1)
71     {
72         CCL_bibset nbibset = ccl_qual_dup(bibset);
73         ccl_qual_rm(&bibset);
74         bibset = nbibset;
75     }
76
77     switch(pass)
78     {
79     case 0:
80         ccl_qual_fitem(bibset, "u=4    s=pw t=l,r", "ti");
81         ccl_qual_fitem(bibset, "1=1016 s=al,pw t=r",    "term");
82         ccl_qual_fitem(bibset, "t=x", "reg");
83         ccl_qual_fitem(bibset, "t=z", "z");
84         ccl_qual_fitem(bibset, "1=/my/title",       "dc.title");
85         ccl_qual_fitem(bibset, "r=r",         "date");
86         ccl_qual_fitem(bibset, "r=o",         "x");
87         ccl_qual_fitem(bibset, "dc.title", "title");
88         ccl_qual_fitem(bibset, "term dc.title", "comb");
89         ccl_qual_fitem(bibset, "s=ag", "ag");
90         break;
91     case 1:
92         strcpy(tstline, "ti u=4    s=pw t=l,r");
93         ccl_qual_line(bibset, tstline);
94
95         strcpy(tstline, "term 1=1016 s=al,pw t=r  # default term");
96         ccl_qual_line(bibset, tstline);
97
98         strcpy(tstline, "reg t=x");
99         ccl_qual_line(bibset, tstline);
100
101         strcpy(tstline, "z t=z");
102         ccl_qual_line(bibset, tstline);
103
104         strcpy(tstline, "dc.title 1=/my/title");
105         ccl_qual_line(bibset, tstline);
106
107         strcpy(tstline, "date r=r # ordered relation");
108         ccl_qual_line(bibset, tstline);
109
110         strcpy(tstline, "x r=o # ordered relation");
111         ccl_qual_line(bibset, tstline);
112
113         strcpy(tstline, "title dc.title # alias");
114         ccl_qual_line(bibset, tstline);
115
116         strcpy(tstline, "comb term dc.title # combination");
117         ccl_qual_line(bibset, tstline);
118
119         strcpy(tstline, "ag s=ag");
120         ccl_qual_line(bibset, tstline);
121         break;
122     case 2:
123         ccl_qual_buf(bibset, "ti u=4    s=pw t=l,r\n"
124                      "term 1=1016 s=al,pw t=r\r\n"
125                      "\n"
126                      "reg t=x\r\n"
127                      "z t=z\r\n"
128                      "dc.title 1=/my/title\n"
129                      "date r=r\n"
130                      "x r=o\n"
131                      "title dc.title\n"
132                      "comb term dc.title\n"
133                      "ag s=ag\n"
134             );
135         break;
136     case 3:
137 #if YAZ_HAVE_XML2
138         if (1)
139         {
140             xmlDocPtr doc;
141             int r;
142             const char *addinfo = 0;
143             const char *xml_str =
144                 "<cclmap>\n"
145                 " <qual name=\"ti\">\n"
146                 "   <attr type=\"u\" value=\"4\"/>\n"
147                 "   <attr type=\"s\" value=\"pw\"/>\n"
148                 "   <attr type=\"t\" value=\"l,r\"/>\n"
149                 " </qual>\n"
150                 " <qual name=\"term\">\n"
151                 "   <attr type=\"1\" value=\"1016\"/>\n"
152                 "   <attr type=\"s\" value=\"al,pw\"/>\n"
153                 "   <attr type=\"t\" value=\"r\"/>\n"
154                 " </qual>\n"
155                 " <qual name=\"reg\">\n"
156                 "   <attr type=\"t\" value=\"x\"/>\n"
157                 " </qual>\n"
158                 " <qual name=\"z\">\n"
159                 "   <attr type=\"t\" value=\"z\"/>\n"
160                 " </qual>\n"
161                 " <qual name=\"dc.title\">\n"
162                 "   <attr type=\"1\" value=\"/my/title\"/>\n"
163                 " </qual>\n"
164                 " <qual name=\"date\">\n"
165                 "   <attr type=\"r\" value=\"r\"/>\n"
166                 " </qual>\n"
167                 " <qual name=\"x\">\n"
168                 "   <attr type=\"r\" value=\"o\"/>\n"
169                 " </qual>\n"
170                 " <qual name=\"title\">\n"
171                 "   <qual name=\"dc.title\"/>\n"
172                 " </qual>\n"
173                 " <qual name=\"comb\">\n"
174                 "   <qual name=\"term\"/>\n"
175                 "   <qual name=\"dc.title\"/>\n"
176                 " </qual>\n"
177                 " <qual name=\"ag\">\n"
178                 "   <attr type=\"s\" value=\"ag\"/>\n"
179                 " </qual>\n"
180                 "</cclmap>\n";
181
182             doc = xmlParseMemory(xml_str, strlen(xml_str));
183             YAZ_CHECK(doc);
184
185             r = ccl_xml_config(bibset, xmlDocGetRootElement(doc), &addinfo);
186             YAZ_CHECK_EQ(r, 0);
187
188             xmlFreeDoc(doc);
189         }
190         break;
191 #else
192         return;
193 #endif
194     default:
195         YAZ_CHECK(0);
196         return;
197     }
198
199     YAZ_CHECK(tst_ccl_query(bibset, "x1", "@attr 4=2 @attr 1=1016 x1 "));
200
201     YAZ_CHECK(tst_ccl_query(bibset, "k\xc3\xb8" "benhavn", "@attr 4=2 @attr 1=1016 k\xc3\xb8" "benhavn "));
202
203     YAZ_CHECK(tst_ccl_query(bibset, "k\xf8" "benhavn", "@attr 4=2 @attr 1=1016 ""k\xf8" "benhavn "));
204
205     YAZ_CHECK(tst_ccl_query(bibset, "(((((x1)))))", "@attr 4=2 @attr 1=1016 x1 "));
206     YAZ_CHECK(tst_ccl_query(bibset, "x1 and x2",
207                   "@and "
208                   "@attr 4=2 @attr 1=1016 x1 "
209                   "@attr 4=2 @attr 1=1016 x2 "));
210     YAZ_CHECK(tst_ccl_query(bibset, "ti=x3", "@attr 4=2 @attr 1=4 x3 "));
211     YAZ_CHECK(tst_ccl_query(bibset, "dc.title=x4", "@attr 1=/my/title x4 "));
212     YAZ_CHECK(tst_ccl_query(bibset, "dc.title=(x4)", "@attr 1=/my/title x4 "));
213     YAZ_CHECK(tst_ccl_query(bibset, "x1 and", 0));
214     YAZ_CHECK(tst_ccl_query(bibset, "tix=x5", 0));
215
216     YAZ_CHECK(tst_ccl_query(bibset, "a%b",
217                   "@prox 0 1 0 2 k 2 "
218                   "@attr 4=2 @attr 1=1016 a "
219                   "@attr 4=2 @attr 1=1016 b "));
220     YAZ_CHECK(tst_ccl_query(bibset, "a%(b)",
221                   "@prox 0 1 0 2 k 2 "
222                   "@attr 4=2 @attr 1=1016 a "
223                   "@attr 4=2 @attr 1=1016 b "));
224     YAZ_CHECK(tst_ccl_query(bibset, "(a)%(b)",
225                   "@prox 0 1 0 2 k 2 "
226                   "@attr 4=2 @attr 1=1016 a "
227                   "@attr 4=2 @attr 1=1016 b "));
228     YAZ_CHECK(tst_ccl_query(bibset, "a%1b",
229                   "@prox 0 1 0 2 k 2 "
230                   "@attr 4=2 @attr 1=1016 a "
231                   "@attr 4=2 @attr 1=1016 b "));
232
233     YAZ_CHECK(tst_ccl_query(bibset, "a%2b",
234                   "@prox 0 2 0 2 k 2 "
235                   "@attr 4=2 @attr 1=1016 a "
236                   "@attr 4=2 @attr 1=1016 b "));
237
238     YAZ_CHECK(tst_ccl_query(bibset, "(a)%2(b)",
239                   "@prox 0 2 0 2 k 2 "
240                   "@attr 4=2 @attr 1=1016 a "
241                   "@attr 4=2 @attr 1=1016 b "));
242
243     YAZ_CHECK(tst_ccl_query(bibset, "a%19b",
244                   "@prox 0 19 0 2 k 2 "
245                   "@attr 4=2 @attr 1=1016 a "
246                   "@attr 4=2 @attr 1=1016 b "));
247
248     YAZ_CHECK(tst_ccl_query(bibset, "spid%├Žserne",
249                   "@prox 0 1 0 2 k 2 "
250                   "@attr 4=2 @attr 1=1016 spid "
251                   "@attr 4=2 @attr 1=1016 ├Žserne "));
252
253     YAZ_CHECK(tst_ccl_query(bibset, "a!b",
254                   "@prox 0 1 1 2 k 2 "
255                   "@attr 4=2 @attr 1=1016 a "
256                   "@attr 4=2 @attr 1=1016 b "));
257     YAZ_CHECK(tst_ccl_query(bibset, "a!2b",
258                   "@prox 0 2 1 2 k 2 "
259                   "@attr 4=2 @attr 1=1016 a "
260                   "@attr 4=2 @attr 1=1016 b "));
261
262     YAZ_CHECK(tst_ccl_query(bibset, "a% (b or dc.title=c)",
263                   "@prox 0 1 0 2 k 2 "
264                   "@attr 4=2 @attr 1=1016 a "
265                   "@or @attr 4=2 @attr 1=1016 b "
266                             "@attr 4=2 @attr 1=1016 @attr 1=/my/title c "));
267
268     YAZ_CHECK(tst_ccl_query(bibset, "(a b) % (c)",
269                             "@prox 0 1 0 2 k 2 @and "
270                             "@attr 4=2 @attr 1=1016 a @attr 4=2 @attr 1=1016 b "
271                             "@attr 4=2 @attr 1=1016 c " ));
272
273     YAZ_CHECK(tst_ccl_query(bibset, "date=1980",
274                             "@attr 2=3 1980 "));
275     YAZ_CHECK(tst_ccl_query(bibset, "(date=1980)",
276                             "@attr 2=3 1980 "));
277     YAZ_CHECK(tst_ccl_query(bibset, "date=234-1990",
278                             "@and @attr 2=4 234 @attr 2=2 1990 "));
279     YAZ_CHECK(tst_ccl_query(bibset, "date=234- 1990",
280                             "@and @attr 2=4 234 @attr 2=2 1990 "));
281     YAZ_CHECK(tst_ccl_query(bibset, "date=234 -1990",
282                             "@and @attr 2=4 234 @attr 2=2 1990 "));
283     YAZ_CHECK(tst_ccl_query(bibset, "date=234 - 1990",
284                             "@and @attr 2=4 234 @attr 2=2 1990 "));
285     YAZ_CHECK(tst_ccl_query(bibset, "date=-1980",
286                             "@attr 2=2 1980 "));
287     YAZ_CHECK(tst_ccl_query(bibset, "date=- 1980",
288                             "@attr 2=2 1980 "));
289     YAZ_CHECK(tst_ccl_query(bibset, "x=-1980",
290                             "@attr 2=3 -1980 "));
291     YAZ_CHECK(tst_ccl_query(bibset, "x=- 1980",
292                             "@attr 2=2 1980 "));
293     YAZ_CHECK(tst_ccl_query(bibset, "x= -1980",
294                             "@attr 2=3 -1980 "));
295     YAZ_CHECK(tst_ccl_query(bibset, "x=234-1990",
296                             "@attr 2=3 234-1990 "));
297     YAZ_CHECK(tst_ccl_query(bibset, "x=234 - 1990",
298                             "@and @attr 2=4 234 @attr 2=2 1990 "));
299     YAZ_CHECK(tst_ccl_query(bibset, "ti=a,b",
300                             "@attr 4=1 @attr 1=4 a,b "));
301     YAZ_CHECK(tst_ccl_query(bibset, "ti=a, b",
302                             "@attr 4=1 @attr 1=4 \"a, b\" "));
303     YAZ_CHECK(tst_ccl_query(bibset, "ti=a-b",
304                             "@attr 4=2 @attr 1=4 a-b "));
305     YAZ_CHECK(tst_ccl_query(bibset, "ti=a - b",
306                             "@attr 4=1 @attr 1=4 \"a - b\" "));
307
308     YAZ_CHECK(tst_ccl_query(bibset, "a?",
309                             "@attr 5=1 @attr 4=2 @attr 1=1016 a "));
310     YAZ_CHECK(tst_ccl_query(bibset, "a b",
311                             "@and @attr 4=2 @attr 1=1016 a "
312                             "@attr 4=2 @attr 1=1016 b "));
313
314     YAZ_CHECK(tst_ccl_query(bibset, "a b?",
315                             "@and @attr 4=2 @attr 1=1016 a "
316                             "@attr 5=1 @attr 4=2 @attr 1=1016 b "));
317
318     YAZ_CHECK(tst_ccl_query(bibset, "title=a",
319                             "@attr 1=/my/title a "));
320
321     YAZ_CHECK(tst_ccl_query(bibset, "reg=a?b#\"c?\"",
322                             "@attr 5=102 a.*b.c\\\\? "));
323     YAZ_CHECK(tst_ccl_query(bibset, "z=a?b#\"c?\"",
324                             "@attr 5=104 a?b#c\\\\? "));
325
326     YAZ_CHECK(tst_ccl_query(bibset, "reg=\\(",
327                             "@attr 5=102 \\\\( "));
328     YAZ_CHECK(tst_ccl_query(bibset, "z=\\(",
329                             "( "));
330
331     YAZ_CHECK(tst_ccl_query(bibset, "reg=\\\"",
332                             "\"\\\"\" "));
333     YAZ_CHECK(tst_ccl_query(bibset, "z=\\\"",
334                             "\"\\\"\" "));
335
336     YAZ_CHECK(tst_ccl_query(bibset, "reg=.",
337                             "@attr 5=102 \\\\. "));
338     YAZ_CHECK(tst_ccl_query(bibset, "z=.",
339                             ". "));
340
341     YAZ_CHECK(tst_ccl_query(bibset, "reg=\".\"",
342                             "@attr 5=102 \\\\. "));
343     YAZ_CHECK(tst_ccl_query(bibset, "z=\".\"",
344                             ". "));
345
346     YAZ_CHECK(tst_ccl_query(bibset, "reg=?\\?",
347                             "@attr 5=102 .*\\\\? "));
348     YAZ_CHECK(tst_ccl_query(bibset, "z=?\\?",
349                             "@attr 5=104 ?\\\\? "));
350
351     YAZ_CHECK(tst_ccl_query(bibset, "reg=\"?\\?\"",
352                             "@attr 5=102 \\\\?\\\\? "));
353     YAZ_CHECK(tst_ccl_query(bibset, "z=\"?\\?\"",
354                             "@attr 5=104 \\\\?\\\\? "));
355
356     YAZ_CHECK(tst_ccl_query(bibset, "reg=\\\\",
357                             "@attr 5=102 \\\\\\\\ "));
358     YAZ_CHECK(tst_ccl_query(bibset, "z=\\\\",
359                             "@attr 5=104 \\\\\\\\ "));
360
361     YAZ_CHECK(tst_ccl_query(bibset, "\\\\",
362                             "@attr 4=2 @attr 1=1016 \\\\ "));
363
364     YAZ_CHECK(tst_ccl_query(bibset, "comb=a",
365                             "@or @attr 4=2 @attr 1=1016 a "
366                             "@attr 1=/my/title a "));
367
368     YAZ_CHECK(tst_ccl_query(bibset, "a? b?",
369                             "@and @attr 5=1 @attr 4=2 @attr 1=1016 a "
370                             "@attr 5=1 @attr 4=2 @attr 1=1016 b "));
371
372     YAZ_CHECK(tst_ccl_query(bibset, "\"a\"? \"b?\"",
373                             "@and @attr 5=1 @attr 4=2 @attr 1=1016 a "
374                             "@attr 4=2 @attr 1=1016 b? "));
375
376     YAZ_CHECK(tst_ccl_query(bibset, "@and",
377                             "@attr 4=2 @attr 1=1016 \\@and "));
378
379     YAZ_CHECK(tst_ccl_query(bibset, "a@and",
380                             "@attr 4=2 @attr 1=1016 a@and "));
381
382     YAZ_CHECK(tst_ccl_query(bibset, "}",
383                             "@attr 4=2 @attr 1=1016 } "));
384
385     YAZ_CHECK(tst_ccl_query(bibset, "{",
386                             "@attr 4=2 @attr 1=1016 \"{\" "));
387
388     YAZ_CHECK(tst_ccl_query(bibset, "\"a b c\"",
389                             "@attr 4=1 @attr 1=1016 \"a b c\" "));
390
391     YAZ_CHECK(tst_ccl_query(bibset, "\"a b  c  \"",
392                             "@attr 4=1 @attr 1=1016 \"a b  c  \" "));
393
394     YAZ_CHECK(tst_ccl_query(bibset, "ag=a",
395                             "@attr 4=2 a "));
396
397     YAZ_CHECK(tst_ccl_query(bibset, "ag=a b",
398                             "@attr 4=2 \"a b\" "));
399
400     YAZ_CHECK(tst_ccl_query(bibset, "ag=a b \"c d\"",
401                             "@and @attr 4=2 \"a b\" @attr 4=1 \"c d\" "));
402
403     YAZ_CHECK(tst_ccl_query(bibset, "ag=a b \"c\"",
404                             "@attr 4=2 \"a b c\" "));
405
406     YAZ_CHECK(tst_ccl_query(bibset, "ag=a b \"\"",
407                             "@attr 4=2 \"a b \" "));
408
409     YAZ_CHECK(tst_ccl_query(bibset, "ag=a \"b c\" d",
410                             "@and @and "
411                             "@attr 4=2 a @attr 4=1 \"b c\" @attr 4=2 d "));
412
413     YAZ_CHECK(tst_ccl_query(bibset, "ag=\"a b c\"",
414                             "@attr 4=1 \"a b c\" "));
415
416     YAZ_CHECK(tst_ccl_query(bibset, "ag=\"a b c\" \"d e\"",
417                             "@and @attr 4=1 \"a b c\" @attr 4=1 \"d e\" "));
418     ccl_qual_rm(&bibset);
419 }
420
421 void tst2(void)
422 {
423     CCL_bibset bibset = ccl_qual_mk();
424
425     YAZ_CHECK(bibset);
426     if (!bibset)
427         return;
428
429     ccl_qual_fitem(bibset, "u=4    s=pw t=l,r", "ti");
430     ccl_qual_fitem(bibset, "1=1016 s=al,pw t=z",    "term");
431
432     YAZ_CHECK(tst_ccl_query(bibset, "a?#",
433                             "@attr 5=104 @attr 4=2 @attr 1=1016 a?# "));
434
435     YAZ_CHECK(tst_ccl_query(bibset, "a*",
436                             "@attr 4=2 @attr 1=1016 a* "));
437
438     YAZ_CHECK(tst_ccl_query(bibset, "a?",
439                             "@attr 5=104 @attr 4=2 @attr 1=1016 a? "));
440
441     ccl_qual_fitem(bibset, "*", "@truncation");
442     YAZ_CHECK(tst_ccl_query(bibset, "a*",
443                             "@attr 5=104 @attr 4=2 @attr 1=1016 a? "));
444
445     YAZ_CHECK(tst_ccl_query(bibset, "a?",
446                             "@attr 5=104 @attr 4=2 @attr 1=1016 a\\\\? "));
447
448     ccl_qual_fitem(bibset, "?", "@mask");
449     YAZ_CHECK(tst_ccl_query(bibset, "a?",
450                             "@attr 5=104 @attr 4=2 @attr 1=1016 a# "));
451
452
453     ccl_qual_fitem(bibset, "", "@mask");
454     ccl_qual_fitem(bibset, "", "@truncation");
455     YAZ_CHECK(tst_ccl_query(bibset, "a?#",
456                             "@attr 5=104 @attr 4=2 @attr 1=1016 a\\\\?\\\\# "));
457
458     ccl_qual_fitem(bibset, "og", "@and");
459     ccl_qual_fitem(bibset, "eller", "@or");
460     ccl_qual_fitem(bibset, "ikke", "@not");
461
462     YAZ_CHECK(tst_ccl_query(bibset, "a og b eller c ikke d",
463                             "@not @or @and @attr 4=2 @attr 1=1016 a "
464                             "@attr 4=2 @attr 1=1016 b "
465                             "@attr 4=2 @attr 1=1016 c "
466                             "@attr 4=2 @attr 1=1016 d "));
467     ccl_qual_rm(&bibset);
468 }
469
470
471 void tst_addinfo(void)
472 {
473     const char *addinfo;
474     int r;
475     CCL_bibset bibset = ccl_qual_mk();
476
477     r = ccl_qual_fitem2(bibset, "u=4    s=pw t=l,r", "ti", &addinfo);
478     YAZ_CHECK(r == 0 && addinfo == 0);
479
480     r = ccl_qual_fitem2(bibset, "1=1016 s=al,pw t=z", "term", &addinfo);
481     YAZ_CHECK(r == 0 && addinfo == 0);
482
483     r = ccl_qual_fitem2(bibset, "x=", "term", &addinfo);
484     YAZ_CHECK(r != 0 && addinfo != 0);
485
486     r = ccl_qual_fitem2(bibset, "12=3", "term", &addinfo);
487     YAZ_CHECK(r == 0 && addinfo == 0);
488
489     r = ccl_qual_fitem2(bibset, "ab=3", "term", &addinfo);
490     YAZ_CHECK(r != 0 && addinfo != 0);
491
492     r = ccl_qual_fitem2(bibset, "x=ab", "term", &addinfo);
493     YAZ_CHECK(r != 0 && addinfo != 0);
494
495     r = ccl_qual_fitem2(bibset, "s=ab", "term", &addinfo);
496     YAZ_CHECK(r == 0 && addinfo == 0);
497
498     ccl_qual_rm(&bibset);
499 }
500
501 int main(int argc, char **argv)
502 {
503     YAZ_CHECK_INIT(argc, argv);
504     YAZ_CHECK_LOG();
505     tst1(0);
506     tst1(1);
507     tst1(2);
508     tst1(3);
509     tst2();
510     tst_addinfo();
511     YAZ_CHECK_TERM;
512 }
513 /*
514  * Local variables:
515  * c-basic-offset: 4
516  * c-file-style: "Stroustrup"
517  * indent-tabs-mode: nil
518  * End:
519  * vim: shiftwidth=4 tabstop=8 expandtab
520  */
521