0791d45ad01bf8befadc6eab984f448c380df85f
[idzebra-moved-to-github.git] / test / api / testlib.c
1 /* This file is part of the Zebra server.
2    Copyright (C) 1994-2009 Index Data
3
4 Zebra is free software; you can redistribute it and/or modify it under
5 the terms of the GNU General Public License as published by the Free
6 Software Foundation; either version 2, or (at your option) any later
7 version.
8
9 Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
10 WARRANTY; without even the implied warranty of MERCHANTABILITY or
11 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
12 for more details.
13
14 You should have received a copy of the GNU General Public License
15 along with this program; if not, write to the Free Software
16 Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
17
18 */
19
20 /** testlib - utilities for the api tests */
21
22 #if HAVE_SYS_TIME_H
23 #include <sys/time.h>
24 #endif
25 #if HAVE_SYS_RESOURCE_H
26 #include <sys/resource.h>
27 #endif
28 #if HAVE_UNISTD_H
29 #include <unistd.h>
30 #endif
31
32 #include <assert.h>
33 #include <yaz/log.h>
34 #include <yaz/pquery.h>
35 #include <yaz/oid_db.h>
36 #include <idzebra/api.h>
37 #include "testlib.h"
38
39 int log_level = YLOG_LOG;
40
41 /* 
42  * tl_start_up : do common start things, and a zebra_start
43  *    - build the name of logfile from argv[0], and open it
44  *      if no argv passed, do not open a log
45  *    - read zebra.cfg from env var srcdir if it exists; otherwise current dir 
46  *      default to zebra.cfg, if no name is given
47  */
48 ZebraService tl_start_up(char *cfgname, int argc, char **argv)
49 {
50 #if HAVE_SYS_RESOURCE_H
51 #if HAVE_SYS_TIME_H
52     struct rlimit rlim;
53     rlim.rlim_cur = 60;
54     rlim.rlim_max = 60;
55     setrlimit(RLIMIT_CPU, &rlim);
56 #endif
57 #endif
58     return tl_zebra_start(cfgname);
59 }
60
61 /**
62  * get_srcdir: return env srcdir or . (if does does not exist)
63  */
64 const char *tl_get_srcdir(void)
65 {
66     const char *srcdir = getenv("srcdir");
67     if (!srcdir || ! *srcdir)
68         srcdir = ".";
69     return srcdir;
70
71 }
72 /** tl_zebra_start - do a zebra_start with a decent config name */
73 ZebraService tl_zebra_start(const char *cfgname)
74 {
75     char cfg[256];
76     const char *srcdir = tl_get_srcdir();
77     if (!cfgname || ! *cfgname )
78         cfgname="zebra.cfg";
79
80     sprintf(cfg, "%.200s/%.50s", srcdir, cfgname);
81     return  zebra_start(cfg);
82 }
83
84 /** tl_close_down closes down the zebra, logfile, nmem, xmalloc etc. logs an OK */
85 int tl_close_down(ZebraHandle zh, ZebraService zs)
86 {
87     if (zh)
88         zebra_close(zh);
89     if (zs)
90         zebra_stop(zs);
91
92     xmalloc_trav("x");
93     return 1;
94 }
95
96 /** inits the database and inserts test data */
97
98 int tl_init_data(ZebraHandle zh, const char **recs)
99 {
100     ZEBRA_RES res;
101
102     if (!zh)
103         return 0;
104
105     if (zebra_select_database(zh, "Default") != ZEBRA_OK)
106         return 0;
107
108     yaz_log(log_level, "going to call init");
109     res = zebra_init(zh);
110     if (res == ZEBRA_FAIL) 
111     {
112         yaz_log(log_level, "init_data: zebra_init failed with %d", res);
113         printf("init_data failed with %d\n", res);
114         return 0;
115     }
116     if (recs)
117     {
118         int i;
119         if (zebra_begin_trans (zh, 1) != ZEBRA_OK)
120             return 0;
121         for (i = 0; recs[i]; i++)
122         {
123             if (zebra_add_record(zh, recs[i], strlen(recs[i])) != ZEBRA_OK)
124             {
125                 if (zebra_end_trans(zh) != ZEBRA_OK)
126                     return 0;
127                 return 0;
128             }
129         }
130         if (zebra_end_trans(zh) != ZEBRA_OK)
131             return 0;
132         zebra_commit(zh);
133     }
134     return 1;
135 }
136
137 int tl_query_x(ZebraHandle zh, const char *query, zint exphits, int experror)
138 {
139     ODR odr;
140     YAZ_PQF_Parser parser;
141     Z_RPNQuery *rpn;
142     const char *setname="rsetname";
143     zint hits;
144     ZEBRA_RES rc;
145
146     yaz_log(log_level, "======================================");
147     yaz_log(log_level, "query: %s", query);
148     odr = odr_createmem (ODR_DECODE);
149     if (!odr)
150         return 0;
151
152     parser = yaz_pqf_create();
153     rpn = yaz_pqf_parse(parser, odr, query);
154     yaz_pqf_destroy(parser);
155     if (!rpn)
156     {
157         yaz_log(log_level, "could not parse pqf query %s\n", query);
158         printf("could not parse pqf query %s\n", query);
159         odr_destroy(odr);
160         return 0;
161     }
162
163     rc = zebra_search_RPN(zh, odr, rpn, setname, &hits);
164     odr_destroy(odr);
165     if (experror)
166     {
167         int code;
168         if (rc != ZEBRA_FAIL)
169         {
170             yaz_log(log_level, "search returned %d (OK), but error was "
171                     "expected", rc);
172             printf("Error: search returned %d (OK), but error was expected\n"
173                    "%s\n",  rc, query);
174             return 0;
175         }
176         code = zebra_errCode(zh);
177         if (code != experror)
178         {
179             yaz_log(log_level, "search returned error code %d, but error %d "
180                     "was expected", code, experror);
181             printf("Error: search returned error code %d, but error %d was "
182                    "expected\n%s\n",
183                    code, experror, query);
184             return 0;
185         }
186     }
187     else
188     {
189         if (rc == ZEBRA_FAIL) {
190             int code = zebra_errCode(zh);
191             yaz_log(log_level, "search returned %d. Code %d", rc, code);
192             
193             printf("Error: search returned %d. Code %d\n%s\n", rc, 
194                    code, query);
195             return 0;
196         }
197         if (exphits != -1 && hits != exphits)
198         {
199             yaz_log(log_level, "search returned " ZINT_FORMAT 
200                    " hits instead of " ZINT_FORMAT, hits, exphits);
201             printf("Error: search returned " ZINT_FORMAT 
202                    " hits instead of " ZINT_FORMAT "\n%s\n",
203                    hits, exphits, query);
204             return 0;
205         }
206     }
207     return 1;
208 }
209
210
211 int tl_query(ZebraHandle zh, const char *query, zint exphits)
212 {
213     return tl_query_x(zh, query, exphits, 0);
214 }
215
216 int tl_scan(ZebraHandle zh, const char *query,
217             int pos, int num,
218             int exp_pos, int exp_num, int exp_partial,
219             const char **exp_entries)
220 {
221     int ret = 1;
222     ODR odr = odr_createmem(ODR_ENCODE);
223     ZebraScanEntry *entries = 0;
224     int partial = -123;
225     ZEBRA_RES res;
226
227     yaz_log(log_level, "======================================");
228     yaz_log(log_level, "scan: pos=%d num=%d %s", pos, num, query);
229
230     res = zebra_scan_PQF(zh, odr, query, &pos, &num, &entries, &partial, 
231                          0 /* setname */);
232
233     if (partial == -123)
234     {
235         printf("Error: scan returned OK, but partial was not set\n"
236                "%s\n", query);
237         ret = 0;
238     }
239     if (partial != exp_partial)
240     {
241         printf("Error: scan OK, with partial/expected %d/%d\n",
242                partial, exp_partial);
243         ret = 0;
244     }
245     if (res != ZEBRA_OK) /* failure */
246     {
247         if (exp_entries)
248         {
249             printf("Error: scan failed, but no error was expected\n");
250             ret = 0;
251         }
252     }
253     else
254     {
255         if (!exp_entries)
256         {
257             printf("Error: scan OK, but error was expected\n");
258             ret = 0;
259         }
260         else
261         {
262             int fails = 0;
263             if (num != exp_num)
264             {
265                 printf("Error: scan OK, with num/expected %d/%d\n",
266                        num, exp_num);
267                 fails++;
268             }
269             if (pos != exp_pos)
270             {
271                 printf("Error: scan OK, with pos/expected %d/%d\n",
272                        pos, exp_pos);
273                 fails++;
274             }
275             if (!fails)
276             {
277                 if (exp_entries)
278                 {
279                     int i;
280                     for (i = 0; i<num; i++)
281                     {
282                         if (strcmp(exp_entries[i], entries[i].term))
283                         {
284                             printf("Error: scan OK of %s, no %d got=%s exp=%s\n",
285                                    query, i, entries[i].term, exp_entries[i]);
286                             fails++;
287                         }
288                     }
289                 }
290             }
291             if (fails)
292                 ret = 0;
293         }
294     }
295     odr_destroy(odr);
296     return ret;
297 }
298
299 /** 
300  * makes a query, checks number of hits, and for the first hit, that 
301  * it contains the given string, and that it gets the right score
302  */
303 int tl_ranking_query(ZebraHandle zh, char *query, 
304                      int exphits, char *firstrec, int firstscore)
305 {
306     ZebraRetrievalRecord retrievalRecord[10];
307     ODR odr_output = 0;
308     const char *setname = "rsetname";
309     int rc;
310     int i;
311     int ret = 1;
312         
313     if (!tl_query(zh, query, exphits))
314         return 0;
315
316     for (i = 0; i<10; i++)
317         retrievalRecord[i].position = i+1;
318
319     odr_output = odr_createmem(ODR_ENCODE);    
320     rc = zebra_records_retrieve(zh, odr_output, setname, 0,
321                                 yaz_oid_recsyn_xml, exphits, retrievalRecord);
322     if (rc != ZEBRA_OK)
323         ret = 0;
324     else if (!strstr(retrievalRecord[0].buf, firstrec))
325     {
326         printf("Error: Got the wrong record first\n");
327         printf("Expected '%s' but got\n", firstrec);
328         printf("%.*s\n", retrievalRecord[0].len, retrievalRecord[0].buf);
329         ret = 0;
330     }
331     else if (retrievalRecord[0].score != firstscore)
332     {
333         printf("Error: first rec got score %d instead of %d\n",
334                retrievalRecord[0].score, firstscore);
335         ret = 0;
336     }
337     odr_destroy (odr_output);
338     return ret;
339 }
340
341 int tl_meta_query(ZebraHandle zh, char *query, int exphits,
342                   zint *ids)
343 {
344     ZebraMetaRecord *meta;
345     const char *setname= "rsetname";
346     zint *positions = 0;
347     int i, ret = 1;
348         
349     if (!tl_query(zh, query, exphits))
350         return 0;
351     
352     positions = (zint *) xmalloc(1 + (exphits * sizeof(zint)));
353     for (i = 0; i<exphits; i++)
354         positions[i] = i+1;
355
356     meta = zebra_meta_records_create(zh, setname,  exphits, positions);
357     
358     if (!meta)
359     {
360         printf("Error: retrieve returned error\n%s\n", query);
361         xfree(positions);
362         return 0;
363     }
364
365     for (i = 0; i<exphits; i++)
366     {
367         if (meta[i].sysno != ids[i])
368         {
369             printf("Expected id=" ZINT_FORMAT " but got id=" ZINT_FORMAT "\n",
370                    ids[i], meta[i].sysno);
371             ret = 0;
372         }
373     }
374     zebra_meta_records_destroy(zh, meta, exphits);
375     xfree(positions);
376     return ret;
377 }
378
379 int tl_sort(ZebraHandle zh, const char *query, zint hits, zint *exp)
380 {
381     ZebraMetaRecord *recs;
382     zint i;
383     int errs = 0;
384     zint min_val_recs = 0;
385     zint min_val_exp = 0;
386
387     assert(query);
388     if (!tl_query(zh, query, hits))
389         return 0;
390
391     recs = zebra_meta_records_create_range (zh, "rsetname", 1, 4);
392     if (!recs)
393         return 0;
394
395     /* find min for each sequence to get proper base offset */
396     for (i = 0; i<hits; i++)
397     {
398         if (min_val_recs == 0 || recs[i].sysno < min_val_recs)
399             min_val_recs = recs[i].sysno;
400         if (min_val_exp == 0 || exp[i] < min_val_exp)
401             min_val_exp = exp[i];
402     }
403             
404     /* compare sequences using base offset */
405     for (i = 0; i<hits; i++)
406         if ((recs[i].sysno-min_val_recs) != (exp[i]-min_val_exp))
407             errs++;
408     if (errs)
409     {
410         printf("Sequence not in right order for query\n%s\ngot exp\n",
411                query);
412         for (i = 0; i<hits; i++)
413             printf(" " ZINT_FORMAT "   " ZINT_FORMAT "\n",
414                    recs[i].sysno, exp[i]);
415     }
416     zebra_meta_records_destroy (zh, recs, 4);
417
418     if (errs)
419         return 0;
420     return 1;
421 }
422
423
424 struct finfo {
425     const char *name;
426     int occurred;
427 };
428
429 static void filter_cb(void *cd, const char *name)
430 {
431     struct finfo *f = (struct finfo*) cd;
432     if (!strcmp(f->name, name))
433         f->occurred = 1;
434 }
435
436 void tl_check_filter(ZebraService zs, const char *name)
437 {
438     struct finfo f;
439
440     f.name = name;
441     f.occurred = 0;
442     zebra_filter_info(zs, &f, filter_cb);
443     if (!f.occurred)
444     {
445         yaz_log(YLOG_WARN, "Filter %s does not exist.", name);
446         exit(0);
447     }
448 }
449
450 ZEBRA_RES tl_fetch(ZebraHandle zh, int position, const char *element_set,
451                    const Odr_oid * format, ODR odr,
452                    const char **rec_buf, size_t *rec_len)
453 {
454     ZebraRetrievalRecord retrievalRecord[1];
455     Z_RecordComposition *comp;
456     ZEBRA_RES res;
457
458     retrievalRecord[0].position = position;
459     
460     yaz_set_esn(&comp, element_set, odr->mem);
461
462     res = zebra_records_retrieve(zh, odr, "rsetname", comp, format, 1, 
463                                  retrievalRecord);
464     if (res != ZEBRA_OK)
465     {
466         int code = zebra_errCode(zh);
467         yaz_log(YLOG_FATAL, "zebra_records_retrieve returned error %d",
468                 code);
469     }
470     else
471     {
472         *rec_buf = retrievalRecord[0].buf;
473         *rec_len = retrievalRecord[0].len;
474     }
475     return res;
476 }
477
478 ZEBRA_RES tl_fetch_compare(ZebraHandle zh,
479                            int position, const char *element_set,
480                            const Odr_oid *format, const char *cmp_rec)
481 {
482     const char *rec_buf = 0;
483     size_t rec_len = 0;
484     ODR odr = odr_createmem(ODR_ENCODE);
485     ZEBRA_RES res = tl_fetch(zh, position, element_set, format, odr,
486                              &rec_buf, &rec_len);
487     if (res == ZEBRA_OK)
488     {
489         if (strlen(cmp_rec) != rec_len)
490             res = ZEBRA_FAIL;
491         else if (memcmp(cmp_rec, rec_buf, rec_len))
492             res = ZEBRA_FAIL;
493         if (res == ZEBRA_FAIL)
494         {
495             int l = rec_len;
496             yaz_log(YLOG_LOG, "Expected: %s", cmp_rec);
497             yaz_log(YLOG_LOG, "Got: %.*s", l, rec_buf);
498         }
499     }
500     odr_destroy(odr);
501     return res;
502 }
503
504 ZEBRA_RES tl_fetch_first_compare(ZebraHandle zh,
505                                  const char *element_set,
506                                  const Odr_oid *format, const char *cmp_rec)
507 {
508     return tl_fetch_compare(zh, 1, element_set, format, cmp_rec);
509 }
510
511 /*
512  * Local variables:
513  * c-basic-offset: 4
514  * c-file-style: "Stroustrup"
515  * indent-tabs-mode: nil
516  * End:
517  * vim: shiftwidth=4 tabstop=8 expandtab
518  */
519