test/api/testlib.c

   1 /* $Id: testlib.c,v 1.26 2005-08-18 12:50:18 adam Exp $
   2    Copyright (C) 1995-2005
   3    Index Data ApS
   4
   5 This file is part of the Zebra server.
   6
   7 Zebra is free software; you can redistribute it and/or modify it under
   8 the terms of the GNU General Public License as published by the Free
   9 Software Foundation; either version 2, or (at your option) any later
  10 version.
  11
  12 Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
  13 WARRANTY; without even the implied warranty of MERCHANTABILITY or
  14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15 for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with Zebra; see the file LICENSE.zebra.  If not, write to the
  19 Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
  20 02111-1307, USA.
  21 */
  22
  23 /** testlib - utilities for the api tests */
  24
  25 #if HAVE_SYS_TIME_H
  26 #include <sys/time.h>
  27 #endif
  28 #if HAVE_SYS_RESOURCE_H
  29 #include <sys/resource.h>
  30 #endif
  31 #if HAVE_UNISTD_H
  32 #include <unistd.h>
  33 #endif
  34
  35 #include <assert.h>
  36 #include <yaz/log.h>
  37 #include <yaz/pquery.h>
  38 #include <idzebra/api.h>
  39 #include "testlib.h"
  40
  41 /** start_log: open a log file */
  42 /*    FIXME - parse command line arguments to set log levels etc */
  43 int log_level=0; /* not static, t*.c may use it */
  44
  45 void start_log(int argc, char **argv)
  46 {
  47     int cmd_level = 0;
  48     char logname[2048];
  49     if (!argv)
  50         return;
  51     if (!argv[0])
  52         return;
  53     sprintf(logname, "%s.log", argv[0]);
  54     yaz_log_init_file(logname);
  55     log_level = yaz_log_mask_str_x(argv[0], 0);
  56     if (argc >= 2)
  57         cmd_level |= yaz_log_mask_str_x(argv[1], 0);
  58     yaz_log_init_level(YLOG_DEFAULT_LEVEL | log_level | cmd_level);
  59     yaz_log(log_level, "starting %s", argv[0]);
  60 }
  61
  62 /**
  63  * start_up : do common start things, and a zebra_start
  64  *    - nmem_init
  65  *    - build the name of logfile from argv[0], and open it
  66  *      if no argv passed, do not open a log
  67  *    - read zebra.cfg from env var srcdir if it exists; otherwise current dir
  68  *      default to zebra.cfg, if no name is given
  69  */
  70 ZebraService start_up(char *cfgname, int argc, char **argv)
  71 {
  72 #if HAVE_SYS_RESOURCE_H
  73 #if HAVE_SYS_TIME_H
  74     struct rlimit rlim;
  75     rlim.rlim_cur = 20;
  76     rlim.rlim_max = 20;
  77     setrlimit(RLIMIT_CPU, &rlim);
  78 #endif
  79 #endif
  80     nmem_init();
  81     start_log(argc, argv);
  82     return start_service(cfgname);
  83 }
  84
  85 /**
  86  * get_srcdir: return env srcdir or . (if does does not exist)
  87  */
  88 const char *get_srcdir()
  89 {
  90     const char *srcdir = getenv("srcdir");
  91     if (!srcdir || ! *srcdir)
  92         srcdir=".";
  93     return srcdir;
  94
  95 }
  96 /** start_service - do a zebra_start with a decent config name */
  97 ZebraService start_service(char *cfgname)
  98 {
  99     char cfg[256];
 100     const char *srcdir = get_srcdir();
 101     ZebraService zs;
 102     if (!cfgname || ! *cfgname )
 103         cfgname="zebra.cfg";
 104
 105     sprintf(cfg, "%.200s/%.50s", srcdir, cfgname);
 106     zs=zebra_start(cfg);
 107     if (!zs)
 108     {
 109         printf("zebra_start failed, probably because missing config file \n"
 110                "check %s\n", cfg);
 111         exit(9);
 112     }
 113     return zs;
 114 }
 115
 116
 117 /** close_down closes down the zebra, logfile, nmem, xmalloc etc. logs an OK */
 118 int close_down(ZebraHandle zh, ZebraService zs, int retcode)
 119 {
 120     if (zh)
 121         zebra_close(zh);
 122     if (zs)
 123         zebra_stop(zs);
 124
 125     if (retcode)
 126         yaz_log(log_level,"========= Exiting with return code %d", retcode);
 127     else
 128         yaz_log(log_level,"========= All tests OK");
 129     nmem_exit();
 130     xmalloc_trav("x");
 131     return retcode;
 132 }
 133
 134 /** inits the database and inserts test data */
 135
 136 void init_data(ZebraHandle zh, const char **recs)
 137 {
 138     int i;
 139     char *addinfo;
 140     assert(zh);
 141     zebra_select_database(zh, "Default");
 142     yaz_log(log_level, "going to call init");
 143     i = zebra_init(zh);
 144     yaz_log(log_level, "init_data returned %d", i);
 145     if (i)
 146     {
 147         printf("init_data failed with %d\n",i);
 148         zebra_result(zh, &i, &addinfo);
 149         printf("  Error %d   %s\n", i, addinfo);
 150         exit(1);
 151     }
 152     if (recs)
 153     {
 154         zebra_begin_trans (zh, 1);
 155         for (i = 0; recs[i]; i++)
 156             zebra_add_record(zh, recs[i], strlen(recs[i]));
 157         zebra_end_trans(zh);
 158         zebra_commit(zh);
 159     }
 160
 161 }
 162
 163 int do_query_x(int lineno, ZebraHandle zh, const char *query, zint exphits,
 164                int experror)
 165 {
 166     ODR odr;
 167     YAZ_PQF_Parser parser;
 168     Z_RPNQuery *rpn;
 169     const char *setname="rsetname";
 170     zint hits;
 171     ZEBRA_RES rc;
 172
 173     yaz_log(log_level, "======================================");
 174     yaz_log(log_level, "qry[%d]: %s", lineno, query);
 175     odr = odr_createmem (ODR_DECODE);
 176
 177     parser = yaz_pqf_create();
 178     rpn = yaz_pqf_parse(parser, odr, query);
 179     yaz_pqf_destroy(parser);
 180     if (!rpn) {
 181         printf("Error: Parse failed \n%s\n", query);
 182         exit(1);
 183     }
 184     rc = zebra_search_RPN(zh, odr, rpn, setname, &hits);
 185     if (experror)
 186     {
 187         int code;
 188         if (rc != ZEBRA_FAIL)
 189         {
 190             printf("Error: search returned %d (OK), but error was expected\n"
 191                    "%s\n",  rc, query);
 192             exit(1);
 193         }
 194         code = zebra_errCode(zh);
 195         if (code != experror)
 196         {
 197             printf("Error: search returned error code %d, but error %d was "
 198                    "expected\n%s\n",
 199                    code, experror, query);
 200             exit(1);
 201         }
 202     }
 203     else
 204     {
 205         if (rc == ZEBRA_FAIL) {
 206             int code = zebra_errCode(zh);
 207             printf("Error: search returned %d. Code %d\n%s\n", rc,
 208                    code, query);
 209             exit (1);
 210         }
 211         if (exphits != -1 && hits != exphits) {
 212             printf("Error: search returned " ZINT_FORMAT
 213                    " hits instead of " ZINT_FORMAT "\n%s\n",
 214                    hits, exphits, query);
 215             exit (1);
 216         }
 217     }
 218     odr_destroy (odr);
 219     return hits;
 220 }
 221
 222
 223 int do_query(int lineno, ZebraHandle zh, const char *query, zint exphits)
 224 {
 225     return do_query_x(lineno, zh, query, exphits, 0);
 226 }
 227
 228 void do_scan(int lineno, ZebraHandle zh, const char *query,
 229              int pos, int num,
 230              int exp_pos, int exp_num, int exp_partial,
 231              const char **exp_entries)
 232 {
 233     ODR odr = odr_createmem(ODR_ENCODE);
 234     ZebraScanEntry *entries = 0;
 235     int partial = -123;
 236     ZEBRA_RES res;
 237
 238     yaz_log(log_level, "======================================");
 239     yaz_log(log_level, "scan[%d]: pos=%d num=%d %s", lineno, pos, num, query);
 240
 241     res = zebra_scan_PQF(zh, odr, query, &pos, &num, &entries, &partial,
 242                          0 /* setname */);
 243     if (res != ZEBRA_OK)
 244     {
 245         printf("Error: scan returned %d (FAIL), but no error was expected\n"
 246                "%s\n",  res, query);
 247         exit(1);
 248     }
 249     else
 250     {
 251         int fails = 0;
 252         if (partial == -123)
 253         {
 254             printf("Error: scan returned OK, but partial was not set\n"
 255                    "%s\n", query);
 256             fails++;
 257         }
 258         if (partial != exp_partial)
 259         {
 260             printf("Error: scan returned OK, with partial/expected %d/%d\n"
 261                    "%s\n", partial, exp_partial, query);
 262             fails++;
 263         }
 264         if (num != exp_num)
 265         {
 266             printf("Error: scan returned OK, with num/expected %d/%d\n"
 267                    "%s\n", num, exp_num, query);
 268             fails++;
 269         }
 270         if (pos != exp_pos)
 271         {
 272             printf("Error: scan returned OK, with pos/expected %d/%d\n"
 273                    "%s\n", pos, exp_pos, query);
 274             fails++;
 275         }
 276         if (fails)
 277             exit(1);
 278         fails = 0;
 279         if (exp_entries)
 280         {
 281             int i;
 282             for (i = 0; i<num; i++)
 283             {
 284                 if (strcmp(exp_entries[i], entries[i].term))
 285                 {
 286                     printf("Error: scan OK, but entry %d term/exp %s/%s\n"
 287                            "%s\n",
 288                            i, entries[i].term, exp_entries[i], query);
 289                     fails++;
 290                 }
 291             }
 292         }
 293         if (fails)
 294             exit(0);
 295     }
 296     odr_destroy(odr);
 297 }
 298
 299 /**
 300  * makes a query, checks number of hits, and for the first hit, that
 301  * it contains the given string, and that it gets the right score
 302  */
 303 void ranking_query(int lineno, ZebraHandle zh, char *query,
 304                    int exphits, char *firstrec, int firstscore)
 305 {
 306     ZebraRetrievalRecord retrievalRecord[10];
 307     ODR odr_output = odr_createmem (ODR_ENCODE);
 308     const char *setname="rsetname";
 309     int hits;
 310     int rc;
 311     int i;
 312
 313     hits = do_query(lineno, zh, query, exphits);
 314
 315     for (i = 0; i<10; i++)
 316         retrievalRecord[i].position = i+1;
 317
 318     rc = zebra_records_retrieve (zh, odr_output, setname, 0,
 319                                  VAL_TEXT_XML, hits, retrievalRecord);
 320
 321     if (rc)
 322     {
 323         printf("Error: retrieve returned %d \n%s\n",rc,query);
 324         exit (1);
 325     }
 326
 327     if (!strstr(retrievalRecord[0].buf, firstrec))
 328     {
 329         printf("Error: Got the wrong record first\n");
 330         printf("Expected '%s' but got\n", firstrec);
 331         printf("%.*s\n", retrievalRecord[0].len, retrievalRecord[0].buf);
 332         exit(1);
 333     }
 334
 335     if (retrievalRecord[0].score != firstscore)
 336     {
 337         printf("Error: first rec got score %d instead of %d\n",
 338                retrievalRecord[0].score, firstscore);
 339         exit(1);
 340     }
 341     odr_destroy (odr_output);
 342 }
 343
 344 void meta_query(int lineno, ZebraHandle zh, char *query, int exphits,
 345                 zint *ids)
 346 {
 347     ZebraMetaRecord *meta;
 348     ODR odr_output = odr_createmem (ODR_ENCODE);
 349     const char *setname="rsetname";
 350     zint *positions = (zint *) malloc(1 + (exphits * sizeof(zint)));
 351     int hits;
 352     int i;
 353
 354     hits = do_query(lineno, zh, query, exphits);
 355
 356     for (i = 0; i<exphits; i++)
 357         positions[i] = i+1;
 358
 359     meta = zebra_meta_records_create (zh, setname,  exphits, positions);
 360
 361     if (!meta)
 362     {
 363         printf("Error: retrieve returned error\n%s\n", query);
 364         exit (1);
 365     }
 366
 367     for (i = 0; i<exphits; i++)
 368     {
 369         if (meta[i].sysno != ids[i])
 370         {
 371             printf("Expected id=" ZINT_FORMAT " but got id=" ZINT_FORMAT "\n",
 372                    ids[i], meta[i].sysno);
 373             exit(1);
 374         }
 375     }
 376     zebra_meta_records_destroy(zh, meta, exphits);
 377     odr_destroy (odr_output);
 378     free(positions);
 379 }
 380
 381 void do_sort(ZebraHandle zh, const char *query, zint hits, zint *exp)
 382 {
 383     ZebraMetaRecord *recs;
 384     zint i;
 385     int errs = 0;
 386     zint min_val_recs = 0;
 387     zint min_val_exp = 0;
 388
 389     assert(query);
 390     do_query(__LINE__, zh, query, hits);
 391
 392     recs = zebra_meta_records_create_range (zh, "rsetname", 1, 4);
 393     if (!recs)
 394     {
 395         fprintf(stderr, "recs==0\n");
 396         exit(1);
 397     }
 398     /* find min for each sequence to get proper base offset */
 399     for (i = 0; i<hits; i++)
 400     {
 401         if (min_val_recs == 0 || recs[i].sysno < min_val_recs)
 402             min_val_recs = recs[i].sysno;
 403         if (min_val_exp == 0 || exp[i] < min_val_exp)
 404             min_val_exp = exp[i];
 405     }
 406
 407     /* compare sequences using base offset */
 408     for (i = 0; i<hits; i++)
 409         if ((recs[i].sysno-min_val_recs) != (exp[i]-min_val_exp))
 410             errs++;
 411     if (errs)
 412     {
 413         printf("Sequence not in right order for query\n%s\ngot exp\n",
 414                query);
 415         for (i = 0; i<hits; i++)
 416             printf(" " ZINT_FORMAT "   " ZINT_FORMAT "\n",
 417                    recs[i].sysno, exp[i]);
 418     }
 419     zebra_meta_records_destroy (zh, recs, 4);
 420
 421     if (errs)
 422         exit(1);
 423 }
 424
 425
 426 struct finfo {
 427     const char *name;
 428     int occurred;
 429 };
 430
 431 static void filter_cb(void *cd, const char *name)
 432 {
 433     struct finfo *f = (struct finfo*) cd;
 434     if (!strcmp(f->name, name))
 435         f->occurred = 1;
 436 }
 437
 438 void check_filter(ZebraService zs, const char *name)
 439 {
 440     struct finfo f;
 441
 442     f.name = name;
 443     f.occurred = 0;
 444     zebra_filter_info(zs, &f, filter_cb);
 445     if (!f.occurred)
 446     {
 447         yaz_log(YLOG_WARN, "Filter %s does not exist.", name);
 448         exit(0);
 449     }
 450 }
 451
 452
 453
 454