util/zebramap.c

   1 /* $Id: zebramap.c,v 1.66 2007-11-07 10:24:28 adam Exp $
   2    Copyright (C) 1995-2007
   3    Index Data ApS
   4
   5    This file is part of the Zebra server.
   6
   7    Zebra is free software; you can redistribute it and/or modify it under
   8    the terms of the GNU General Public License as published by the Free
   9    Software Foundation; either version 2, or (at your option) any later
  10    version.
  11
  12    Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
  13    WARRANTY; without even the implied warranty of MERCHANTABILITY or
  14    FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15    for more details.
  16
  17    You should have received a copy of the GNU General Public License
  18    along with Zebra; see the file LICENSE.zebra.  If not, write to the
  19    Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
  20    02111-1307, USA.
  21 */
  22
  23 #include <assert.h>
  24 #include <stdlib.h>
  25 #include <ctype.h>
  26
  27 #include <charmap.h>
  28 #include <attrfind.h>
  29 #include <yaz/yaz-util.h>
  30
  31 #if HAVE_ICU
  32 #include <yaz/icu_I18N.h>
  33 #endif
  34 #include <zebramap.h>
  35
  36 #define ZEBRA_MAP_TYPE_SORT  1
  37 #define ZEBRA_MAP_TYPE_INDEX 2
  38 #define ZEBRA_MAP_TYPE_STATICRANK 3
  39
  40 #define ZEBRA_REPLACE_ANY  300
  41
  42 struct zebra_map {
  43     const char *id;
  44     int completeness;
  45     int positioned;
  46     int alwaysmatches;
  47     int first_in_field;
  48     int type;
  49     int use_chain;
  50     union {
  51         struct {
  52             int entry_size;
  53         } sort;
  54     } u;
  55     chrmaptab maptab;
  56     const char *maptab_name;
  57     const char *locale;
  58     zebra_maps_t zebra_maps;
  59 #if YAZ_HAVE_XML2
  60     xmlDocPtr doc;
  61 #endif
  62 #if HAVE_ICU
  63     struct icu_chain *icu_chain;
  64 #endif
  65     WRBUF simple_buf;
  66     size_t simple_off;
  67     struct zebra_map *next;
  68 };
  69
  70 struct zebra_maps_s {
  71     char *tabpath;
  72     char *tabroot;
  73     NMEM nmem;
  74     char temp_map_str[2];
  75     const char *temp_map_ptr[2];
  76     WRBUF wrbuf_1;
  77     int no_files_read;
  78     zebra_map_t map_list;
  79     zebra_map_t last_map;
  80 };
  81
  82 void zebra_maps_close(zebra_maps_t zms)
  83 {
  84     struct zebra_map *zm = zms->map_list;
  85     while (zm)
  86     {
  87         if (zm->maptab)
  88             chrmaptab_destroy(zm->maptab);
  89 #if HAVE_ICU
  90         if (zm->icu_chain)
  91             icu_chain_destroy(zm->icu_chain);
  92 #endif
  93 #if YAZ_HAVE_XML2
  94         xmlFreeDoc(zm->doc);
  95 #endif
  96         wrbuf_destroy(zm->simple_buf);
  97         zm = zm->next;
  98     }
  99     wrbuf_destroy(zms->wrbuf_1);
 100     nmem_destroy(zms->nmem);
 101     xfree(zms);
 102 }
 103
 104 zebra_map_t zebra_add_map(zebra_maps_t zms, const char *index_type,
 105                           int map_type)
 106 {
 107     zebra_map_t zm = (zebra_map_t) nmem_malloc(zms->nmem, sizeof(*zm));
 108
 109     zm->zebra_maps = zms;
 110     zm->id = nmem_strdup(zms->nmem, index_type);
 111     zm->maptab_name = 0;
 112     zm->use_chain = 0;
 113     zm->locale = 0;
 114     zm->maptab = 0;
 115     zm->type = map_type;
 116     zm->completeness = 0;
 117     zm->positioned = 0;
 118     zm->alwaysmatches = 0;
 119     zm->first_in_field = 0;
 120
 121     if (zms->last_map)
 122         zms->last_map->next = zm;
 123     else
 124         zms->map_list = zm;
 125     zms->last_map = zm;
 126     zm->next = 0;
 127 #if HAVE_ICU
 128     zm->icu_chain = 0;
 129 #endif
 130 #if YAZ_HAVE_XML2
 131     zm->doc = 0;
 132 #endif
 133     zm->simple_buf = wrbuf_alloc();
 134     return zm;
 135 }
 136
 137 static int parse_command(zebra_maps_t zms, int argc, char **argv,
 138                          const char *fname, int lineno)
 139 {
 140     zebra_map_t zm = zms->last_map;
 141     if (argc == 1)
 142     {
 143         yaz_log(YLOG_WARN, "%s:%d: Missing arguments for '%s'",
 144                 fname, lineno, argv[0]);
 145         return -1;
 146     }
 147     if (argc > 2)
 148     {
 149         yaz_log(YLOG_WARN, "%s:%d: Too many arguments for '%s'",
 150                 fname, lineno, argv[0]);
 151         return -1;
 152     }
 153     if (!yaz_matchstr(argv[0], "index"))
 154     {
 155         zm = zebra_add_map(zms, argv[1], ZEBRA_MAP_TYPE_INDEX);
 156         zm->positioned = 1;
 157     }
 158     else if (!yaz_matchstr(argv[0], "sort"))
 159     {
 160         zm = zebra_add_map(zms, argv[1], ZEBRA_MAP_TYPE_SORT);
 161         zm->u.sort.entry_size = 80;
 162     }
 163     else if (!yaz_matchstr(argv[0], "staticrank"))
 164     {
 165         zm = zebra_add_map(zms, argv[1], ZEBRA_MAP_TYPE_STATICRANK);
 166         zm->completeness = 1;
 167     }
 168     else if (!zm)
 169     {
 170         yaz_log(YLOG_WARN, "%s:%d: Missing sort/index before '%s'",
 171                 fname, lineno, argv[0]);
 172         return -1;
 173     }
 174     else if (!yaz_matchstr(argv[0], "charmap") && argc == 2)
 175     {
 176         if (zm->type != ZEBRA_MAP_TYPE_STATICRANK)
 177             zm->maptab_name = nmem_strdup(zms->nmem, argv[1]);
 178         else
 179         {
 180             yaz_log(YLOG_WARN|YLOG_FATAL, "%s:%d: charmap for "
 181                     "staticrank is invalid", fname, lineno);
 182             yaz_log(YLOG_LOG, "Type is %d", zm->type);
 183             return -1;
 184         }
 185     }
 186     else if (!yaz_matchstr(argv[0], "completeness") && argc == 2)
 187     {
 188         zm->completeness = atoi(argv[1]);
 189     }
 190     else if (!yaz_matchstr(argv[0], "position") && argc == 2)
 191     {
 192         zm->positioned = atoi(argv[1]);
 193     }
 194     else if (!yaz_matchstr(argv[0], "alwaysmatches") && argc == 2)
 195     {
 196         if (zm->type != ZEBRA_MAP_TYPE_STATICRANK)
 197             zm->alwaysmatches = atoi(argv[1]);
 198         else
 199         {
 200             yaz_log(YLOG_WARN|YLOG_FATAL, "%s:%d: alwaysmatches for "
 201                     "staticrank is invalid", fname, lineno);
 202             return -1;
 203         }
 204     }
 205     else if (!yaz_matchstr(argv[0], "firstinfield") && argc == 2)
 206     {
 207         zm->first_in_field = atoi(argv[1]);
 208     }
 209     else if (!yaz_matchstr(argv[0], "entrysize") && argc == 2)
 210     {
 211         if (zm->type == ZEBRA_MAP_TYPE_SORT)
 212             zm->u.sort.entry_size = atoi(argv[1]);
 213         else
 214         {
 215             yaz_log(YLOG_WARN,
 216                     "%s:%d: entrysize only valid in sort section",
 217                     fname, lineno);
 218             return -1;
 219         }
 220     }
 221     else if (!yaz_matchstr(argv[0], "locale"))
 222     {
 223         zm->locale = nmem_strdup(zms->nmem, argv[1]);
 224     }
 225     else if (!yaz_matchstr(argv[0], "simplechain"))
 226     {
 227         zm->use_chain = 1;
 228         zm->icu_chain = 0;
 229     }
 230     else if (!yaz_matchstr(argv[0], "icuchain"))
 231     {
 232 #if YAZ_HAVE_XML2
 233         if (!zm->locale)
 234         {
 235             yaz_log(YLOG_WARN, "%s:%d: locale required before icuchain",
 236                     fname, lineno);
 237             return -1;
 238         }
 239         zm->doc = xmlParseFile(argv[1]);
 240         if (!zm->doc)
 241         {
 242             yaz_log(YLOG_WARN, "%s:%d: Could not load icuchain config '%s'",
 243                     fname, lineno, argv[1]);
 244             return -1;
 245         }
 246         else
 247         {
 248 #if HAVE_ICU
 249             UErrorCode status;
 250             xmlNode *xml_node = xmlDocGetRootElement(zm->doc);
 251             zm->icu_chain =
 252                 icu_chain_xml_config(xml_node, zm->locale,
 253 /* not sure about sort for this function yet.. */
 254 #if 1
 255                                      1,
 256 #else
 257                                      zm->type == ZEBRA_MAP_TYPE_SORT,
 258 #endif
 259                                      &status);
 260             if (!zm->icu_chain)
 261             {
 262                 yaz_log(YLOG_WARN, "%s:%d: Failed to load ICU chain %s",
 263                         fname, lineno, argv[1]);
 264             }
 265             zm->use_chain = 1;
 266 #else
 267             yaz_log(YLOG_WARN, "%s:%d: ICU support unavailable",
 268                     fname, lineno);
 269             return -1;
 270 #endif
 271         }
 272 #else
 273         yaz_log(YLOG_WARN, "%s:%d: XML support unavailable",
 274                 fname, lineno);
 275         return -1;
 276 #endif
 277     }
 278     else
 279     {
 280         yaz_log(YLOG_WARN, "%s:%d: Unrecognized directive '%s'",
 281                 fname, lineno, argv[0]);
 282         return -1;
 283     }
 284     return 0;
 285 }
 286
 287 ZEBRA_RES zebra_maps_read_file(zebra_maps_t zms, const char *fname)
 288 {
 289     FILE *f;
 290     char line[512];
 291     char *argv[10];
 292     int argc;
 293     int lineno = 0;
 294     int failures = 0;
 295
 296     if (!(f = yaz_fopen(zms->tabpath, fname, "r", zms->tabroot)))
 297     {
 298         yaz_log(YLOG_ERRNO|YLOG_FATAL, "%s", fname);
 299         return ZEBRA_FAIL;
 300     }
 301     while ((argc = readconf_line(f, &lineno, line, 512, argv, 10)))
 302     {
 303         int r = parse_command(zms, argc, argv, fname, lineno);
 304         if (r)
 305             failures++;
 306     }
 307     yaz_fclose(f);
 308
 309     if (failures)
 310         return ZEBRA_FAIL;
 311
 312     (zms->no_files_read)++;
 313     return ZEBRA_OK;
 314 }
 315
 316 zebra_maps_t zebra_maps_open(Res res, const char *base_path,
 317                              const char *profile_path)
 318 {
 319     zebra_maps_t zms = (zebra_maps_t) xmalloc(sizeof(*zms));
 320
 321     zms->nmem = nmem_create();
 322     zms->tabpath = profile_path ? nmem_strdup(zms->nmem, profile_path) : 0;
 323     zms->tabroot = 0;
 324     if (base_path)
 325         zms->tabroot = nmem_strdup(zms->nmem, base_path);
 326     zms->map_list = 0;
 327     zms->last_map = 0;
 328
 329     zms->temp_map_str[0] = '\0';
 330     zms->temp_map_str[1] = '\0';
 331
 332     zms->temp_map_ptr[0] = zms->temp_map_str;
 333     zms->temp_map_ptr[1] = NULL;
 334
 335     zms->wrbuf_1 = wrbuf_alloc();
 336
 337     zms->no_files_read = 0;
 338     return zms;
 339 }
 340
 341 zebra_map_t zebra_map_get(zebra_maps_t zms, const char *id)
 342 {
 343     zebra_map_t zm;
 344     for (zm = zms->map_list; zm; zm = zm->next)
 345         if (!strcmp(zm->id, id))
 346             break;
 347     return zm;
 348 }
 349
 350 zebra_map_t zebra_map_get_or_add(zebra_maps_t zms, const char *id)
 351 {
 352     struct zebra_map *zm = zebra_map_get(zms, id);
 353     if (!zm)
 354     {
 355         zm = zebra_add_map(zms, id, ZEBRA_MAP_TYPE_INDEX);
 356
 357         /* no reason to warn if no maps are read from file */
 358         if (zms->no_files_read)
 359             yaz_log(YLOG_WARN, "Unknown register type: %s", id);
 360
 361         zm->maptab_name = nmem_strdup(zms->nmem, "@");
 362         zm->completeness = 0;
 363         zm->positioned = 1;
 364     }
 365     return zm;
 366 }
 367
 368 chrmaptab zebra_charmap_get(zebra_map_t zm)
 369 {
 370     if (!zm->maptab)
 371     {
 372         if (!zm->maptab_name || !yaz_matchstr(zm->maptab_name, "@"))
 373             return NULL;
 374         if (!(zm->maptab = chrmaptab_create(zm->zebra_maps->tabpath,
 375                                             zm->maptab_name,
 376                                             zm->zebra_maps->tabroot)))
 377             yaz_log(YLOG_WARN, "Failed to read character table %s",
 378                     zm->maptab_name);
 379         else
 380             yaz_log(YLOG_DEBUG, "Read character table %s", zm->maptab_name);
 381     }
 382     return zm->maptab;
 383 }
 384
 385 const char **zebra_maps_input(zebra_map_t zm,
 386                               const char **from, int len, int first)
 387 {
 388     chrmaptab maptab = zebra_charmap_get(zm);
 389     if (maptab)
 390         return chr_map_input(maptab, from, len, first);
 391
 392     zm->zebra_maps->temp_map_str[0] = **from;
 393
 394     (*from)++;
 395     return zm->zebra_maps->temp_map_ptr;
 396 }
 397
 398 const char **zebra_maps_search(zebra_map_t zm,
 399                                const char **from, int len,  int *q_map_match)
 400 {
 401     chrmaptab maptab;
 402
 403     *q_map_match = 0;
 404     maptab = zebra_charmap_get(zm);
 405     if (maptab)
 406     {
 407         const char **map;
 408         map = chr_map_q_input(maptab, from, len, 0);
 409         if (map && map[0])
 410         {
 411             *q_map_match = 1;
 412             return map;
 413         }
 414         map = chr_map_input(maptab, from, len, 0);
 415         if (map)
 416             return map;
 417     }
 418     zm->zebra_maps->temp_map_str[0] = **from;
 419
 420     (*from)++;
 421     return zm->zebra_maps->temp_map_ptr;
 422 }
 423
 424 const char *zebra_maps_output(zebra_map_t zm,
 425                               const char **from)
 426 {
 427     chrmaptab maptab = zebra_charmap_get(zm);
 428     if (!maptab)
 429         return 0;
 430     return chr_map_output(maptab, from, 1);
 431 }
 432
 433
 434 /* ------------------------------------ */
 435
 436 int zebra_maps_is_complete(zebra_map_t zm)
 437 {
 438     if (zm)
 439         return zm->completeness;
 440     return 0;
 441 }
 442
 443 int zebra_maps_is_positioned(zebra_map_t zm)
 444 {
 445     if (zm)
 446         return zm->positioned;
 447     return 0;
 448 }
 449
 450 int zebra_maps_is_index(zebra_map_t zm)
 451 {
 452     if (zm)
 453         return zm->type == ZEBRA_MAP_TYPE_INDEX;
 454     return 0;
 455 }
 456
 457 int zebra_maps_is_staticrank(zebra_map_t zm)
 458 {
 459     if (zm)
 460         return zm->type == ZEBRA_MAP_TYPE_STATICRANK;
 461     return 0;
 462 }
 463
 464 int zebra_maps_is_sort(zebra_map_t zm)
 465 {
 466     if (zm)
 467         return zm->type == ZEBRA_MAP_TYPE_SORT;
 468     return 0;
 469 }
 470
 471 int zebra_maps_is_alwaysmatches(zebra_map_t zm)
 472 {
 473     if (zm)
 474         return zm->alwaysmatches;
 475     return 0;
 476 }
 477
 478 int zebra_maps_is_first_in_field(zebra_map_t zm)
 479 {
 480     if (zm)
 481         return zm->first_in_field;
 482     return 0;
 483 }
 484
 485 int zebra_maps_sort(zebra_maps_t zms, Z_SortAttributes *sortAttributes,
 486                     int *numerical)
 487 {
 488     AttrType use;
 489     AttrType structure;
 490     int structure_value;
 491     attr_init_AttrList(&use, sortAttributes->list, 1);
 492     attr_init_AttrList(&structure, sortAttributes->list, 4);
 493
 494     *numerical = 0;
 495     structure_value = attr_find(&structure, 0);
 496     if (structure_value == 109)
 497         *numerical = 1;
 498     return attr_find(&use, NULL);
 499 }
 500
 501 int zebra_maps_attr(zebra_maps_t zms, Z_AttributesPlusTerm *zapt,
 502                     const char **index_type, char **search_type, char *rank_type,
 503                     int *complete_flag, int *sort_flag)
 504 {
 505     AttrType completeness;
 506     AttrType structure;
 507     AttrType relation;
 508     AttrType sort_relation;
 509     AttrType weight;
 510     AttrType use;
 511     int completeness_value;
 512     int structure_value;
 513     const char *structure_str = 0;
 514     int relation_value;
 515     int sort_relation_value;
 516     int weight_value;
 517     int use_value;
 518
 519     attr_init_APT(&structure, zapt, 4);
 520     attr_init_APT(&completeness, zapt, 6);
 521     attr_init_APT(&relation, zapt, 2);
 522     attr_init_APT(&sort_relation, zapt, 7);
 523     attr_init_APT(&weight, zapt, 9);
 524     attr_init_APT(&use, zapt, 1);
 525
 526     completeness_value = attr_find(&completeness, NULL);
 527     structure_value = attr_find_ex(&structure, NULL, &structure_str);
 528     relation_value = attr_find(&relation, NULL);
 529     sort_relation_value = attr_find(&sort_relation, NULL);
 530     weight_value = attr_find(&weight, NULL);
 531     use_value = attr_find(&use, NULL);
 532
 533     if (completeness_value == 2 || completeness_value == 3)
 534         *complete_flag = 1;
 535     else
 536         *complete_flag = 0;
 537     *index_type = 0;
 538
 539     *sort_flag =(sort_relation_value > 0) ? 1 : 0;
 540     *search_type = "phrase";
 541     strcpy(rank_type, "void");
 542     if (relation_value == 102)
 543     {
 544         if (weight_value == -1)
 545             weight_value = 34;
 546         sprintf(rank_type, "rank,w=%d,u=%d", weight_value, use_value);
 547     }
 548     if (*complete_flag)
 549         *index_type = "p";
 550     else
 551         *index_type = "w";
 552     switch (structure_value)
 553     {
 554     case 6:   /* word list */
 555         *search_type = "and-list";
 556         break;
 557     case 105: /* free-form-text */
 558         *search_type = "or-list";
 559         break;
 560     case 106: /* document-text */
 561         *search_type = "or-list";
 562         break;
 563     case -1:
 564     case 1:   /* phrase */
 565     case 2:   /* word */
 566     case 108: /* string */
 567         *search_type = "phrase";
 568         break;
 569     case 107: /* local-number */
 570         *search_type = "local";
 571         *index_type = 0;
 572         break;
 573     case 109: /* numeric string */
 574         *index_type = "n";
 575         *search_type = "numeric";
 576         break;
 577     case 104: /* urx */
 578         *index_type = "u";
 579         *search_type = "phrase";
 580         break;
 581     case 3:   /* key */
 582         *index_type = "0";
 583         *search_type = "phrase";
 584         break;
 585     case 4:  /* year */
 586         *index_type = "y";
 587         *search_type = "phrase";
 588         break;
 589     case 5:  /* date */
 590         *index_type = "d";
 591         *search_type = "phrase";
 592         break;
 593     case -2:
 594         if (structure_str && *structure_str)
 595             *index_type = structure_str;
 596         else
 597             return -1;
 598         break;
 599     default:
 600         return -1;
 601     }
 602     return 0;
 603 }
 604
 605 WRBUF zebra_replace(zebra_map_t zm, const char *ex_list,
 606                     const char *input_str, int input_len)
 607 {
 608     wrbuf_rewind(zm->zebra_maps->wrbuf_1);
 609     wrbuf_write(zm->zebra_maps->wrbuf_1, input_str, input_len);
 610     return zm->zebra_maps->wrbuf_1;
 611 }
 612
 613 #define SE_CHARS ";,.()-/?<> \r\n\t"
 614
 615 static int tokenize_simple(zebra_map_t zm,
 616                            const char **result_buf, size_t *result_len)
 617 {
 618     char *buf = wrbuf_buf(zm->simple_buf);
 619     size_t len = wrbuf_len(zm->simple_buf);
 620     size_t i = zm->simple_off;
 621     size_t start;
 622
 623     while (i < len && strchr(SE_CHARS, buf[i]))
 624         i++;
 625     start = i;
 626     while (i < len && !strchr(SE_CHARS, buf[i]))
 627     {
 628         if (buf[i] > 32 && buf[i] < 127)
 629             buf[i] = tolower(buf[i]);
 630         i++;
 631     }
 632
 633     zm->simple_off = i;
 634     if (start != i)
 635     {
 636         *result_buf = buf + start;
 637         *result_len = i - start;
 638         return 1;
 639     }
 640     return 0;
 641  }
 642
 643 int zebra_map_tokenize(zebra_map_t zm,
 644                        const char *buf, size_t len,
 645                        const char **result_buf, size_t *result_len)
 646 {
 647     assert(zm->use_chain);
 648
 649     if (buf)
 650     {
 651         wrbuf_rewind(zm->simple_buf);
 652         wrbuf_write(zm->simple_buf, buf, len);
 653         zm->simple_off = 0;
 654     }
 655
 656     if (!zm->icu_chain)
 657         return tokenize_simple(zm, result_buf, result_len);
 658     else
 659     {
 660         UErrorCode status;
 661         if (buf)
 662         {
 663             yaz_log(YLOG_LOG, "assicn_cstr %s", wrbuf_cstr(zm->simple_buf));
 664             icu_chain_assign_cstr(zm->icu_chain,
 665                                   wrbuf_cstr(zm->simple_buf),
 666                                   &status);
 667             assert(U_SUCCESS(status));
 668         }
 669         while (icu_chain_next_token(zm->icu_chain, &status))
 670         {
 671             assert(U_SUCCESS(status));
 672             *result_buf = icu_chain_token_norm(zm->icu_chain);
 673             assert(*result_buf);
 674             yaz_log(YLOG_LOG, "got result %s", *result_buf);
 675             *result_len = strlen(*result_buf);
 676             if (**result_buf != '\0')
 677                 return 1;
 678         }
 679         assert(U_SUCCESS(status));
 680     }
 681     return 0;
 682 }
 683
 684 int zebra_maps_is_icu(zebra_map_t zm)
 685 {
 686 #if HAVE_ICU
 687     return zm->use_chain;
 688 #else
 689     return 0;
 690 #endif
 691 }
 692
 693
 694 /*
 695  * Local variables:
 696  * c-basic-offset: 4
 697  * indent-tabs-mode: nil
 698  * End:
 699  * vim: shiftwidth=4 tabstop=8 expandtab
 700  */
 701