src/pazpar2_config.c

   1 /* This file is part of Pazpar2.
   2    Copyright (C) 2006-2009 Index Data
   3
   4 Pazpar2 is free software; you can redistribute it and/or modify it under
   5 the terms of the GNU General Public License as published by the Free
   6 Software Foundation; either version 2, or (at your option) any later
   7 version.
   8
   9 Pazpar2 is distributed in the hope that it will be useful, but WITHOUT ANY
  10 WARRANTY; without even the implied warranty of MERCHANTABILITY or
  11 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  12 for more details.
  13
  14 You should have received a copy of the GNU General Public License
  15 along with this program; if not, write to the Free Software
  16 Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
  17
  18 */
  19
  20 #if HAVE_CONFIG_H
  21 #include <config.h>
  22 #endif
  23
  24 #include <string.h>
  25
  26 #include <libxml/parser.h>
  27 #include <libxml/tree.h>
  28 #include <libxslt/xslt.h>
  29 #include <libxslt/transform.h>
  30 #include <libxslt/xsltutils.h>
  31
  32 #include <yaz/yaz-util.h>
  33 #include <yaz/nmem.h>
  34 #include <yaz/snprintf.h>
  35 #include <yaz/tpath.h>
  36
  37 #define CONFIG_NOEXTERNS
  38 #include "pazpar2_config.h"
  39
  40
  41 static NMEM nmem = 0;
  42 static char confdir[256] = ".";
  43
  44 struct conf_config *config = 0;
  45
  46
  47 static
  48 struct conf_metadata * conf_metadata_assign(NMEM nmem,
  49                                             struct conf_metadata * metadata,
  50                                             const char *name,
  51                                             enum conf_metadata_type type,
  52                                             enum conf_metadata_merge merge,
  53                                             enum conf_setting_type setting,
  54                                             int brief,
  55                                             int termlist,
  56                                             int rank,
  57                                             int sortkey_offset,
  58                                             enum conf_metadata_mergekey mt)
  59 {
  60     if (!nmem || !metadata || !name)
  61         return 0;
  62
  63     metadata->name = nmem_strdup(nmem, name);
  64
  65     metadata->type = type;
  66
  67     // enforcing that type_year is always range_merge
  68     if (metadata->type == Metadata_type_year)
  69         metadata->merge = Metadata_merge_range;
  70     else
  71         metadata->merge = merge;
  72
  73     metadata->setting = setting;
  74     metadata->brief = brief;
  75     metadata->termlist = termlist;
  76     metadata->rank = rank;
  77     metadata->sortkey_offset = sortkey_offset;
  78     metadata->mergekey = mt;
  79     return metadata;
  80 }
  81
  82
  83 static
  84 struct conf_sortkey * conf_sortkey_assign(NMEM nmem,
  85                                           struct conf_sortkey * sortkey,
  86                                           const char *name,
  87                                           enum conf_sortkey_type type)
  88 {
  89     if (!nmem || !sortkey || !name)
  90         return 0;
  91
  92     sortkey->name = nmem_strdup(nmem, name);
  93     sortkey->type = type;
  94
  95     return sortkey;
  96 }
  97
  98
  99 struct conf_service * conf_service_create(NMEM nmem,
 100                                           int num_metadata, int num_sortkeys)
 101 {
 102     struct conf_service * service = 0;
 103
 104     //assert(nmem);
 105
 106     service = nmem_malloc(nmem, sizeof(struct conf_service));
 107
 108     service->num_metadata = num_metadata;
 109     service->metadata = 0;
 110     if (service->num_metadata)
 111       service->metadata
 112           = nmem_malloc(nmem,
 113                         sizeof(struct conf_metadata) * service->num_metadata);
 114     service->num_sortkeys = num_sortkeys;
 115     service->sortkeys = 0;
 116     if (service->num_sortkeys)
 117         service->sortkeys
 118             = nmem_malloc(nmem,
 119                           sizeof(struct conf_sortkey) * service->num_sortkeys);
 120
 121     return service;
 122 }
 123
 124 struct conf_metadata* conf_service_add_metadata(NMEM nmem,
 125                                                 struct conf_service *service,
 126                                                 int field_id,
 127                                                 const char *name,
 128                                                 enum conf_metadata_type type,
 129                                                 enum conf_metadata_merge merge,
 130                                                 enum conf_setting_type setting,
 131                                                 int brief,
 132                                                 int termlist,
 133                                                 int rank,
 134                                                 int sortkey_offset,
 135                                                 enum conf_metadata_mergekey mt)
 136 {
 137     struct conf_metadata * md = 0;
 138
 139     if (!service || !service->metadata || !service->num_metadata
 140         || field_id < 0  || !(field_id < service->num_metadata))
 141         return 0;
 142
 143     //md = &((service->metadata)[field_id]);
 144     md = service->metadata + field_id;
 145     md = conf_metadata_assign(nmem, md, name, type, merge, setting,
 146                               brief, termlist, rank, sortkey_offset,
 147                               mt);
 148     return md;
 149 }
 150
 151
 152 struct conf_sortkey * conf_service_add_sortkey(NMEM nmem,
 153                                                struct conf_service *service,
 154                                                int field_id,
 155                                                const char *name,
 156                                                enum conf_sortkey_type type)
 157 {
 158     struct conf_sortkey * sk = 0;
 159
 160     if (!service || !service->sortkeys || !service->num_sortkeys
 161         || field_id < 0  || !(field_id < service->num_sortkeys))
 162         return 0;
 163
 164     //sk = &((service->sortkeys)[field_id]);
 165     sk = service->sortkeys + field_id;
 166     sk = conf_sortkey_assign(nmem, sk, name, type);
 167
 168     return sk;
 169 }
 170
 171
 172 int conf_service_metadata_field_id(struct conf_service *service,
 173                                    const char * name)
 174 {
 175     int i = 0;
 176
 177     if (!service || !service->metadata || !service->num_metadata)
 178         return -1;
 179
 180     for(i = 0; i < service->num_metadata; i++) {
 181         if (!strcmp(name, (service->metadata[i]).name))
 182             return i;
 183     }
 184
 185     return -1;
 186 }
 187
 188
 189 int conf_service_sortkey_field_id(struct conf_service *service,
 190                                   const char * name)
 191 {
 192     int i = 0;
 193
 194     if (!service || !service->sortkeys || !service->num_sortkeys)
 195         return -1;
 196
 197     for(i = 0; i < service->num_sortkeys; i++) {
 198         if (!strcmp(name, (service->sortkeys[i]).name))
 199             return i;
 200     }
 201
 202     return -1;
 203 }
 204
 205
 206
 207 /* Code to parse configuration file */
 208 /* ==================================================== */
 209
 210 static struct conf_service *parse_service(xmlNode *node)
 211 {
 212     xmlNode *n;
 213     int md_node = 0;
 214     int sk_node = 0;
 215
 216     struct conf_service *service = 0;
 217     int num_metadata = 0;
 218     int num_sortkeys = 0;
 219
 220     // count num_metadata and num_sortkeys
 221     for (n = node->children; n; n = n->next)
 222         if (n->type == XML_ELEMENT_NODE && !strcmp((const char *)
 223                                                    n->name, "metadata"))
 224         {
 225             xmlChar *sortkey = xmlGetProp(n, (xmlChar *) "sortkey");
 226             num_metadata++;
 227             if (sortkey && strcmp((const char *) sortkey, "no"))
 228                 num_sortkeys++;
 229             xmlFree(sortkey);
 230         }
 231
 232     service = conf_service_create(nmem, num_metadata, num_sortkeys);
 233
 234     for (n = node->children; n; n = n->next)
 235     {
 236         if (n->type != XML_ELEMENT_NODE)
 237             continue;
 238         if (!strcmp((const char *) n->name, (const char *) "metadata"))
 239         {
 240             xmlChar *xml_name = xmlGetProp(n, (xmlChar *) "name");
 241             xmlChar *xml_brief = xmlGetProp(n, (xmlChar *) "brief");
 242             xmlChar *xml_sortkey = xmlGetProp(n, (xmlChar *) "sortkey");
 243             xmlChar *xml_merge = xmlGetProp(n, (xmlChar *) "merge");
 244             xmlChar *xml_type = xmlGetProp(n, (xmlChar *) "type");
 245             xmlChar *xml_termlist = xmlGetProp(n, (xmlChar *) "termlist");
 246             xmlChar *xml_rank = xmlGetProp(n, (xmlChar *) "rank");
 247             xmlChar *xml_setting = xmlGetProp(n, (xmlChar *) "setting");
 248             xmlChar *xml_mergekey = xmlGetProp(n, (xmlChar *) "mergekey");
 249
 250             enum conf_metadata_type type = Metadata_type_generic;
 251             enum conf_metadata_merge merge = Metadata_merge_no;
 252             enum conf_setting_type setting = Metadata_setting_no;
 253             enum conf_sortkey_type sk_type = Metadata_sortkey_relevance;
 254             enum conf_metadata_mergekey mergekey_type = Metadata_mergekey_no;
 255             int brief = 0;
 256             int termlist = 0;
 257             int rank = 0;
 258             int sortkey_offset = 0;
 259
 260             // now do the parsing logic
 261             if (!xml_name)
 262             {
 263                 yaz_log(YLOG_FATAL, "Must specify name in metadata element");
 264                 return 0;
 265             }
 266             if (xml_brief)
 267             {
 268                 if (!strcmp((const char *) xml_brief, "yes"))
 269                     brief = 1;
 270                  else if (strcmp((const char *) xml_brief, "no"))
 271                 {
 272                     yaz_log(YLOG_FATAL, "metadata/brief must be yes or no");
 273                     return 0;
 274                 }
 275             }
 276             else
 277                 brief = 0;
 278
 279             if (xml_termlist)
 280             {
 281                 if (!strcmp((const char *) xml_termlist, "yes"))
 282                     termlist = 1;
 283                 else if (strcmp((const char *) xml_termlist, "no"))
 284                 {
 285                     yaz_log(YLOG_FATAL, "metadata/termlist must be yes or no");
 286                     return 0;
 287                 }
 288             }
 289             else
 290                 termlist = 0;
 291
 292             if (xml_rank)
 293                 rank = atoi((const char *) xml_rank);
 294             else
 295                 rank = 0;
 296
 297             if (xml_type)
 298             {
 299                 if (!strcmp((const char *) xml_type, "generic"))
 300                     type = Metadata_type_generic;
 301                 else if (!strcmp((const char *) xml_type, "year"))
 302                     type = Metadata_type_year;
 303                 else if (!strcmp((const char *) xml_type, "date"))
 304                     type = Metadata_type_date;
 305                 else
 306                 {
 307                     yaz_log(YLOG_FATAL,
 308                             "Unknown value for metadata/type: %s", xml_type);
 309                     return 0;
 310                 }
 311             }
 312             else
 313                 type = Metadata_type_generic;
 314
 315             if (xml_merge)
 316             {
 317                 if (!strcmp((const char *) xml_merge, "no"))
 318                     merge = Metadata_merge_no;
 319                 else if (!strcmp((const char *) xml_merge, "unique"))
 320                     merge = Metadata_merge_unique;
 321                 else if (!strcmp((const char *) xml_merge, "longest"))
 322                     merge = Metadata_merge_longest;
 323                 else if (!strcmp((const char *) xml_merge, "range"))
 324                     merge = Metadata_merge_range;
 325                 else if (!strcmp((const char *) xml_merge, "all"))
 326                     merge = Metadata_merge_all;
 327                 else
 328                 {
 329                     yaz_log(YLOG_FATAL,
 330                             "Unknown value for metadata/merge: %s", xml_merge);
 331                     return 0;
 332                 }
 333             }
 334             else
 335                 merge = Metadata_merge_no;
 336
 337             if (xml_setting)
 338             {
 339                 if (!strcmp((const char *) xml_setting, "no"))
 340                     setting = Metadata_setting_no;
 341                 else if (!strcmp((const char *) xml_setting, "postproc"))
 342                     setting = Metadata_setting_postproc;
 343                 else if (!strcmp((const char *) xml_setting, "parameter"))
 344                     setting = Metadata_setting_parameter;
 345                 else
 346                 {
 347                     yaz_log(YLOG_FATAL,
 348                         "Unknown value for medadata/setting: %s", xml_setting);
 349                     return 0;
 350                 }
 351             }
 352
 353             // add a sortkey if so specified
 354             if (xml_sortkey && strcmp((const char *) xml_sortkey, "no"))
 355             {
 356                 if (merge == Metadata_merge_no)
 357                 {
 358                     yaz_log(YLOG_FATAL,
 359                             "Can't specify sortkey on a non-merged field");
 360                     return 0;
 361                 }
 362                 if (!strcmp((const char *) xml_sortkey, "numeric"))
 363                     sk_type = Metadata_sortkey_numeric;
 364                 else if (!strcmp((const char *) xml_sortkey, "skiparticle"))
 365                     sk_type = Metadata_sortkey_skiparticle;
 366                 else
 367                 {
 368                     yaz_log(YLOG_FATAL,
 369                             "Unknown sortkey in metadata element: %s",
 370                             xml_sortkey);
 371                     return 0;
 372                 }
 373                 sortkey_offset = sk_node;
 374
 375                 conf_service_add_sortkey(nmem, service, sk_node,
 376                                          (const char *) xml_name, sk_type);
 377
 378                 sk_node++;
 379             }
 380             else
 381                 sortkey_offset = -1;
 382
 383             if (xml_mergekey && strcmp((const char *) xml_mergekey, "no"))
 384             {
 385                 mergekey_type = Metadata_mergekey_yes;
 386             }
 387
 388
 389             // metadata known, assign values
 390             conf_service_add_metadata(nmem, service, md_node,
 391                                       (const char *) xml_name,
 392                                       type, merge, setting,
 393                                       brief, termlist, rank, sortkey_offset,
 394                                       mergekey_type);
 395
 396             xmlFree(xml_name);
 397             xmlFree(xml_brief);
 398             xmlFree(xml_sortkey);
 399             xmlFree(xml_merge);
 400             xmlFree(xml_type);
 401             xmlFree(xml_termlist);
 402             xmlFree(xml_rank);
 403             xmlFree(xml_setting);
 404             md_node++;
 405         }
 406         else
 407         {
 408             yaz_log(YLOG_FATAL, "Bad element: %s", n->name);
 409             return 0;
 410         }
 411     }
 412     return service;
 413 }
 414
 415 static char *parse_settings(xmlNode *node)
 416 {
 417     xmlChar *src = xmlGetProp(node, (xmlChar *) "src");
 418     char *r;
 419
 420     if (src)
 421     {
 422         if (yaz_is_abspath((const char *) src))
 423             r = nmem_strdup(nmem, (const char *) src);
 424         else
 425         {
 426             r = nmem_malloc(nmem,
 427                             strlen(confdir) + strlen((const char *) src) + 2);
 428             sprintf(r, "%s/%s", confdir, src);
 429         }
 430     }
 431     else
 432     {
 433         yaz_log(YLOG_FATAL, "Must specify src in targetprofile");
 434         return 0;
 435     }
 436     xmlFree(src);
 437     return r;
 438 }
 439
 440 static struct conf_server *parse_server(xmlNode *node)
 441 {
 442     xmlNode *n;
 443     struct conf_server *server = nmem_malloc(nmem, sizeof(struct conf_server));
 444
 445     server->host = 0;
 446     server->port = 0;
 447     server->proxy_host = 0;
 448     server->proxy_port = 0;
 449     server->myurl = 0;
 450     server->service = 0;
 451     server->next = 0;
 452     server->settings = 0;
 453     server->relevance_pct = 0;
 454     server->sort_pct = 0;
 455     server->mergekey_pct = 0;
 456
 457     for (n = node->children; n; n = n->next)
 458     {
 459         if (n->type != XML_ELEMENT_NODE)
 460             continue;
 461         if (!strcmp((const char *) n->name, "listen"))
 462         {
 463             xmlChar *port = xmlGetProp(n, (xmlChar *) "port");
 464             xmlChar *host = xmlGetProp(n, (xmlChar *) "host");
 465             if (port)
 466                 server->port = atoi((const char *) port);
 467             if (host)
 468                 server->host = nmem_strdup(nmem, (const char *) host);
 469             xmlFree(port);
 470             xmlFree(host);
 471         }
 472         else if (!strcmp((const char *) n->name, "proxy"))
 473         {
 474             xmlChar *port = xmlGetProp(n, (xmlChar *) "port");
 475             xmlChar *host = xmlGetProp(n, (xmlChar *) "host");
 476             xmlChar *myurl = xmlGetProp(n, (xmlChar *) "myurl");
 477             if (port)
 478                 server->proxy_port = atoi((const char *) port);
 479             if (host)
 480                 server->proxy_host = nmem_strdup(nmem, (const char *) host);
 481             if (myurl)
 482                 server->myurl = nmem_strdup(nmem, (const char *) myurl);
 483             xmlFree(port);
 484             xmlFree(host);
 485             xmlFree(myurl);
 486         }
 487         else if (!strcmp((const char *) n->name, "settings"))
 488         {
 489             if (server->settings)
 490             {
 491                 yaz_log(YLOG_FATAL, "Can't repeat 'settings'");
 492                 return 0;
 493             }
 494             if (!(server->settings = parse_settings(n)))
 495                 return 0;
 496         }
 497         else if (!strcmp((const char *) n->name, "relevance"))
 498         {
 499             server->relevance_pct = pp2_charset_create_xml(n);
 500             if (!server->relevance_pct)
 501                 return 0;
 502         }
 503         else if (!strcmp((const char *) n->name, "sort"))
 504         {
 505             server->sort_pct = pp2_charset_create_xml(n);
 506             if (!server->sort_pct)
 507                 return 0;
 508         }
 509         else if (!strcmp((const char *) n->name, "mergekey"))
 510         {
 511             server->mergekey_pct = pp2_charset_create_xml(n);
 512             if (!server->mergekey_pct)
 513                 return 0;
 514         }
 515         else if (!strcmp((const char *) n->name, "service"))
 516         {
 517             struct conf_service *s = parse_service(n);
 518             if (!s)
 519                 return 0;
 520             server->service = s;
 521         }
 522         else
 523         {
 524             yaz_log(YLOG_FATAL, "Bad element: %s", n->name);
 525             return 0;
 526         }
 527     }
 528     if (!server->relevance_pct)
 529         server->relevance_pct = pp2_charset_create(0);
 530     if (!server->sort_pct)
 531         server->sort_pct = pp2_charset_create(0);
 532     if (!server->mergekey_pct)
 533         server->mergekey_pct = pp2_charset_create(0);
 534     return server;
 535 }
 536
 537 xsltStylesheet *conf_load_stylesheet(const char *fname)
 538 {
 539     char path[256];
 540     if (yaz_is_abspath(fname))
 541         yaz_snprintf(path, sizeof(path), fname);
 542     else
 543         yaz_snprintf(path, sizeof(path), "%s/%s", confdir, fname);
 544     return xsltParseStylesheetFile((xmlChar *) path);
 545 }
 546
 547 static struct conf_targetprofiles *parse_targetprofiles(xmlNode *node)
 548 {
 549     struct conf_targetprofiles *r = nmem_malloc(nmem, sizeof(*r));
 550     xmlChar *type = xmlGetProp(node, (xmlChar *) "type");
 551     xmlChar *src = xmlGetProp(node, (xmlChar *) "src");
 552
 553     memset(r, 0, sizeof(*r));
 554
 555     if (type)
 556     {
 557         if (!strcmp((const char *) type, "local"))
 558             r->type = Targetprofiles_local;
 559         else
 560         {
 561             yaz_log(YLOG_FATAL, "Unknown targetprofile type");
 562             return 0;
 563         }
 564     }
 565     else
 566     {
 567         yaz_log(YLOG_FATAL, "Must specify type for targetprofile");
 568         return 0;
 569     }
 570
 571     if (src)
 572         r->src = nmem_strdup(nmem, (const char *) src);
 573     else
 574     {
 575         yaz_log(YLOG_FATAL, "Must specify src in targetprofile");
 576         return 0;
 577     }
 578     xmlFree(type);
 579     xmlFree(src);
 580     return r;
 581 }
 582
 583 static struct conf_config *parse_config(xmlNode *root)
 584 {
 585     xmlNode *n;
 586     struct conf_config *r = nmem_malloc(nmem, sizeof(struct conf_config));
 587
 588     r->servers = 0;
 589     r->targetprofiles = 0;
 590
 591     for (n = root->children; n; n = n->next)
 592     {
 593         if (n->type != XML_ELEMENT_NODE)
 594             continue;
 595         if (!strcmp((const char *) n->name, "server"))
 596         {
 597             struct conf_server *tmp = parse_server(n);
 598             if (!tmp)
 599                 return 0;
 600             tmp->next = r->servers;
 601             r->servers = tmp;
 602         }
 603         else if (!strcmp((const char *) n->name, "targetprofiles"))
 604         {
 605             // It would be fun to be able to fix this sometime
 606             if (r->targetprofiles)
 607             {
 608                 yaz_log(YLOG_FATAL, "Can't repeat targetprofiles");
 609                 return 0;
 610             }
 611             if (!(r->targetprofiles = parse_targetprofiles(n)))
 612                 return 0;
 613         }
 614         else
 615         {
 616             yaz_log(YLOG_FATAL, "Bad element: %s", n->name);
 617             return 0;
 618         }
 619     }
 620     return r;
 621 }
 622
 623 int read_config(const char *fname)
 624 {
 625     xmlDoc *doc = xmlParseFile(fname);
 626     const char *p;
 627
 628     if (!nmem)  // Initialize
 629     {
 630         nmem = nmem_create();
 631         xmlSubstituteEntitiesDefault(1);
 632         xmlLoadExtDtdDefaultValue = 1;
 633     }
 634     if (!doc)
 635     {
 636         yaz_log(YLOG_FATAL, "Failed to read %s", fname);
 637         exit(1);
 638     }
 639     if ((p = strrchr(fname,
 640 #ifdef WIN32
 641                      '\\'
 642 #else
 643                      '/'
 644 #endif
 645              )))
 646     {
 647         int len = p - fname;
 648         if (len >= sizeof(confdir))
 649             len = sizeof(confdir)-1;
 650         strncpy(confdir, fname, len);
 651         confdir[len] = '\0';
 652     }
 653     config = parse_config(xmlDocGetRootElement(doc));
 654     xmlFreeDoc(doc);
 655
 656     if (config)
 657         return 1;
 658     else
 659         return 0;
 660 }
 661
 662
 663 /*
 664  * Local variables:
 665  * c-basic-offset: 4
 666  * c-file-style: "Stroustrup"
 667  * indent-tabs-mode: nil
 668  * End:
 669  * vim: shiftwidth=4 tabstop=8 expandtab
 670  */
 671