767ea2f480bb28bf2316372fc7b9bb1ad6d09e2b
[pazpar2-moved-to-github.git] / src / pazpar2_config.c
1 /* This file is part of Pazpar2.
2    Copyright (C) 2006-2009 Index Data
3
4 Pazpar2 is free software; you can redistribute it and/or modify it under
5 the terms of the GNU General Public License as published by the Free
6 Software Foundation; either version 2, or (at your option) any later
7 version.
8
9 Pazpar2 is distributed in the hope that it will be useful, but WITHOUT ANY
10 WARRANTY; without even the implied warranty of MERCHANTABILITY or
11 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
12 for more details.
13
14 You should have received a copy of the GNU General Public License
15 along with this program; if not, write to the Free Software
16 Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
17
18 */
19
20 #if HAVE_CONFIG_H
21 #include <config.h>
22 #endif
23
24 #include <string.h>
25
26 #include <libxml/parser.h>
27 #include <libxml/tree.h>
28 #include <libxslt/xslt.h>
29 #include <libxslt/transform.h>
30 #include <libxslt/xsltutils.h>
31
32 #include <yaz/yaz-util.h>
33 #include <yaz/nmem.h>
34 #include <yaz/snprintf.h>
35 #include <yaz/tpath.h>
36
37 #include "pazpar2_config.h"
38 #include "settings.h"
39
40 static char confdir[256] = ".";
41
42 static char *parse_settings(NMEM nmem, xmlNode *node);
43
44 static 
45 struct conf_metadata * conf_metadata_assign(NMEM nmem, 
46                                             struct conf_metadata * metadata,
47                                             const char *name,
48                                             enum conf_metadata_type type,
49                                             enum conf_metadata_merge merge,
50                                             enum conf_setting_type setting,
51                                             int brief,
52                                             int termlist,
53                                             int rank,
54                                             int sortkey_offset,
55                                             enum conf_metadata_mergekey mt)
56 {
57     if (!nmem || !metadata || !name)
58         return 0;
59     
60     metadata->name = nmem_strdup(nmem, name);
61
62     metadata->type = type;
63
64     // enforcing that type_year is always range_merge
65     if (metadata->type == Metadata_type_year)
66         metadata->merge = Metadata_merge_range;
67     else
68         metadata->merge = merge;    
69
70     metadata->setting = setting;
71     metadata->brief = brief;   
72     metadata->termlist = termlist;
73     metadata->rank = rank;    
74     metadata->sortkey_offset = sortkey_offset;
75     metadata->mergekey = mt;
76     return metadata;
77 }
78
79
80 static
81 struct conf_sortkey * conf_sortkey_assign(NMEM nmem, 
82                                           struct conf_sortkey * sortkey,
83                                           const char *name,
84                                           enum conf_sortkey_type type)
85 {
86     if (!nmem || !sortkey || !name)
87         return 0;
88     
89     sortkey->name = nmem_strdup(nmem, name);
90     sortkey->type = type;
91
92     return sortkey;
93 }
94
95
96 struct conf_service * conf_service_create(int num_metadata, int num_sortkeys,
97     const char *service_id)
98 {
99     struct conf_service * service = 0;
100     NMEM nmem = nmem_create();
101
102     //assert(nmem);
103     
104     service = nmem_malloc(nmem, sizeof(struct conf_service));
105     service->nmem = nmem;
106     service->next = 0;
107     service->settings = 0;
108     service->databases = 0;
109
110     service->id = service_id ? nmem_strdup(nmem, service_id) : 0;
111     service->num_metadata = num_metadata;
112     service->metadata = 0;
113     if (service->num_metadata)
114       service->metadata 
115           = nmem_malloc(nmem, 
116                         sizeof(struct conf_metadata) * service->num_metadata);
117     service->num_sortkeys = num_sortkeys;
118     service->sortkeys = 0;
119     if (service->num_sortkeys)
120         service->sortkeys 
121             = nmem_malloc(nmem, 
122                           sizeof(struct conf_sortkey) * service->num_sortkeys);
123     service->dictionary = 0;
124     return service; 
125 }
126
127 struct conf_metadata* conf_service_add_metadata(struct conf_service *service,
128                                                 int field_id,
129                                                 const char *name,
130                                                 enum conf_metadata_type type,
131                                                 enum conf_metadata_merge merge,
132                                                 enum conf_setting_type setting,
133                                                 int brief,
134                                                 int termlist,
135                                                 int rank,
136                                                 int sortkey_offset,
137                                                 enum conf_metadata_mergekey mt)
138 {
139     struct conf_metadata * md = 0;
140
141     if (!service || !service->metadata || !service->num_metadata
142         || field_id < 0  || !(field_id < service->num_metadata))
143         return 0;
144
145     //md = &((service->metadata)[field_id]);
146     md = service->metadata + field_id;
147     md = conf_metadata_assign(service->nmem, md, name, type, merge, setting,
148                               brief, termlist, rank, sortkey_offset,
149                               mt);
150     return md;
151 }
152
153
154 struct conf_sortkey * conf_service_add_sortkey(struct conf_service *service,
155                                                int field_id,
156                                                const char *name,
157                                                enum conf_sortkey_type type)
158 {
159     struct conf_sortkey * sk = 0;
160
161     if (!service || !service->sortkeys || !service->num_sortkeys
162         || field_id < 0  || !(field_id < service->num_sortkeys))
163         return 0;
164
165     //sk = &((service->sortkeys)[field_id]);
166     sk = service->sortkeys + field_id;
167     sk = conf_sortkey_assign(service->nmem, sk, name, type);
168
169     return sk;
170 }
171
172
173 int conf_service_metadata_field_id(struct conf_service *service,
174                                    const char * name)
175 {
176     int i = 0;
177
178     if (!service || !service->metadata || !service->num_metadata)
179         return -1;
180
181     for(i = 0; i < service->num_metadata; i++) {
182         if (!strcmp(name, (service->metadata[i]).name))
183             return i;
184     }
185    
186     return -1;
187 }
188
189
190 int conf_service_sortkey_field_id(struct conf_service *service,
191                                   const char * name)
192 {
193     int i = 0;
194
195     if (!service || !service->sortkeys || !service->num_sortkeys)
196         return -1;
197
198     for(i = 0; i < service->num_sortkeys; i++) {
199         if (!strcmp(name, (service->sortkeys[i]).name))
200             return i;
201     }
202    
203     return -1;
204 }
205
206
207
208 /* Code to parse configuration file */
209 /* ==================================================== */
210
211 static struct conf_service *parse_service(xmlNode *node, const char *service_id)
212 {
213     xmlNode *n;
214     int md_node = 0;
215     int sk_node = 0;
216
217     struct conf_service *service = 0;
218     int num_metadata = 0;
219     int num_sortkeys = 0;
220     
221     // count num_metadata and num_sortkeys
222     for (n = node->children; n; n = n->next)
223         if (n->type == XML_ELEMENT_NODE && !strcmp((const char *)
224                                                    n->name, "metadata"))
225         {
226             xmlChar *sortkey = xmlGetProp(n, (xmlChar *) "sortkey");
227             num_metadata++;
228             if (sortkey && strcmp((const char *) sortkey, "no"))
229                 num_sortkeys++;
230             xmlFree(sortkey);
231         }
232
233     service = conf_service_create(num_metadata, num_sortkeys, service_id);
234
235     for (n = node->children; n; n = n->next)
236     {
237         if (n->type != XML_ELEMENT_NODE)
238             continue;
239         if (!strcmp((const char *) n->name, "settings"))
240         {
241             if (service->settings)
242             {
243                 yaz_log(YLOG_FATAL, "Can't repeat 'settings'");
244                 return 0;
245             }
246             service->settings = parse_settings(service->nmem, n);
247             if (!service->settings)
248                 return 0;
249         }
250         else if (!strcmp((const char *) n->name, (const char *) "metadata"))
251         {
252             xmlChar *xml_name = xmlGetProp(n, (xmlChar *) "name");
253             xmlChar *xml_brief = xmlGetProp(n, (xmlChar *) "brief");
254             xmlChar *xml_sortkey = xmlGetProp(n, (xmlChar *) "sortkey");
255             xmlChar *xml_merge = xmlGetProp(n, (xmlChar *) "merge");
256             xmlChar *xml_type = xmlGetProp(n, (xmlChar *) "type");
257             xmlChar *xml_termlist = xmlGetProp(n, (xmlChar *) "termlist");
258             xmlChar *xml_rank = xmlGetProp(n, (xmlChar *) "rank");
259             xmlChar *xml_setting = xmlGetProp(n, (xmlChar *) "setting");
260             xmlChar *xml_mergekey = xmlGetProp(n, (xmlChar *) "mergekey");
261
262             enum conf_metadata_type type = Metadata_type_generic;
263             enum conf_metadata_merge merge = Metadata_merge_no;
264             enum conf_setting_type setting = Metadata_setting_no;
265             enum conf_sortkey_type sk_type = Metadata_sortkey_relevance;
266             enum conf_metadata_mergekey mergekey_type = Metadata_mergekey_no;
267             int brief = 0;
268             int termlist = 0;
269             int rank = 0;
270             int sortkey_offset = 0;
271             
272             // now do the parsing logic
273             if (!xml_name)
274             {
275                 yaz_log(YLOG_FATAL, "Must specify name in metadata element");
276                 return 0;
277             }
278             if (xml_brief)
279             {
280                 if (!strcmp((const char *) xml_brief, "yes"))
281                     brief = 1;
282                  else if (strcmp((const char *) xml_brief, "no"))
283                 {
284                     yaz_log(YLOG_FATAL, "metadata/brief must be yes or no");
285                     return 0;
286                 }
287             }
288             else
289                 brief = 0;
290
291             if (xml_termlist)
292             {
293                 if (!strcmp((const char *) xml_termlist, "yes"))
294                     termlist = 1;
295                 else if (strcmp((const char *) xml_termlist, "no"))
296                 {
297                     yaz_log(YLOG_FATAL, "metadata/termlist must be yes or no");
298                     return 0;
299                 }
300             }
301             else
302                 termlist = 0;
303
304             if (xml_rank)
305                 rank = atoi((const char *) xml_rank);
306             else
307                 rank = 0;
308
309             if (xml_type)
310             {
311                 if (!strcmp((const char *) xml_type, "generic"))
312                     type = Metadata_type_generic;
313                 else if (!strcmp((const char *) xml_type, "year"))
314                     type = Metadata_type_year;
315                 else if (!strcmp((const char *) xml_type, "date"))
316                     type = Metadata_type_date;
317                 else
318                 {
319                     yaz_log(YLOG_FATAL, 
320                             "Unknown value for metadata/type: %s", xml_type);
321                     return 0;
322                 }
323             }
324             else
325                 type = Metadata_type_generic;
326
327             if (xml_merge)
328             {
329                 if (!strcmp((const char *) xml_merge, "no"))
330                     merge = Metadata_merge_no;
331                 else if (!strcmp((const char *) xml_merge, "unique"))
332                     merge = Metadata_merge_unique;
333                 else if (!strcmp((const char *) xml_merge, "longest"))
334                     merge = Metadata_merge_longest;
335                 else if (!strcmp((const char *) xml_merge, "range"))
336                     merge = Metadata_merge_range;
337                 else if (!strcmp((const char *) xml_merge, "all"))
338                     merge = Metadata_merge_all;
339                 else
340                 {
341                     yaz_log(YLOG_FATAL, 
342                             "Unknown value for metadata/merge: %s", xml_merge);
343                     return 0;
344                 }
345             }
346             else
347                 merge = Metadata_merge_no;
348
349             if (xml_setting)
350             {
351                 if (!strcmp((const char *) xml_setting, "no"))
352                     setting = Metadata_setting_no;
353                 else if (!strcmp((const char *) xml_setting, "postproc"))
354                     setting = Metadata_setting_postproc;
355                 else if (!strcmp((const char *) xml_setting, "parameter"))
356                     setting = Metadata_setting_parameter;
357                 else
358                 {
359                     yaz_log(YLOG_FATAL,
360                         "Unknown value for medadata/setting: %s", xml_setting);
361                     return 0;
362                 }
363             }
364
365             // add a sortkey if so specified
366             if (xml_sortkey && strcmp((const char *) xml_sortkey, "no"))
367             {
368                 if (merge == Metadata_merge_no)
369                 {
370                     yaz_log(YLOG_FATAL, 
371                             "Can't specify sortkey on a non-merged field");
372                     return 0;
373                 }
374                 if (!strcmp((const char *) xml_sortkey, "numeric"))
375                     sk_type = Metadata_sortkey_numeric;
376                 else if (!strcmp((const char *) xml_sortkey, "skiparticle"))
377                     sk_type = Metadata_sortkey_skiparticle;
378                 else
379                 {
380                     yaz_log(YLOG_FATAL,
381                             "Unknown sortkey in metadata element: %s", 
382                             xml_sortkey);
383                     return 0;
384                 }
385                 sortkey_offset = sk_node;
386
387                 conf_service_add_sortkey(
388 service, sk_node,
389                                          (const char *) xml_name, sk_type);
390                 
391                 sk_node++;
392             }
393             else
394                 sortkey_offset = -1;
395
396             if (xml_mergekey && strcmp((const char *) xml_mergekey, "no"))
397             {
398                 mergekey_type = Metadata_mergekey_yes;
399             }
400
401
402             // metadata known, assign values
403             conf_service_add_metadata(service, md_node,
404                                       (const char *) xml_name,
405                                       type, merge, setting,
406                                       brief, termlist, rank, sortkey_offset,
407                                       mergekey_type);
408
409             xmlFree(xml_name);
410             xmlFree(xml_brief);
411             xmlFree(xml_sortkey);
412             xmlFree(xml_merge);
413             xmlFree(xml_type);
414             xmlFree(xml_termlist);
415             xmlFree(xml_rank);
416             xmlFree(xml_setting);
417             md_node++;
418         }
419         else
420         {
421             yaz_log(YLOG_FATAL, "Bad element: %s", n->name);
422             return 0;
423         }
424     }
425     return service;
426 }
427
428 static char *parse_settings(NMEM nmem, xmlNode *node)
429 {
430     xmlChar *src = xmlGetProp(node, (xmlChar *) "src");
431     char *r;
432
433     if (src)
434     {
435         if (yaz_is_abspath((const char *) src))
436             r = nmem_strdup(nmem, (const char *) src);
437         else
438         {
439             r = nmem_malloc(nmem,
440                             strlen(confdir) + strlen((const char *) src) + 2);
441             sprintf(r, "%s/%s", confdir, src);
442         }
443     }
444     else
445     {
446         yaz_log(YLOG_FATAL, "Must specify src in targetprofile");
447         return 0;
448     }
449     xmlFree(src);
450     return r;
451 }
452
453 static struct conf_server *parse_server(NMEM nmem, xmlNode *node)
454 {
455     xmlNode *n;
456     struct conf_server *server = nmem_malloc(nmem, sizeof(struct conf_server));
457
458     server->host = 0;
459     server->port = 0;
460     server->proxy_host = 0;
461     server->proxy_port = 0;
462     server->myurl = 0;
463     server->service = 0;
464     server->next = 0;
465     server->server_settings = 0;
466     server->relevance_pct = 0;
467     server->sort_pct = 0;
468     server->mergekey_pct = 0;
469
470     for (n = node->children; n; n = n->next)
471     {
472         if (n->type != XML_ELEMENT_NODE)
473             continue;
474         if (!strcmp((const char *) n->name, "listen"))
475         {
476             xmlChar *port = xmlGetProp(n, (xmlChar *) "port");
477             xmlChar *host = xmlGetProp(n, (xmlChar *) "host");
478             if (port)
479                 server->port = atoi((const char *) port);
480             if (host)
481                 server->host = nmem_strdup(nmem, (const char *) host);
482             xmlFree(port);
483             xmlFree(host);
484         }
485         else if (!strcmp((const char *) n->name, "proxy"))
486         {
487             xmlChar *port = xmlGetProp(n, (xmlChar *) "port");
488             xmlChar *host = xmlGetProp(n, (xmlChar *) "host");
489             xmlChar *myurl = xmlGetProp(n, (xmlChar *) "myurl");
490             if (port)
491                 server->proxy_port = atoi((const char *) port);
492             if (host)
493                 server->proxy_host = nmem_strdup(nmem, (const char *) host);
494             if (myurl)
495                 server->myurl = nmem_strdup(nmem, (const char *) myurl);
496             xmlFree(port);
497             xmlFree(host);
498             xmlFree(myurl);
499         }
500         else if (!strcmp((const char *) n->name, "settings"))
501         {
502             if (server->server_settings)
503             {
504                 yaz_log(YLOG_FATAL, "Can't repeat 'settings'");
505                 return 0;
506             }
507             if (!(server->server_settings = parse_settings(nmem, n)))
508                 return 0;
509         }
510         else if (!strcmp((const char *) n->name, "relevance"))
511         {
512             server->relevance_pct = pp2_charset_create_xml(n);
513             if (!server->relevance_pct)
514                 return 0;
515         }
516         else if (!strcmp((const char *) n->name, "sort"))
517         {
518             server->sort_pct = pp2_charset_create_xml(n);
519             if (!server->sort_pct)
520                 return 0;
521         }
522         else if (!strcmp((const char *) n->name, "mergekey"))
523         {
524             server->mergekey_pct = pp2_charset_create_xml(n);
525             if (!server->mergekey_pct)
526                 return 0;
527         }
528         else if (!strcmp((const char *) n->name, "service"))
529         {
530             const char *service_id = (const char *)
531                 xmlGetProp(n, (xmlChar *) "id");
532
533             struct conf_service **sp = &server->service;
534             for (; *sp; sp = &(*sp)->next)
535                 if ((*sp)->id && service_id &&
536                     0 == strcmp((*sp)->id, service_id))
537                 {
538                     yaz_log(YLOG_FATAL, "Duplicate service: %s", service_id);
539                     break;
540                 }
541                 else if (!(*sp)->id && !service_id)
542                 {
543                     yaz_log(YLOG_FATAL, "Duplicate unnamed service");
544                     break;
545                 }
546
547             if (*sp)  /* service already exist */
548                 return 0;
549             else
550             {
551                 struct conf_service *s = parse_service(n, service_id);
552                 if (s)
553                 {
554                     s->relevance_pct = server->relevance_pct ?
555                         server->relevance_pct : pp2_charset_create(0);
556                     s->sort_pct = server->sort_pct ?
557                         server->sort_pct : pp2_charset_create(0);
558                     s->mergekey_pct = server->mergekey_pct ?
559                         server->mergekey_pct : pp2_charset_create(0);
560                     *sp = s;
561                 }
562             }
563         }
564         else
565         {
566             yaz_log(YLOG_FATAL, "Bad element: %s", n->name);
567             return 0;
568         }
569     }
570     return server;
571 }
572
573 xsltStylesheet *conf_load_stylesheet(const char *fname)
574 {
575     char path[256];
576     if (yaz_is_abspath(fname))
577         yaz_snprintf(path, sizeof(path), fname);
578     else
579         yaz_snprintf(path, sizeof(path), "%s/%s", confdir, fname);
580     return xsltParseStylesheetFile((xmlChar *) path);
581 }
582
583 static struct conf_targetprofiles *parse_targetprofiles(NMEM nmem,
584                                                         xmlNode *node)
585 {
586     struct conf_targetprofiles *r = nmem_malloc(nmem, sizeof(*r));
587     xmlChar *type = xmlGetProp(node, (xmlChar *) "type");
588     xmlChar *src = xmlGetProp(node, (xmlChar *) "src");
589
590     memset(r, 0, sizeof(*r));
591
592     if (type)
593     {
594         if (!strcmp((const char *) type, "local"))
595             r->type = Targetprofiles_local;
596         else
597         {
598             yaz_log(YLOG_FATAL, "Unknown targetprofile type");
599             return 0;
600         }
601     }
602     else
603     {
604         yaz_log(YLOG_FATAL, "Must specify type for targetprofile");
605         return 0;
606     }
607
608     if (src)
609         r->src = nmem_strdup(nmem, (const char *) src);
610     else
611     {
612         yaz_log(YLOG_FATAL, "Must specify src in targetprofile");
613         return 0;
614     }
615     xmlFree(type);
616     xmlFree(src);
617     return r;
618 }
619
620 struct conf_service *locate_service(struct conf_server *server,
621                                     const char *service_id)
622 {
623     struct conf_service *s = server->service;
624     for (; s; s = s->next)
625         if (s->id && service_id && 0 == strcmp(s->id, service_id))
626             return s;
627         else if (!s->id && !service_id)
628             return s;
629     return 0;
630 }
631
632
633 static struct conf_config *parse_config(xmlNode *root)
634 {
635     NMEM nmem = nmem_create();
636     xmlNode *n;
637     struct conf_config *r = nmem_malloc(nmem, sizeof(struct conf_config));
638
639     r->nmem = nmem;
640     r->servers = 0;
641     r->targetprofiles = 0;
642
643     for (n = root->children; n; n = n->next)
644     {
645         if (n->type != XML_ELEMENT_NODE)
646             continue;
647         if (!strcmp((const char *) n->name, "server"))
648         {
649             struct conf_server *tmp = parse_server(nmem, n);
650             if (!tmp)
651                 return 0;
652             tmp->next = r->servers;
653             r->servers = tmp;
654         }
655         else if (!strcmp((const char *) n->name, "targetprofiles"))
656         {
657             // It would be fun to be able to fix this sometime
658             if (r->targetprofiles)
659             {
660                 yaz_log(YLOG_FATAL, "Can't repeat targetprofiles");
661                 return 0;
662             }
663             if (!(r->targetprofiles = parse_targetprofiles(nmem, n)))
664                 return 0;
665         }
666         else
667         {
668             yaz_log(YLOG_FATAL, "Bad element: %s", n->name);
669             return 0;
670         }
671     }
672     return r;
673 }
674
675 struct conf_config *read_config(const char *fname)
676 {
677     xmlDoc *doc = xmlParseFile(fname);
678     const char *p;
679     struct conf_config *config;
680
681     xmlSubstituteEntitiesDefault(1);
682     xmlLoadExtDtdDefaultValue = 1;
683     if (!doc)
684     {
685         yaz_log(YLOG_FATAL, "Failed to read %s", fname);
686         exit(1);
687     }
688     if ((p = strrchr(fname, 
689 #ifdef WIN32
690                      '\\'
691 #else
692                      '/'
693 #endif
694              )))
695     {
696         int len = p - fname;
697         if (len >= sizeof(confdir))
698             len = sizeof(confdir)-1;
699         strncpy(confdir, fname, len);
700         confdir[len] = '\0';
701     }
702     config = parse_config(xmlDocGetRootElement(doc));
703     xmlFreeDoc(doc);
704
705     return config;
706 }
707
708 void config_read_settings(struct conf_config *config,
709                           const char *path_override)
710 {
711     struct conf_service *s = config->servers->service;
712     for (;s ; s = s->next)
713     {
714         init_settings(s);
715         if (path_override)
716             settings_read(s, path_override);
717         else if (s->settings)
718             settings_read(s, s->settings);
719         else if (config->servers->server_settings)
720             settings_read(s, config->servers->server_settings);
721         else
722             yaz_log(YLOG_WARN, "No settings for service");
723     }
724 }
725
726 /*
727  * Local variables:
728  * c-basic-offset: 4
729  * c-file-style: "Stroustrup"
730  * indent-tabs-mode: nil
731  * End:
732  * vim: shiftwidth=4 tabstop=8 expandtab
733  */
734