f58820c0498a98e6442856fd7539b2d5c6997b66
[pazpar2-moved-to-github.git] / src / pazpar2_config.c
1 /* This file is part of Pazpar2.
2    Copyright (C) 2006-2009 Index Data
3
4 Pazpar2 is free software; you can redistribute it and/or modify it under
5 the terms of the GNU General Public License as published by the Free
6 Software Foundation; either version 2, or (at your option) any later
7 version.
8
9 Pazpar2 is distributed in the hope that it will be useful, but WITHOUT ANY
10 WARRANTY; without even the implied warranty of MERCHANTABILITY or
11 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
12 for more details.
13
14 You should have received a copy of the GNU General Public License
15 along with this program; if not, write to the Free Software
16 Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
17
18 */
19
20 #if HAVE_CONFIG_H
21 #include <config.h>
22 #endif
23
24 #include <string.h>
25
26 #include <libxml/parser.h>
27 #include <libxml/tree.h>
28 #include <libxslt/xslt.h>
29 #include <libxslt/transform.h>
30 #include <libxslt/xsltutils.h>
31
32 #include <yaz/yaz-util.h>
33 #include <yaz/nmem.h>
34 #include <yaz/snprintf.h>
35 #include <yaz/tpath.h>
36
37 #include "pazpar2_config.h"
38 #include "settings.h"
39
40 static char confdir[256] = ".";
41
42 struct conf_config *config1 = 0;
43
44
45 static char *parse_settings(NMEM nmem, xmlNode *node);
46
47 static 
48 struct conf_metadata * conf_metadata_assign(NMEM nmem, 
49                                             struct conf_metadata * metadata,
50                                             const char *name,
51                                             enum conf_metadata_type type,
52                                             enum conf_metadata_merge merge,
53                                             enum conf_setting_type setting,
54                                             int brief,
55                                             int termlist,
56                                             int rank,
57                                             int sortkey_offset,
58                                             enum conf_metadata_mergekey mt)
59 {
60     if (!nmem || !metadata || !name)
61         return 0;
62     
63     metadata->name = nmem_strdup(nmem, name);
64
65     metadata->type = type;
66
67     // enforcing that type_year is always range_merge
68     if (metadata->type == Metadata_type_year)
69         metadata->merge = Metadata_merge_range;
70     else
71         metadata->merge = merge;    
72
73     metadata->setting = setting;
74     metadata->brief = brief;   
75     metadata->termlist = termlist;
76     metadata->rank = rank;    
77     metadata->sortkey_offset = sortkey_offset;
78     metadata->mergekey = mt;
79     return metadata;
80 }
81
82
83 static
84 struct conf_sortkey * conf_sortkey_assign(NMEM nmem, 
85                                           struct conf_sortkey * sortkey,
86                                           const char *name,
87                                           enum conf_sortkey_type type)
88 {
89     if (!nmem || !sortkey || !name)
90         return 0;
91     
92     sortkey->name = nmem_strdup(nmem, name);
93     sortkey->type = type;
94
95     return sortkey;
96 }
97
98
99 struct conf_service * conf_service_create(int num_metadata, int num_sortkeys,
100     const char *service_id)
101 {
102     struct conf_service * service = 0;
103     NMEM nmem = nmem_create();
104
105     //assert(nmem);
106     
107     service = nmem_malloc(nmem, sizeof(struct conf_service));
108     service->nmem = nmem;
109     service->next = 0;
110     service->settings = 0;
111     service->databases = 0;
112
113     service->id = service_id ? nmem_strdup(nmem, service_id) : 0;
114     service->num_metadata = num_metadata;
115     service->metadata = 0;
116     if (service->num_metadata)
117       service->metadata 
118           = nmem_malloc(nmem, 
119                         sizeof(struct conf_metadata) * service->num_metadata);
120     service->num_sortkeys = num_sortkeys;
121     service->sortkeys = 0;
122     if (service->num_sortkeys)
123         service->sortkeys 
124             = nmem_malloc(nmem, 
125                           sizeof(struct conf_sortkey) * service->num_sortkeys);
126     service->dictionary = 0;
127     return service; 
128 }
129
130 struct conf_metadata* conf_service_add_metadata(struct conf_service *service,
131                                                 int field_id,
132                                                 const char *name,
133                                                 enum conf_metadata_type type,
134                                                 enum conf_metadata_merge merge,
135                                                 enum conf_setting_type setting,
136                                                 int brief,
137                                                 int termlist,
138                                                 int rank,
139                                                 int sortkey_offset,
140                                                 enum conf_metadata_mergekey mt)
141 {
142     struct conf_metadata * md = 0;
143
144     if (!service || !service->metadata || !service->num_metadata
145         || field_id < 0  || !(field_id < service->num_metadata))
146         return 0;
147
148     //md = &((service->metadata)[field_id]);
149     md = service->metadata + field_id;
150     md = conf_metadata_assign(service->nmem, md, name, type, merge, setting,
151                               brief, termlist, rank, sortkey_offset,
152                               mt);
153     return md;
154 }
155
156
157 struct conf_sortkey * conf_service_add_sortkey(struct conf_service *service,
158                                                int field_id,
159                                                const char *name,
160                                                enum conf_sortkey_type type)
161 {
162     struct conf_sortkey * sk = 0;
163
164     if (!service || !service->sortkeys || !service->num_sortkeys
165         || field_id < 0  || !(field_id < service->num_sortkeys))
166         return 0;
167
168     //sk = &((service->sortkeys)[field_id]);
169     sk = service->sortkeys + field_id;
170     sk = conf_sortkey_assign(service->nmem, sk, name, type);
171
172     return sk;
173 }
174
175
176 int conf_service_metadata_field_id(struct conf_service *service,
177                                    const char * name)
178 {
179     int i = 0;
180
181     if (!service || !service->metadata || !service->num_metadata)
182         return -1;
183
184     for(i = 0; i < service->num_metadata; i++) {
185         if (!strcmp(name, (service->metadata[i]).name))
186             return i;
187     }
188    
189     return -1;
190 }
191
192
193 int conf_service_sortkey_field_id(struct conf_service *service,
194                                   const char * name)
195 {
196     int i = 0;
197
198     if (!service || !service->sortkeys || !service->num_sortkeys)
199         return -1;
200
201     for(i = 0; i < service->num_sortkeys; i++) {
202         if (!strcmp(name, (service->sortkeys[i]).name))
203             return i;
204     }
205    
206     return -1;
207 }
208
209
210
211 /* Code to parse configuration file */
212 /* ==================================================== */
213
214 static struct conf_service *parse_service(xmlNode *node, const char *service_id)
215 {
216     xmlNode *n;
217     int md_node = 0;
218     int sk_node = 0;
219
220     struct conf_service *service = 0;
221     int num_metadata = 0;
222     int num_sortkeys = 0;
223     
224     // count num_metadata and num_sortkeys
225     for (n = node->children; n; n = n->next)
226         if (n->type == XML_ELEMENT_NODE && !strcmp((const char *)
227                                                    n->name, "metadata"))
228         {
229             xmlChar *sortkey = xmlGetProp(n, (xmlChar *) "sortkey");
230             num_metadata++;
231             if (sortkey && strcmp((const char *) sortkey, "no"))
232                 num_sortkeys++;
233             xmlFree(sortkey);
234         }
235
236     service = conf_service_create(num_metadata, num_sortkeys, service_id);
237
238     for (n = node->children; n; n = n->next)
239     {
240         if (n->type != XML_ELEMENT_NODE)
241             continue;
242         if (!strcmp((const char *) n->name, "settings"))
243         {
244             if (service->settings)
245             {
246                 yaz_log(YLOG_FATAL, "Can't repeat 'settings'");
247                 return 0;
248             }
249             service->settings = parse_settings(service->nmem, n);
250             if (!service->settings)
251                 return 0;
252         }
253         else if (!strcmp((const char *) n->name, (const char *) "metadata"))
254         {
255             xmlChar *xml_name = xmlGetProp(n, (xmlChar *) "name");
256             xmlChar *xml_brief = xmlGetProp(n, (xmlChar *) "brief");
257             xmlChar *xml_sortkey = xmlGetProp(n, (xmlChar *) "sortkey");
258             xmlChar *xml_merge = xmlGetProp(n, (xmlChar *) "merge");
259             xmlChar *xml_type = xmlGetProp(n, (xmlChar *) "type");
260             xmlChar *xml_termlist = xmlGetProp(n, (xmlChar *) "termlist");
261             xmlChar *xml_rank = xmlGetProp(n, (xmlChar *) "rank");
262             xmlChar *xml_setting = xmlGetProp(n, (xmlChar *) "setting");
263             xmlChar *xml_mergekey = xmlGetProp(n, (xmlChar *) "mergekey");
264
265             enum conf_metadata_type type = Metadata_type_generic;
266             enum conf_metadata_merge merge = Metadata_merge_no;
267             enum conf_setting_type setting = Metadata_setting_no;
268             enum conf_sortkey_type sk_type = Metadata_sortkey_relevance;
269             enum conf_metadata_mergekey mergekey_type = Metadata_mergekey_no;
270             int brief = 0;
271             int termlist = 0;
272             int rank = 0;
273             int sortkey_offset = 0;
274             
275             // now do the parsing logic
276             if (!xml_name)
277             {
278                 yaz_log(YLOG_FATAL, "Must specify name in metadata element");
279                 return 0;
280             }
281             if (xml_brief)
282             {
283                 if (!strcmp((const char *) xml_brief, "yes"))
284                     brief = 1;
285                  else if (strcmp((const char *) xml_brief, "no"))
286                 {
287                     yaz_log(YLOG_FATAL, "metadata/brief must be yes or no");
288                     return 0;
289                 }
290             }
291             else
292                 brief = 0;
293
294             if (xml_termlist)
295             {
296                 if (!strcmp((const char *) xml_termlist, "yes"))
297                     termlist = 1;
298                 else if (strcmp((const char *) xml_termlist, "no"))
299                 {
300                     yaz_log(YLOG_FATAL, "metadata/termlist must be yes or no");
301                     return 0;
302                 }
303             }
304             else
305                 termlist = 0;
306
307             if (xml_rank)
308                 rank = atoi((const char *) xml_rank);
309             else
310                 rank = 0;
311
312             if (xml_type)
313             {
314                 if (!strcmp((const char *) xml_type, "generic"))
315                     type = Metadata_type_generic;
316                 else if (!strcmp((const char *) xml_type, "year"))
317                     type = Metadata_type_year;
318                 else if (!strcmp((const char *) xml_type, "date"))
319                     type = Metadata_type_date;
320                 else
321                 {
322                     yaz_log(YLOG_FATAL, 
323                             "Unknown value for metadata/type: %s", xml_type);
324                     return 0;
325                 }
326             }
327             else
328                 type = Metadata_type_generic;
329
330             if (xml_merge)
331             {
332                 if (!strcmp((const char *) xml_merge, "no"))
333                     merge = Metadata_merge_no;
334                 else if (!strcmp((const char *) xml_merge, "unique"))
335                     merge = Metadata_merge_unique;
336                 else if (!strcmp((const char *) xml_merge, "longest"))
337                     merge = Metadata_merge_longest;
338                 else if (!strcmp((const char *) xml_merge, "range"))
339                     merge = Metadata_merge_range;
340                 else if (!strcmp((const char *) xml_merge, "all"))
341                     merge = Metadata_merge_all;
342                 else
343                 {
344                     yaz_log(YLOG_FATAL, 
345                             "Unknown value for metadata/merge: %s", xml_merge);
346                     return 0;
347                 }
348             }
349             else
350                 merge = Metadata_merge_no;
351
352             if (xml_setting)
353             {
354                 if (!strcmp((const char *) xml_setting, "no"))
355                     setting = Metadata_setting_no;
356                 else if (!strcmp((const char *) xml_setting, "postproc"))
357                     setting = Metadata_setting_postproc;
358                 else if (!strcmp((const char *) xml_setting, "parameter"))
359                     setting = Metadata_setting_parameter;
360                 else
361                 {
362                     yaz_log(YLOG_FATAL,
363                         "Unknown value for medadata/setting: %s", xml_setting);
364                     return 0;
365                 }
366             }
367
368             // add a sortkey if so specified
369             if (xml_sortkey && strcmp((const char *) xml_sortkey, "no"))
370             {
371                 if (merge == Metadata_merge_no)
372                 {
373                     yaz_log(YLOG_FATAL, 
374                             "Can't specify sortkey on a non-merged field");
375                     return 0;
376                 }
377                 if (!strcmp((const char *) xml_sortkey, "numeric"))
378                     sk_type = Metadata_sortkey_numeric;
379                 else if (!strcmp((const char *) xml_sortkey, "skiparticle"))
380                     sk_type = Metadata_sortkey_skiparticle;
381                 else
382                 {
383                     yaz_log(YLOG_FATAL,
384                             "Unknown sortkey in metadata element: %s", 
385                             xml_sortkey);
386                     return 0;
387                 }
388                 sortkey_offset = sk_node;
389
390                 conf_service_add_sortkey(
391 service, sk_node,
392                                          (const char *) xml_name, sk_type);
393                 
394                 sk_node++;
395             }
396             else
397                 sortkey_offset = -1;
398
399             if (xml_mergekey && strcmp((const char *) xml_mergekey, "no"))
400             {
401                 mergekey_type = Metadata_mergekey_yes;
402             }
403
404
405             // metadata known, assign values
406             conf_service_add_metadata(service, md_node,
407                                       (const char *) xml_name,
408                                       type, merge, setting,
409                                       brief, termlist, rank, sortkey_offset,
410                                       mergekey_type);
411
412             xmlFree(xml_name);
413             xmlFree(xml_brief);
414             xmlFree(xml_sortkey);
415             xmlFree(xml_merge);
416             xmlFree(xml_type);
417             xmlFree(xml_termlist);
418             xmlFree(xml_rank);
419             xmlFree(xml_setting);
420             md_node++;
421         }
422         else
423         {
424             yaz_log(YLOG_FATAL, "Bad element: %s", n->name);
425             return 0;
426         }
427     }
428     return service;
429 }
430
431 static char *parse_settings(NMEM nmem, xmlNode *node)
432 {
433     xmlChar *src = xmlGetProp(node, (xmlChar *) "src");
434     char *r;
435
436     if (src)
437     {
438         if (yaz_is_abspath((const char *) src))
439             r = nmem_strdup(nmem, (const char *) src);
440         else
441         {
442             r = nmem_malloc(nmem,
443                             strlen(confdir) + strlen((const char *) src) + 2);
444             sprintf(r, "%s/%s", confdir, src);
445         }
446     }
447     else
448     {
449         yaz_log(YLOG_FATAL, "Must specify src in targetprofile");
450         return 0;
451     }
452     xmlFree(src);
453     return r;
454 }
455
456 static struct conf_server *parse_server(NMEM nmem, xmlNode *node)
457 {
458     xmlNode *n;
459     struct conf_server *server = nmem_malloc(nmem, sizeof(struct conf_server));
460
461     server->host = 0;
462     server->port = 0;
463     server->proxy_host = 0;
464     server->proxy_port = 0;
465     server->myurl = 0;
466     server->service = 0;
467     server->next = 0;
468     server->server_settings = 0;
469     server->relevance_pct = 0;
470     server->sort_pct = 0;
471     server->mergekey_pct = 0;
472
473     for (n = node->children; n; n = n->next)
474     {
475         if (n->type != XML_ELEMENT_NODE)
476             continue;
477         if (!strcmp((const char *) n->name, "listen"))
478         {
479             xmlChar *port = xmlGetProp(n, (xmlChar *) "port");
480             xmlChar *host = xmlGetProp(n, (xmlChar *) "host");
481             if (port)
482                 server->port = atoi((const char *) port);
483             if (host)
484                 server->host = nmem_strdup(nmem, (const char *) host);
485             xmlFree(port);
486             xmlFree(host);
487         }
488         else if (!strcmp((const char *) n->name, "proxy"))
489         {
490             xmlChar *port = xmlGetProp(n, (xmlChar *) "port");
491             xmlChar *host = xmlGetProp(n, (xmlChar *) "host");
492             xmlChar *myurl = xmlGetProp(n, (xmlChar *) "myurl");
493             if (port)
494                 server->proxy_port = atoi((const char *) port);
495             if (host)
496                 server->proxy_host = nmem_strdup(nmem, (const char *) host);
497             if (myurl)
498                 server->myurl = nmem_strdup(nmem, (const char *) myurl);
499             xmlFree(port);
500             xmlFree(host);
501             xmlFree(myurl);
502         }
503         else if (!strcmp((const char *) n->name, "settings"))
504         {
505             if (server->server_settings)
506             {
507                 yaz_log(YLOG_FATAL, "Can't repeat 'settings'");
508                 return 0;
509             }
510             if (!(server->server_settings = parse_settings(nmem, n)))
511                 return 0;
512         }
513         else if (!strcmp((const char *) n->name, "relevance"))
514         {
515             server->relevance_pct = pp2_charset_create_xml(n);
516             if (!server->relevance_pct)
517                 return 0;
518         }
519         else if (!strcmp((const char *) n->name, "sort"))
520         {
521             server->sort_pct = pp2_charset_create_xml(n);
522             if (!server->sort_pct)
523                 return 0;
524         }
525         else if (!strcmp((const char *) n->name, "mergekey"))
526         {
527             server->mergekey_pct = pp2_charset_create_xml(n);
528             if (!server->mergekey_pct)
529                 return 0;
530         }
531         else if (!strcmp((const char *) n->name, "service"))
532         {
533             const char *service_id = (const char *)
534                 xmlGetProp(n, (xmlChar *) "id");
535
536             struct conf_service **sp = &server->service;
537             for (; *sp; sp = &(*sp)->next)
538                 if ((*sp)->id && service_id &&
539                     0 == strcmp((*sp)->id, service_id))
540                 {
541                     yaz_log(YLOG_FATAL, "Duplicate service: %s", service_id);
542                     break;
543                 }
544                 else if (!(*sp)->id && !service_id)
545                 {
546                     yaz_log(YLOG_FATAL, "Duplicate unnamed service");
547                     break;
548                 }
549
550             if (*sp)  /* service already exist */
551                 return 0;
552             else
553             {
554                 struct conf_service *s = parse_service(n, service_id);
555                 if (s)
556                 {
557                     s->relevance_pct = server->relevance_pct ?
558                         server->relevance_pct : pp2_charset_create(0);
559                     s->sort_pct = server->sort_pct ?
560                         server->sort_pct : pp2_charset_create(0);
561                     s->mergekey_pct = server->mergekey_pct ?
562                         server->mergekey_pct : pp2_charset_create(0);
563                     *sp = s;
564                 }
565             }
566         }
567         else
568         {
569             yaz_log(YLOG_FATAL, "Bad element: %s", n->name);
570             return 0;
571         }
572     }
573     return server;
574 }
575
576 xsltStylesheet *conf_load_stylesheet(const char *fname)
577 {
578     char path[256];
579     if (yaz_is_abspath(fname))
580         yaz_snprintf(path, sizeof(path), fname);
581     else
582         yaz_snprintf(path, sizeof(path), "%s/%s", confdir, fname);
583     return xsltParseStylesheetFile((xmlChar *) path);
584 }
585
586 static struct conf_targetprofiles *parse_targetprofiles(NMEM nmem,
587                                                         xmlNode *node)
588 {
589     struct conf_targetprofiles *r = nmem_malloc(nmem, sizeof(*r));
590     xmlChar *type = xmlGetProp(node, (xmlChar *) "type");
591     xmlChar *src = xmlGetProp(node, (xmlChar *) "src");
592
593     memset(r, 0, sizeof(*r));
594
595     if (type)
596     {
597         if (!strcmp((const char *) type, "local"))
598             r->type = Targetprofiles_local;
599         else
600         {
601             yaz_log(YLOG_FATAL, "Unknown targetprofile type");
602             return 0;
603         }
604     }
605     else
606     {
607         yaz_log(YLOG_FATAL, "Must specify type for targetprofile");
608         return 0;
609     }
610
611     if (src)
612         r->src = nmem_strdup(nmem, (const char *) src);
613     else
614     {
615         yaz_log(YLOG_FATAL, "Must specify src in targetprofile");
616         return 0;
617     }
618     xmlFree(type);
619     xmlFree(src);
620     return r;
621 }
622
623 struct conf_service *locate_service(struct conf_server *server,
624                                     const char *service_id)
625 {
626     struct conf_service *s = server->service;
627     for (; s; s = s->next)
628         if (s->id && service_id && 0 == strcmp(s->id, service_id))
629             return s;
630         else if (!s->id && !service_id)
631             return s;
632     return 0;
633 }
634
635
636 static struct conf_config *parse_config(xmlNode *root)
637 {
638     NMEM nmem = nmem_create();
639     xmlNode *n;
640     struct conf_config *r = nmem_malloc(nmem, sizeof(struct conf_config));
641
642     r->nmem = nmem;
643     r->servers = 0;
644     r->targetprofiles = 0;
645
646     for (n = root->children; n; n = n->next)
647     {
648         if (n->type != XML_ELEMENT_NODE)
649             continue;
650         if (!strcmp((const char *) n->name, "server"))
651         {
652             struct conf_server *tmp = parse_server(nmem, n);
653             if (!tmp)
654                 return 0;
655             tmp->next = r->servers;
656             r->servers = tmp;
657         }
658         else if (!strcmp((const char *) n->name, "targetprofiles"))
659         {
660             // It would be fun to be able to fix this sometime
661             if (r->targetprofiles)
662             {
663                 yaz_log(YLOG_FATAL, "Can't repeat targetprofiles");
664                 return 0;
665             }
666             if (!(r->targetprofiles = parse_targetprofiles(nmem, n)))
667                 return 0;
668         }
669         else
670         {
671             yaz_log(YLOG_FATAL, "Bad element: %s", n->name);
672             return 0;
673         }
674     }
675     return r;
676 }
677
678 struct conf_config *read_config(const char *fname)
679 {
680     xmlDoc *doc = xmlParseFile(fname);
681     const char *p;
682     struct conf_config *config;
683
684     xmlSubstituteEntitiesDefault(1);
685     xmlLoadExtDtdDefaultValue = 1;
686     if (!doc)
687     {
688         yaz_log(YLOG_FATAL, "Failed to read %s", fname);
689         exit(1);
690     }
691     if ((p = strrchr(fname, 
692 #ifdef WIN32
693                      '\\'
694 #else
695                      '/'
696 #endif
697              )))
698     {
699         int len = p - fname;
700         if (len >= sizeof(confdir))
701             len = sizeof(confdir)-1;
702         strncpy(confdir, fname, len);
703         confdir[len] = '\0';
704     }
705     config = parse_config(xmlDocGetRootElement(doc));
706     xmlFreeDoc(doc);
707
708     return config;
709 }
710
711 void config_read_settings(struct conf_config *config,
712                           const char *path_override)
713 {
714     struct conf_service *s = config->servers->service;
715     for (;s ; s = s->next)
716     {
717         init_settings(s);
718         if (path_override)
719             settings_read(s, path_override);
720         else if (s->settings)
721             settings_read(s, s->settings);
722         else if (config->servers->server_settings)
723             settings_read(s, config->servers->server_settings);
724         else
725             yaz_log(YLOG_WARN, "No settings for service");
726     }
727 }
728
729 /*
730  * Local variables:
731  * c-basic-offset: 4
732  * c-file-style: "Stroustrup"
733  * indent-tabs-mode: nil
734  * End:
735  * vim: shiftwidth=4 tabstop=8 expandtab
736  */
737