Lower _connect_ timeout to 15 seconds.
[pazpar2-moved-to-github.git] / src / config.c
1 /* $Id: config.c,v 1.41 2007-09-10 16:25:50 adam Exp $
2    Copyright (c) 2006-2007, Index Data.
3
4 This file is part of Pazpar2.
5
6 Pazpar2 is free software; you can redistribute it and/or modify it under
7 the terms of the GNU General Public License as published by the Free
8 Software Foundation; either version 2, or (at your option) any later
9 version.
10
11 Pazpar2 is distributed in the hope that it will be useful, but WITHOUT ANY
12 WARRANTY; without even the implied warranty of MERCHANTABILITY or
13 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
14 for more details.
15
16 You should have received a copy of the GNU General Public License
17 along with Pazpar2; see the file LICENSE.  If not, write to the
18 Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
19 02111-1307, USA.
20  */
21
22 /* $Id: config.c,v 1.41 2007-09-10 16:25:50 adam Exp $ */
23
24 #include <string.h>
25
26 #include <libxml/parser.h>
27 #include <libxml/tree.h>
28 #include <libxslt/xslt.h>
29 #include <libxslt/transform.h>
30 #include <libxslt/xsltutils.h>
31
32 #if HAVE_CONFIG_H
33 #include <cconfig.h>
34 #endif
35
36 #include <yaz/yaz-util.h>
37 #include <yaz/nmem.h>
38 #include <yaz/snprintf.h>
39
40 #define CONFIG_NOEXTERNS
41 #include "config.h"
42
43
44 static NMEM nmem = 0;
45 static char confdir[256] = ".";
46
47 struct conf_config *config = 0;
48
49
50 struct conf_metadata * conf_metadata_assign(NMEM nmem, 
51                                             struct conf_metadata * metadata,
52                                             const char *name,
53                                             enum conf_metadata_type type,
54                                             enum conf_metadata_merge merge,
55                                             enum conf_setting_type setting,
56                                             int brief,
57                                             int termlist,
58                                             int rank,
59                                             int sortkey_offset)
60 {
61     if (!nmem || !metadata || !name)
62         return 0;
63     
64     metadata->name = nmem_strdup(nmem, name);
65
66     // enforcing that merge_range is always type_year 
67     if (merge == Metadata_merge_range)
68         metadata->type = Metadata_type_year;
69     else
70         metadata->type = type;
71
72     // enforcing that type_year is always range_merge
73     if (metadata->type == Metadata_type_year)
74         metadata->merge = Metadata_merge_range;
75     else
76         metadata->merge = merge;    
77
78     metadata->setting = setting;
79     metadata->brief = brief;   
80     metadata->termlist = termlist;
81     metadata->rank = rank;    
82     metadata->sortkey_offset = sortkey_offset;
83     return metadata;
84 }
85
86
87 struct conf_sortkey * conf_sortkey_assign(NMEM nmem, 
88                                           struct conf_sortkey * sortkey,
89                                           const char *name,
90                                           enum conf_sortkey_type type)
91 {
92     if (!nmem || !sortkey || !name)
93         return 0;
94     
95     sortkey->name = nmem_strdup(nmem, name);
96     sortkey->type = type;
97
98     return sortkey;
99 }
100
101
102 struct conf_service * conf_service_create(NMEM nmem,
103                                           int num_metadata, int num_sortkeys)
104 {
105     struct conf_service * service = 0;
106
107     //assert(nmem);
108     
109     service = nmem_malloc(nmem, sizeof(struct conf_service));
110
111     service->num_metadata = num_metadata;
112     service->metadata = 0;
113     if (service->num_metadata)
114       service->metadata 
115           = nmem_malloc(nmem, 
116                         sizeof(struct conf_metadata) * service->num_metadata);
117     service->num_sortkeys = num_sortkeys;
118     service->sortkeys = 0;
119     if (service->num_sortkeys)
120         service->sortkeys 
121             = nmem_malloc(nmem, 
122                           sizeof(struct conf_sortkey) * service->num_sortkeys);
123
124     return service; 
125 }
126
127 struct conf_metadata* conf_service_add_metadata(NMEM nmem, 
128                                                 struct conf_service *service,
129                                                 int field_id,
130                                                 const char *name,
131                                                 enum conf_metadata_type type,
132                                                 enum conf_metadata_merge merge,
133                                                 enum conf_setting_type setting,
134                                                 int brief,
135                                                 int termlist,
136                                                 int rank,
137                                                 int sortkey_offset)
138 {
139     struct conf_metadata * md = 0;
140
141     if (!service || !service->metadata || !service->num_metadata
142         || field_id < 0  || !(field_id < service->num_metadata))
143         return 0;
144
145     //md = &((service->metadata)[field_id]);
146     md = service->metadata + field_id;
147     md = conf_metadata_assign(nmem, md, name, type, merge, setting,
148                              brief, termlist, rank, sortkey_offset);
149     return md;
150 }
151
152
153 struct conf_sortkey * conf_service_add_sortkey(NMEM nmem,
154                                                struct conf_service *service,
155                                                int field_id,
156                                                const char *name,
157                                                enum conf_sortkey_type type)
158 {
159     struct conf_sortkey * sk = 0;
160
161     if (!service || !service->sortkeys || !service->num_sortkeys
162         || field_id < 0  || !(field_id < service->num_sortkeys))
163         return 0;
164
165     //sk = &((service->sortkeys)[field_id]);
166     sk = service->sortkeys + field_id;
167     sk = conf_sortkey_assign(nmem, sk, name, type);
168
169     return sk;
170 }
171
172
173 int conf_service_metadata_field_id(struct conf_service *service,
174                                    const char * name)
175 {
176     int i = 0;
177
178     if (!service || !service->metadata || !service->num_metadata)
179         return -1;
180
181     for(i = 0; i < service->num_metadata; i++) {
182         if (!strcmp(name, (service->metadata[i]).name))
183             return i;
184     }
185    
186     return -1;
187 };
188
189
190 int conf_service_sortkey_field_id(struct conf_service *service,
191                                   const char * name)
192 {
193     int i = 0;
194
195     if (!service || !service->sortkeys || !service->num_sortkeys)
196         return -1;
197
198     for(i = 0; i < service->num_sortkeys; i++) {
199         if (!strcmp(name, (service->sortkeys[i]).name))
200             return i;
201     }
202    
203     return -1;
204 };
205
206
207
208 /* Code to parse configuration file */
209 /* ==================================================== */
210
211 static struct conf_service *parse_service(xmlNode *node)
212 {
213     xmlNode *n;
214     int md_node = 0;
215     int sk_node = 0;
216
217     struct conf_service *service = 0;
218     int num_metadata = 0;
219     int num_sortkeys = 0;
220     
221     // count num_metadata and num_sortkeys
222     for (n = node->children; n; n = n->next)
223         if (n->type == XML_ELEMENT_NODE && !strcmp((const char *)
224                                                    n->name, "metadata"))
225         {
226             xmlChar *sortkey = xmlGetProp(n, (xmlChar *) "sortkey");
227             num_metadata++;
228             if (sortkey && strcmp((const char *) sortkey, "no"))
229                 num_sortkeys++;
230             xmlFree(sortkey);
231         }
232
233     service = conf_service_create(nmem, num_metadata, num_sortkeys);    
234
235     for (n = node->children; n; n = n->next)
236     {
237         if (n->type != XML_ELEMENT_NODE)
238             continue;
239         if (!strcmp((const char *) n->name, (const char *) "metadata"))
240         {
241             xmlChar *xml_name = xmlGetProp(n, (xmlChar *) "name");
242             xmlChar *xml_brief = xmlGetProp(n, (xmlChar *) "brief");
243             xmlChar *xml_sortkey = xmlGetProp(n, (xmlChar *) "sortkey");
244             xmlChar *xml_merge = xmlGetProp(n, (xmlChar *) "merge");
245             xmlChar *xml_type = xmlGetProp(n, (xmlChar *) "type");
246             xmlChar *xml_termlist = xmlGetProp(n, (xmlChar *) "termlist");
247             xmlChar *xml_rank = xmlGetProp(n, (xmlChar *) "rank");
248             xmlChar *xml_setting = xmlGetProp(n, (xmlChar *) "setting");
249
250             enum conf_metadata_type type = Metadata_type_generic;
251             enum conf_metadata_merge merge = Metadata_merge_no;
252             enum conf_setting_type setting = Metadata_setting_no;
253             enum conf_sortkey_type sk_type = Metadata_sortkey_relevance;
254             int brief = 0;
255             int termlist = 0;
256             int rank = 0;
257             int sortkey_offset = 0;
258             
259             // now do the parsing logic
260             if (!xml_name)
261             {
262                 yaz_log(YLOG_FATAL, "Must specify name in metadata element");
263                 return 0;
264             }
265             if (xml_brief)
266             {
267                 if (!strcmp((const char *) xml_brief, "yes"))
268                     brief = 1;
269                  else if (strcmp((const char *) xml_brief, "no"))
270                 {
271                     yaz_log(YLOG_FATAL, "metadata/brief must be yes or no");
272                     return 0;
273                 }
274             }
275             else
276                 brief = 0;
277
278             if (xml_termlist)
279             {
280                 if (!strcmp((const char *) xml_termlist, "yes"))
281                     termlist = 1;
282                 else if (strcmp((const char *) xml_termlist, "no"))
283                 {
284                     yaz_log(YLOG_FATAL, "metadata/termlist must be yes or no");
285                     return 0;
286                 }
287             }
288             else
289                 termlist = 0;
290
291             if (xml_rank)
292                 rank = atoi((const char *) xml_rank);
293             else
294                 rank = 0;
295
296             if (xml_type)
297             {
298                 if (!strcmp((const char *) xml_type, "generic"))
299                     type = Metadata_type_generic;
300                 else if (!strcmp((const char *) xml_type, "year"))
301                     type = Metadata_type_year;
302                 else
303                 {
304                     yaz_log(YLOG_FATAL, 
305                             "Unknown value for metadata/type: %s", xml_type);
306                     return 0;
307                 }
308             }
309             else
310                 type = Metadata_type_generic;
311
312             if (xml_merge)
313             {
314                 if (!strcmp((const char *) xml_merge, "no"))
315                     merge = Metadata_merge_no;
316                 else if (!strcmp((const char *) xml_merge, "unique"))
317                     merge = Metadata_merge_unique;
318                 else if (!strcmp((const char *) xml_merge, "longest"))
319                     merge = Metadata_merge_longest;
320                 else if (!strcmp((const char *) xml_merge, "range"))
321                     merge = Metadata_merge_range;
322                 else if (!strcmp((const char *) xml_merge, "all"))
323                     merge = Metadata_merge_all;
324                 else
325                 {
326                     yaz_log(YLOG_FATAL, 
327                             "Unknown value for metadata/merge: %s", xml_merge);
328                     return 0;
329                 }
330             }
331             else
332                 merge = Metadata_merge_no;
333
334             if (xml_setting)
335             {
336                 if (!strcmp((const char *) xml_setting, "no"))
337                     setting = Metadata_setting_no;
338                 else if (!strcmp((const char *) xml_setting, "postproc"))
339                     setting = Metadata_setting_postproc;
340                 else if (!strcmp((const char *) xml_setting, "parameter"))
341                     setting = Metadata_setting_parameter;
342                 else
343                 {
344                     yaz_log(YLOG_FATAL,
345                         "Unknown value for medadata/setting: %s", xml_setting);
346                     return 0;
347                 }
348             }
349
350             // add a sortkey if so specified
351             if (xml_sortkey && strcmp((const char *) xml_sortkey, "no"))
352             {
353                 if (merge == Metadata_merge_no)
354                 {
355                     yaz_log(YLOG_FATAL, 
356                             "Can't specify sortkey on a non-merged field");
357                     return 0;
358                 }
359                 if (!strcmp((const char *) xml_sortkey, "numeric"))
360                     sk_type = Metadata_sortkey_numeric;
361                 else if (!strcmp((const char *) xml_sortkey, "skiparticle"))
362                     sk_type = Metadata_sortkey_skiparticle;
363                 else
364                 {
365                     yaz_log(YLOG_FATAL,
366                             "Unknown sortkey in metadata element: %s", 
367                             xml_sortkey);
368                     return 0;
369                 }
370                 sortkey_offset = sk_node;
371
372                 conf_service_add_sortkey(nmem, service, sk_node,
373                                          (const char *) xml_name, sk_type);
374                 
375                 sk_node++;
376             }
377             else
378                 sortkey_offset = -1;
379
380             // metadata known, assign values
381             conf_service_add_metadata(nmem, service, md_node,
382                                       (const char *) xml_name,
383                                       type, merge, setting,
384                                       brief, termlist, rank, sortkey_offset);
385
386             xmlFree(xml_name);
387             xmlFree(xml_brief);
388             xmlFree(xml_sortkey);
389             xmlFree(xml_merge);
390             xmlFree(xml_type);
391             xmlFree(xml_termlist);
392             xmlFree(xml_rank);
393             md_node++;
394         }
395         else
396         {
397             yaz_log(YLOG_FATAL, "Bad element: %s", n->name);
398             return 0;
399         }
400     }
401     return service;
402 }
403
404 static char *parse_settings(xmlNode *node)
405 {
406     xmlChar *src = xmlGetProp(node, (xmlChar *) "src");
407     char *r;
408
409     if (src)
410         r = nmem_strdup(nmem, (const char *) src);
411     else
412     {
413         yaz_log(YLOG_FATAL, "Must specify src in targetprofile");
414         return 0;
415     }
416     xmlFree(src);
417     return r;
418 }
419
420 static struct conf_server *parse_server(xmlNode *node)
421 {
422     xmlNode *n;
423     struct conf_server *server = nmem_malloc(nmem, sizeof(struct conf_server));
424
425     server->host = 0;
426     server->port = 0;
427     server->proxy_host = 0;
428     server->proxy_port = 0;
429     server->myurl = 0;
430     server->service = 0;
431     server->next = 0;
432     server->settings = 0;
433     server->relevance_pct = 0;
434     server->sort_pct = 0;
435     server->mergekey_pct = 0;
436
437     for (n = node->children; n; n = n->next)
438     {
439         if (n->type != XML_ELEMENT_NODE)
440             continue;
441         if (!strcmp((const char *) n->name, "listen"))
442         {
443             xmlChar *port = xmlGetProp(n, (xmlChar *) "port");
444             xmlChar *host = xmlGetProp(n, (xmlChar *) "host");
445             if (port)
446                 server->port = atoi((const char *) port);
447             if (host)
448                 server->host = nmem_strdup(nmem, (const char *) host);
449             xmlFree(port);
450             xmlFree(host);
451         }
452         else if (!strcmp((const char *) n->name, "proxy"))
453         {
454             xmlChar *port = xmlGetProp(n, (xmlChar *) "port");
455             xmlChar *host = xmlGetProp(n, (xmlChar *) "host");
456             xmlChar *myurl = xmlGetProp(n, (xmlChar *) "myurl");
457             if (port)
458                 server->proxy_port = atoi((const char *) port);
459             if (host)
460                 server->proxy_host = nmem_strdup(nmem, (const char *) host);
461             if (myurl)
462                 server->myurl = nmem_strdup(nmem, (const char *) myurl);
463 #ifdef GAGA
464             else
465             {
466                 yaz_log(YLOG_FATAL, "Must specify @myurl for proxy");
467                 return 0;
468             }
469 #endif
470             xmlFree(port);
471             xmlFree(host);
472             xmlFree(myurl);
473         }
474         else if (!strcmp((const char *) n->name, "settings"))
475         {
476             if (server->settings)
477             {
478                 yaz_log(YLOG_FATAL, "Can't repeat 'settings'");
479                 return 0;
480             }
481             if (!(server->settings = parse_settings(n)))
482                 return 0;
483         }
484         else if (!strcmp((const char *) n->name, "relevance"))
485         {
486             server->relevance_pct = pp2_charset_create_xml(n->children);
487         }
488         else if (!strcmp((const char *) n->name, "sort"))
489         {
490             server->sort_pct = pp2_charset_create_xml(n->children);
491         }
492         else if (!strcmp((const char *) n->name, "mergekey"))
493         {
494             server->mergekey_pct = pp2_charset_create_xml(n->children);
495         }
496         else if (!strcmp((const char *) n->name, "service"))
497         {
498             struct conf_service *s = parse_service(n);
499             if (!s)
500                 return 0;
501             server->service = s;
502         }
503         else
504         {
505             yaz_log(YLOG_FATAL, "Bad element: %s", n->name);
506             return 0;
507         }
508     }
509     if (!server->relevance_pct)
510         server->relevance_pct = pp2_charset_create(0);
511     if (!server->sort_pct)
512         server->sort_pct = pp2_charset_create(0);
513     if (!server->mergekey_pct)
514         server->mergekey_pct = pp2_charset_create(0);
515     return server;
516 }
517
518 xsltStylesheet *conf_load_stylesheet(const char *fname)
519 {
520     char path[256];
521     if (*fname == '/')
522         yaz_snprintf(path, sizeof(path), fname);
523     else
524         yaz_snprintf(path, sizeof(path), "%s/%s", confdir, fname);
525     return xsltParseStylesheetFile((xmlChar *) path);
526 }
527
528 static struct conf_targetprofiles *parse_targetprofiles(xmlNode *node)
529 {
530     struct conf_targetprofiles *r = nmem_malloc(nmem, sizeof(*r));
531     xmlChar *type = xmlGetProp(node, (xmlChar *) "type");
532     xmlChar *src = xmlGetProp(node, (xmlChar *) "src");
533
534     memset(r, 0, sizeof(*r));
535
536     if (type)
537     {
538         if (!strcmp((const char *) type, "local"))
539             r->type = Targetprofiles_local;
540         else
541         {
542             yaz_log(YLOG_FATAL, "Unknown targetprofile type");
543             return 0;
544         }
545     }
546     else
547     {
548         yaz_log(YLOG_FATAL, "Must specify type for targetprofile");
549         return 0;
550     }
551
552     if (src)
553         r->src = nmem_strdup(nmem, (const char *) src);
554     else
555     {
556         yaz_log(YLOG_FATAL, "Must specify src in targetprofile");
557         return 0;
558     }
559     xmlFree(type);
560     xmlFree(src);
561     return r;
562 }
563
564 static struct conf_config *parse_config(xmlNode *root)
565 {
566     xmlNode *n;
567     struct conf_config *r = nmem_malloc(nmem, sizeof(struct conf_config));
568
569     r->servers = 0;
570     r->targetprofiles = 0;
571
572     for (n = root->children; n; n = n->next)
573     {
574         if (n->type != XML_ELEMENT_NODE)
575             continue;
576         if (!strcmp((const char *) n->name, "server"))
577         {
578             struct conf_server *tmp = parse_server(n);
579             if (!tmp)
580                 return 0;
581             tmp->next = r->servers;
582             r->servers = tmp;
583         }
584         else if (!strcmp((const char *) n->name, "targetprofiles"))
585         {
586             // It would be fun to be able to fix this sometime
587             if (r->targetprofiles)
588             {
589                 yaz_log(YLOG_FATAL, "Can't repeat targetprofiles");
590                 return 0;
591             }
592             if (!(r->targetprofiles = parse_targetprofiles(n)))
593                 return 0;
594         }
595         else
596         {
597             yaz_log(YLOG_FATAL, "Bad element: %s", n->name);
598             return 0;
599         }
600     }
601     return r;
602 }
603
604 int read_config(const char *fname)
605 {
606     xmlDoc *doc = xmlParseFile(fname);
607     const char *p;
608
609     if (!nmem)  // Initialize
610     {
611         nmem = nmem_create();
612         xmlSubstituteEntitiesDefault(1);
613         xmlLoadExtDtdDefaultValue = 1;
614     }
615     if (!doc)
616     {
617         yaz_log(YLOG_FATAL, "Failed to read %s", fname);
618         exit(1);
619     }
620     if ((p = strrchr(fname, '/')))
621     {
622         int len = p - fname;
623         if (len >= sizeof(confdir))
624             len = sizeof(confdir)-1;
625         strncpy(confdir, fname, len);
626         confdir[len] = '\0';
627     }
628     config = parse_config(xmlDocGetRootElement(doc));
629     xmlFreeDoc(doc);
630
631     if (config)
632         return 1;
633     else
634         return 0;
635 }
636
637
638 /*
639  * Local variables:
640  * c-basic-offset: 4
641  * indent-tabs-mode: nil
642  * End:
643  * vim: shiftwidth=4 tabstop=8 expandtab
644  */