Remove isamd. It's not been in use for a long time and isamb is better
[idzebra-moved-to-github.git] / data1 / d1_absyn.c
1 /* $Id: d1_absyn.c,v 1.10 2004-08-04 08:35:22 adam Exp $
2    Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002
3    Index Data Aps
4
5 This file is part of the Zebra server.
6
7 Zebra is free software; you can redistribute it and/or modify it under
8 the terms of the GNU General Public License as published by the Free
9 Software Foundation; either version 2, or (at your option) any later
10 version.
11
12 Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
13 WARRANTY; without even the implied warranty of MERCHANTABILITY or
14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
15 for more details.
16
17 You should have received a copy of the GNU General Public License
18 along with Zebra; see the file LICENSE.zebra.  If not, write to the
19 Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
20 02111-1307, USA.
21 */
22
23 #include <stdio.h>
24 #include <assert.h>
25 #include <stdlib.h>
26 #include <string.h>
27
28 #include <yaz/oid.h>
29 #include <yaz/log.h>
30 #include <data1.h>
31 #include <zebra_xpath.h>
32
33 #define D1_MAX_NESTING  128
34
35 struct data1_systag {
36     char *name;
37     char *value;
38     struct data1_systag *next;
39 };
40
41 struct data1_absyn_cache_info 
42 {
43     char *name;
44     data1_absyn *absyn;
45     data1_absyn_cache next;
46 };
47
48 struct data1_attset_cache_info 
49 {
50     char *name;
51     data1_attset *attset;
52     data1_attset_cache next;
53 };
54
55 data1_absyn *data1_absyn_search (data1_handle dh, const char *name)
56 {
57     data1_absyn_cache p = *data1_absyn_cache_get (dh);
58
59     while (p)
60     {
61         if (!yaz_matchstr (name, p->name))
62             return p->absyn;
63         p = p->next;
64     }
65     return NULL;
66 }
67 /* *ostrich*
68    We need to destroy DFAs, in xp_element (xelm) definitions 
69    pop, 2002-12-13
70 */
71
72 void data1_absyn_destroy (data1_handle dh)
73 {
74     data1_absyn_cache p = *data1_absyn_cache_get (dh);
75     
76     while (p)
77     {
78         data1_absyn *abs = p->absyn;
79         if (abs)
80         {
81             data1_xpelement *xpe = abs->xp_elements;
82             while (xpe) {
83                 logf (LOG_DEBUG,"Destroy xp element %s",xpe->xpath_expr);
84                 if (xpe->dfa) {  dfa_delete (&xpe->dfa); }
85                 xpe = xpe->next;
86             } 
87         }
88         p = p->next;
89     }
90 }
91
92
93 void data1_absyn_trav (data1_handle dh, void *handle,
94                        void (*fh)(data1_handle dh, void *h, data1_absyn *a))
95 {
96     data1_absyn_cache p = *data1_absyn_cache_get (dh);
97
98     while (p)
99     {
100         (*fh)(dh, handle, p->absyn);
101         p = p->next;
102     }
103 }
104
105 data1_absyn *data1_absyn_add (data1_handle dh, const char *name)
106 {
107     char fname[512];
108     NMEM mem = data1_nmem_get (dh);
109
110     data1_absyn_cache p = (data1_absyn_cache)nmem_malloc (mem, sizeof(*p));
111     data1_absyn_cache *pp = data1_absyn_cache_get (dh);
112
113     sprintf(fname, "%s.abs", name);
114     p->absyn = data1_read_absyn (dh, fname, 0);
115     p->name = nmem_strdup (mem, name);
116     p->next = *pp;
117     *pp = p;
118     return p->absyn;
119 }
120
121 data1_absyn *data1_get_absyn (data1_handle dh, const char *name)
122 {
123     data1_absyn *absyn;
124
125     if (!(absyn = data1_absyn_search (dh, name)))
126         absyn = data1_absyn_add (dh, name);
127     return absyn;
128 }
129
130 data1_attset *data1_attset_search_name (data1_handle dh, const char *name)
131 {
132     data1_attset_cache p = *data1_attset_cache_get (dh);
133
134     while (p)
135     {
136         if (!yaz_matchstr (name, p->name))
137             return p->attset;
138         p = p->next;
139     }
140     return NULL;
141 }
142
143 data1_attset *data1_attset_search_id (data1_handle dh, int id)
144 {
145     data1_attset_cache p = *data1_attset_cache_get (dh);
146
147     while (p)
148     {
149         if (id == p->attset->reference)
150             return p->attset;
151         p = p->next;
152     }
153     return NULL;
154 }
155
156 data1_attset *data1_attset_add (data1_handle dh, const char *name)
157 {
158     char fname[512], aname[512];
159     NMEM mem = data1_nmem_get (dh);
160     data1_attset *attset;
161
162     strcpy (aname, name);
163     sprintf(fname, "%s.att", name);
164     attset = data1_read_attset (dh, fname);
165     if (!attset)
166     {
167         char *cp;
168         attset = data1_read_attset (dh, name);
169         if (attset && (cp = strrchr (aname, '.')))
170             *cp = '\0';
171     }
172     if (!attset)
173         yaz_log (LOG_WARN|LOG_ERRNO, "Couldn't load attribute set %s", name);
174     else
175     {
176         data1_attset_cache p = (data1_attset_cache)
177             nmem_malloc (mem, sizeof(*p));
178         data1_attset_cache *pp = data1_attset_cache_get (dh);
179         
180         attset->name = p->name = nmem_strdup (mem, aname);
181         p->attset = attset;
182         p->next = *pp;
183         *pp = p;
184     }
185     return attset;
186 }
187
188 data1_attset *data1_get_attset (data1_handle dh, const char *name)
189 {
190     data1_attset *attset;
191
192     if (!(attset = data1_attset_search_name (dh, name)))
193         attset = data1_attset_add (dh, name);
194     return attset;
195 }
196
197 data1_esetname *data1_getesetbyname(data1_handle dh, data1_absyn *a,
198                                     const char *name)
199 {
200     data1_esetname *r;
201
202     for (r = a->esetnames; r; r = r->next)
203         if (!data1_matchstr(r->name, name))
204             return r;
205     return 0;
206 }
207
208 data1_element *data1_getelementbytagname (data1_handle dh, data1_absyn *abs,
209                                           data1_element *parent,
210                                           const char *tagname)
211 {
212     data1_element *r;
213
214     /* It's now possible to have a data1 tree with no abstract syntax */
215     if ( !abs )
216         return 0;
217
218     if (!parent)
219         r = abs->main_elements;
220     else
221         r = parent->children;
222
223     for (; r; r = r->next)
224     {
225         data1_name *n;
226
227         for (n = r->tag->names; n; n = n->next)
228             if (!data1_matchstr(tagname, n->name))
229                 return r;
230     }
231     return 0;
232 }
233
234 data1_element *data1_getelementbyname (data1_handle dh, data1_absyn *absyn,
235                                        const char *name)
236 {
237     data1_element *r;
238
239     /* It's now possible to have a data1 tree with no abstract syntax */
240     if ( !absyn )
241         return 0;
242     for (r = absyn->main_elements; r; r = r->next)
243         if (!data1_matchstr(r->name, name))
244             return r;
245     return 0;
246 }
247
248
249 void fix_element_ref (data1_handle dh, data1_absyn *absyn, data1_element *e)
250 {
251     /* It's now possible to have a data1 tree with no abstract syntax */
252     if ( !absyn )
253         return;
254
255     for (; e; e = e->next)
256     {
257         if (!e->sub_name)
258         {
259             if (e->children)
260                 fix_element_ref (dh, absyn, e->children);
261         }
262         else
263         {
264             data1_sub_elements *sub_e = absyn->sub_elements;
265             while (sub_e && strcmp (e->sub_name, sub_e->name))
266                 sub_e = sub_e->next;
267             if (sub_e)
268                 e->children = sub_e->elements;
269             else
270                 yaz_log (LOG_WARN, "Unresolved reference to sub-elements %s",
271                       e->sub_name);
272         }
273     }
274 }
275 /* *ostrich*
276
277    New function, a bit dummy now... I've seen it in zrpn.c... We should build
278    more clever regexps...
279
280
281       //a    ->    ^a/.*$
282       //a/b  ->    ^b/a/.*$
283       /a     ->    ^a/$
284       /a/b   ->    ^b/a/$
285
286       /      ->    none
287
288    pop, 2002-12-13
289
290    Now [] predicates are supported
291
292    pop, 2003-01-17
293
294  */
295
296 const char * mk_xpath_regexp (data1_handle dh, char *expr) 
297 {
298     char *p = expr;
299     char *pp;
300     char *s;
301     int abs = 1;
302     int i;
303     int j;
304     int e=0;
305     int is_predicate = 0;
306     
307     static char *stack[32];
308     static char res[1024];
309     char *r = "";
310     
311     if (*p != '/') { return (""); }
312     p++;
313     if (*p == '/') { abs=0; p++; }
314     
315     while (*p) {
316         i=0;
317         while (*p && !strchr("/",*p)) { 
318           i++; p++; 
319         }
320         stack[e] = (char *) nmem_malloc (data1_nmem_get (dh), i+1);
321         s = stack[e];
322         for (j=0; j< i; j++) {
323           pp = p-i+j;
324           if (*pp == '[') {
325             is_predicate=1;
326           }
327           else if (*pp == ']') {
328             is_predicate=0;
329           }
330           else {
331             if (!is_predicate) {
332               if (*pp == '*') 
333                  *s++ = '.';
334               *s++ = *pp;
335             }
336           }
337         }
338         *s = 0;
339         e++;
340         if (*p) {p++;}
341     }
342     e--;  p = &res[0]; i=0;
343     sprintf (p, "^"); p++;
344     while (e >= 0) {
345         /* !!! res size is not checked !!! */
346         sprintf (p, "%s/",stack[e]);
347         p += strlen(stack[e]) + 1;
348         e--;
349     }
350     if (!abs) { sprintf (p, ".*"); p+=2; }
351     sprintf (p, "$"); p++;
352     r = nmem_strdup (data1_nmem_get (dh), res);
353     yaz_log(LOG_DEBUG,"Got regexp: %s",r);
354     return (r);
355 }
356
357 /* *ostrich*
358
359    added arg xpelement... when called from xelm context, it's 1, saying
360    that ! means xpath, not element name as attribute name...
361
362    pop, 2002-12-13
363  */
364 static int parse_termlists (data1_handle dh, data1_termlist ***tpp,
365                             char *p, const char *file, int lineno,
366                             const char *element_name, data1_absyn *res,
367                             int xpelement)
368 {
369     data1_termlist **tp = *tpp;
370     do
371     {
372         char attname[512], structure[512];
373         char *source;
374         int r;
375         
376         if (!(r = sscanf(p, "%511[^:,]:%511[^,]", attname,
377                          structure)))
378         {
379             yaz_log(LOG_WARN,
380                     "%s:%d: Syntax error in termlistspec '%s'",
381                     file, lineno, p);
382             return -1;
383         }
384
385         *tp = (data1_termlist *)
386           nmem_malloc(data1_nmem_get(dh), sizeof(**tp));
387         (*tp)->next = 0;
388         
389         if (!xpelement) {
390             if (*attname == '!')
391                 strcpy(attname, element_name);
392         }
393         if (!((*tp)->att = data1_getattbyname(dh, res->attset,
394                                               attname))) {
395             if ((!xpelement) || (*attname != '!')) {
396                 yaz_log(LOG_WARN,
397                         "%s:%d: Couldn't find att '%s' in attset",
398                         file, lineno, attname);
399                 return -1;
400             } else {
401                 (*tp)->att = 0;
402             }
403         }
404         
405         if (r == 2 && (source = strchr(structure, ':')))
406             *source++ = '\0';   /* cut off structure .. */
407         else
408             source = "data";    /* ok: default is leaf data */
409         (*tp)->source = (char *)
410             nmem_strdup (data1_nmem_get (dh), source);
411         
412         if (r < 2) /* is the structure qualified? */
413             (*tp)->structure = "w";
414         else 
415             (*tp)->structure = (char *)
416                 nmem_strdup (data1_nmem_get (dh), structure);
417         tp = &(*tp)->next;
418     }
419     while ((p = strchr(p, ',')) && *(++p));
420     *tpp = tp;
421     return 0;
422 }
423
424 const char *data1_systag_lookup(data1_absyn *absyn, const char *tag,
425                                 const char *default_value)
426 {
427     struct data1_systag *p = absyn->systags;
428     for (; p; p = p->next)
429         if (!strcmp(p->name, tag))
430             return p->value;
431     return default_value;
432 }
433
434 #define l_isspace(c) ((c) == '\t' || (c) == ' ' || (c) == '\n' || (c) == '\r')
435
436 int read_absyn_line(FILE *f, int *lineno, char *line, int len,
437                     char *argv[], int num)
438 {
439     char *p;
440     int argc;
441     int quoted = 0;
442     
443     while ((p = fgets(line, len, f)))
444     {
445         (*lineno)++;
446         while (*p && l_isspace(*p))
447             p++;
448         if (*p && *p != '#')
449             break;
450     }
451     if (!p)
452         return 0;
453     
454     for (argc = 0; *p ; argc++)
455     {
456         if (*p == '#')  /* trailing comment */
457             break;
458         argv[argc] = p;
459         while (*p && !(l_isspace(*p) && !quoted)) {
460           if (*p =='"') quoted = 1 - quoted;
461           if (*p =='[') quoted = 1;
462           if (*p ==']') quoted = 0;
463           p++;
464         }
465         if (*p)
466         {
467             *(p++) = '\0';
468             while (*p && l_isspace(*p))
469                 p++;
470         }
471     }
472     return argc;
473 }
474
475
476 data1_absyn *data1_read_absyn (data1_handle dh, const char *file,
477                                int file_must_exist)
478 {
479     data1_sub_elements *cur_elements = NULL;
480     data1_xpelement *cur_xpelement = NULL;
481
482     data1_absyn *res = 0;
483     FILE *f;
484     data1_element **ppl[D1_MAX_NESTING];
485     data1_esetname **esetpp;
486     data1_maptab **maptabp;
487     data1_marctab **marcp;
488     data1_termlist *all = 0;
489     data1_attset_child **attset_childp;
490     data1_tagset **tagset_childp;
491     struct data1_systag **systagsp;
492     int level = 0;
493     int lineno = 0;
494     int argc;
495     char *argv[50], line[512];
496
497     if (!(f = data1_path_fopen(dh, file, "r")))
498     {
499         yaz_log(LOG_WARN|LOG_ERRNO, "Couldn't open %s", file);
500         if (file_must_exist)
501             return 0;
502     }
503     
504     res = (data1_absyn *) nmem_malloc(data1_nmem_get(dh), sizeof(*res));
505     res->name = 0;
506     res->reference = VAL_NONE;
507     res->tagset = 0;
508     res->encoding = 0;
509     res->enable_xpath_indexing = (f ? 0 : 1);
510     res->systags = 0;
511     systagsp = &res->systags;
512     tagset_childp = &res->tagset;
513
514     res->attset = data1_empty_attset (dh);
515     attset_childp =  &res->attset->children;
516
517     res->varset = 0;
518     res->esetnames = 0;
519     esetpp = &res->esetnames;
520     res->maptabs = 0;
521     maptabp = &res->maptabs;
522     res->marc = 0;
523     marcp = &res->marc;
524     res->sub_elements = NULL;
525     res->main_elements = NULL;
526     res->xp_elements = NULL;
527     
528     while (f && (argc = read_absyn_line(f, &lineno, line, 512, argv, 50)))
529     {
530         char *cmd = *argv;
531         if (!strcmp(cmd, "elm") || !strcmp(cmd, "element"))
532         {
533             data1_element *new_element;
534             int i;
535             char *p, *sub_p, *path, *name, *termlists;
536             int type, value;
537             data1_termlist **tp;
538
539             if (argc < 4)
540             {
541                 yaz_log(LOG_WARN, "%s:%d: Bad # of args to elm", file, lineno);
542                 continue;
543             }
544             path = argv[1];
545             name = argv[2];
546             termlists = argv[3];
547
548             if (!cur_elements)
549             {
550                 cur_elements = (data1_sub_elements *)
551                     nmem_malloc(data1_nmem_get(dh), sizeof(*cur_elements));
552                 cur_elements->next = res->sub_elements;
553                 cur_elements->elements = NULL;
554                 cur_elements->name = "main";
555                 res->sub_elements = cur_elements;
556                 
557                 level = 0;
558                 ppl[level] = &cur_elements->elements;
559             }
560             p = path;
561             for (i = 1;; i++)
562             {
563                 char *e;
564
565                 if ((e = strchr(p, '/')))
566                     p = e+1;
567                 else
568                     break;
569             }
570             if (i > level+1)
571             {
572                 yaz_log(LOG_WARN, "%s:%d: Bad level increase", file, lineno);
573                 fclose(f);
574                 return 0;
575             }
576             level = i;
577             new_element = *ppl[level-1] = (data1_element *)
578                 nmem_malloc(data1_nmem_get(dh), sizeof(*new_element));
579             new_element->next = new_element->children = 0;
580             new_element->tag = 0;
581             new_element->termlists = 0;
582             new_element->sub_name = 0;
583             
584             tp = &new_element->termlists;
585             ppl[level-1] = &new_element->next;
586             ppl[level] = &new_element->children;
587             
588             /* consider subtree (if any) ... */
589             if ((sub_p = strchr (p, ':')) && sub_p[1])
590             {
591                 *sub_p++ = '\0';
592                 new_element->sub_name =
593                     nmem_strdup (data1_nmem_get(dh), sub_p);            
594             }
595             /* well-defined tag */
596             if (sscanf(p, "(%d,%d)", &type, &value) == 2)
597             {
598                 if (!res->tagset)
599                 {
600                     yaz_log(LOG_WARN, "%s:%d: No tagset loaded", file, lineno);
601                     fclose(f);
602                     return 0;
603                 }
604                 if (!(new_element->tag = data1_gettagbynum (dh, res->tagset,
605                                                             type, value)))
606                 {
607                     yaz_log(LOG_WARN, "%s:%d: Couldn't find tag %s in tagset",
608                          file, lineno, p);
609                     fclose(f);
610                     return 0;
611                 }
612             }
613             /* private tag */
614             else if (*p)
615             {
616                 data1_tag *nt =
617                     new_element->tag = (data1_tag *)
618                     nmem_malloc(data1_nmem_get (dh),
619                                 sizeof(*new_element->tag));
620                 nt->which = DATA1T_string;
621                 nt->value.string = nmem_strdup(data1_nmem_get (dh), p);
622                 nt->names = (data1_name *)
623                     nmem_malloc(data1_nmem_get(dh), 
624                                 sizeof(*new_element->tag->names));
625                 nt->names->name = nt->value.string;
626                 nt->names->next = 0;
627                 nt->kind = DATA1K_string;
628                 nt->next = 0;
629                 nt->tagset = 0;
630             }
631             else
632             {
633                 yaz_log(LOG_WARN, "%s:%d: Bad element", file, lineno);
634                 fclose(f);
635                 return 0;
636             }
637             /* parse termList definitions */
638             p = termlists;
639             if (*p != '-')
640             {
641                 assert (res->attset);
642                 
643                 if (parse_termlists (dh, &tp, p, file, lineno, name, res, 0))
644                 {
645                     fclose (f);
646                     return 0;
647                 }
648                 *tp = all; /* append any ALL entries to the list */
649             }
650             new_element->name = nmem_strdup(data1_nmem_get (dh), name);
651         }
652         /* *ostrich*
653            New code to support xelm directive
654            for each xelm a dfa is built. xelms are stored in res->xp_elements
655            
656            maybe we should use a simple sscanf instead of dfa?
657            
658            pop, 2002-12-13
659
660            Now [] predicates are supported. regexps and xpath structure is
661            a bit redundant, however it's comfortable later...
662
663            pop, 2003-01-17
664         */
665
666         else if (!strcmp(cmd, "xelm")) {
667
668             int i;
669             char *p, *xpath_expr, *termlists;
670             const char *regexp;
671             struct DFA *dfa = dfa = dfa_init();
672             data1_termlist **tp;
673             
674             if (argc < 3)
675             {
676                 yaz_log(LOG_WARN, "%s:%d: Bad # of args to xelm", file, lineno);
677                 continue;
678             }
679             xpath_expr = argv[1];
680             termlists = argv[2];
681             regexp = mk_xpath_regexp(dh, xpath_expr);
682             i = dfa_parse (dfa, &regexp);
683             if (i || *regexp) {
684                 yaz_log(LOG_WARN, "%s:%d: Bad xpath to xelm", file, lineno);
685                 dfa_delete (&dfa);
686                 continue;
687             }
688             
689             if (!cur_xpelement)
690             {
691                 cur_xpelement = (data1_xpelement *)
692                     nmem_malloc(data1_nmem_get(dh), sizeof(*cur_xpelement));
693                 res->xp_elements = cur_xpelement;
694             } else {
695                 cur_xpelement->next = (data1_xpelement *)
696                     nmem_malloc(data1_nmem_get(dh), sizeof(*cur_xpelement));
697                 cur_xpelement = cur_xpelement->next;
698             }
699             cur_xpelement->next = NULL;
700             cur_xpelement->xpath_expr = nmem_strdup(data1_nmem_get (dh), 
701                                                     xpath_expr); 
702             
703             dfa_mkstate (dfa);
704             cur_xpelement->dfa = dfa;
705
706 #ifdef ENHANCED_XELM 
707             cur_xpelement->xpath_len =
708                 zebra_parse_xpath_str(xpath_expr, 
709                                       cur_xpelement->xpath, XPATH_STEP_COUNT,
710                                       data1_nmem_get(dh));
711             
712             /*
713             dump_xp_steps(cur_xpelement->xpath,cur_xpelement->xpath_len);
714             */
715 #endif
716             cur_xpelement->termlists = 0;
717             tp = &cur_xpelement->termlists;
718             
719             /* parse termList definitions */
720             p = termlists;
721             if (*p != '-')
722             {
723                 assert (res->attset);
724                 
725                 if (parse_termlists (dh, &tp, p, file, lineno,
726                                      xpath_expr, res, 1))
727                 {
728                     fclose (f);
729                     return 0;
730                 }
731                 *tp = all; /* append any ALL entries to the list */
732             }
733         }
734         else if (!strcmp(cmd, "section"))
735         {
736             char *name;
737             
738             if (argc < 2)
739             {
740                 yaz_log(LOG_WARN, "%s:%d: Bad # of args to section",
741                         file, lineno);
742                 continue;
743             }
744             name = argv[1];
745             
746             cur_elements = (data1_sub_elements *)
747                 nmem_malloc(data1_nmem_get(dh), sizeof(*cur_elements));
748             cur_elements->next = res->sub_elements;
749             cur_elements->elements = NULL;
750             cur_elements->name = nmem_strdup (data1_nmem_get(dh), name);
751             res->sub_elements = cur_elements;
752             
753             level = 0;
754             ppl[level] = &cur_elements->elements;
755         }
756         else if (!strcmp(cmd, "xpath"))
757         {
758             if (argc != 2)
759             {
760                 yaz_log(LOG_WARN, "%s:%d: Bad # of args to 'xpath' directive",
761                      file, lineno);
762                 continue;
763             }
764             if (!strcmp(argv[1], "enable"))
765                 res->enable_xpath_indexing = 1;
766             else if (!strcmp (argv[1], "disable"))
767                 res->enable_xpath_indexing = 0;
768             else
769             {
770                 yaz_log(LOG_WARN, "%s:%d: Expecting disable/enable "
771                         "after 'xpath' directive", file, lineno);
772             }
773         }
774         else if (!strcmp(cmd, "all"))
775         {
776             data1_termlist **tp = &all;
777             if (all)
778             {
779                 yaz_log(LOG_WARN, "%s:%d: Too many 'all' directives - ignored",
780                      file, lineno);
781                 continue;
782             }
783             if (argc != 2)
784             {
785                 yaz_log(LOG_WARN, "%s:%d: Bad # of args to 'all' directive",
786                      file, lineno);
787                 continue;
788             }
789             if (parse_termlists (dh, &tp, argv[1], file, lineno, 0, res, 0))
790             {
791                 fclose (f);
792                 return 0;
793             }
794         }
795         else if (!strcmp(cmd, "name"))
796         {
797             if (argc != 2)
798             {
799                 yaz_log(LOG_WARN, "%s:%d: Bad # of args to name directive",
800                      file, lineno);
801                 continue;
802             }
803             res->name = nmem_strdup(data1_nmem_get(dh), argv[1]);
804         }
805         else if (!strcmp(cmd, "reference"))
806         {
807             char *name;
808             
809             if (argc != 2)
810             {
811                 yaz_log(LOG_WARN, "%s:%d: Bad # of args to reference",
812                      file, lineno);
813                 continue;
814             }
815             name = argv[1];
816             if ((res->reference = oid_getvalbyname(name)) == VAL_NONE)
817             {
818                 yaz_log(LOG_WARN, "%s:%d: Unknown tagset ref '%s'", 
819                      file, lineno, name);
820                 continue;
821             }
822         }
823         else if (!strcmp(cmd, "attset"))
824         {
825             char *name;
826             data1_attset *attset;
827             
828             if (argc != 2)
829             {
830                 yaz_log(LOG_WARN, "%s:%d: Bad # of args to attset",
831                      file, lineno);
832                 continue;
833             }
834             name = argv[1];
835             if (!(attset = data1_get_attset (dh, name)))
836             {
837                 yaz_log(LOG_WARN, "%s:%d: Couldn't find attset  %s",
838                      file, lineno, name);
839                 continue;
840             }
841             *attset_childp = (data1_attset_child *)
842                 nmem_malloc (data1_nmem_get(dh), sizeof(**attset_childp));
843             (*attset_childp)->child = attset;
844             (*attset_childp)->next = 0;
845             attset_childp = &(*attset_childp)->next;
846         }
847         else if (!strcmp(cmd, "tagset"))
848         {
849             char *name;
850             int type = 0;
851             if (argc < 2)
852             {
853                 yaz_log(LOG_WARN, "%s:%d: Bad # of args to tagset",
854                      file, lineno);
855                 continue;
856             }
857             name = argv[1];
858             if (argc == 3)
859                 type = atoi(argv[2]);
860             *tagset_childp = data1_read_tagset (dh, name, type);
861             if (!(*tagset_childp))
862             {
863                 yaz_log(LOG_WARN, "%s:%d: Couldn't load tagset %s",
864                      file, lineno, name);
865                 continue;
866             }
867             tagset_childp = &(*tagset_childp)->next;
868         }
869         else if (!strcmp(cmd, "varset"))
870         {
871             char *name;
872
873             if (argc != 2)
874             {
875                 yaz_log(LOG_WARN, "%s:%d: Bad # of args in varset",
876                      file, lineno);
877                 continue;
878             }
879             name = argv[1];
880             if (!(res->varset = data1_read_varset (dh, name)))
881             {
882                 yaz_log(LOG_WARN, "%s:%d: Couldn't load Varset %s",
883                      file, lineno, name);
884                 continue;
885             }
886         }
887         else if (!strcmp(cmd, "esetname"))
888         {
889             char *name, *fname;
890
891             if (argc != 3)
892             {
893                 yaz_log(LOG_WARN, "%s:%d: Bad # of args in esetname",
894                      file, lineno);
895                 continue;
896             }
897             name = argv[1];
898             fname = argv[2];
899             
900             *esetpp = (data1_esetname *)
901                 nmem_malloc(data1_nmem_get(dh), sizeof(**esetpp));
902             (*esetpp)->name = nmem_strdup(data1_nmem_get(dh), name);
903             (*esetpp)->next = 0;
904             if (*fname == '@')
905                 (*esetpp)->spec = 0;
906             else if (!((*esetpp)->spec = data1_read_espec1 (dh, fname)))
907             {
908                 yaz_log(LOG_WARN, "%s:%d: Espec-1 read failed for %s",
909                      file, lineno, fname);
910                 continue;
911             }
912             esetpp = &(*esetpp)->next;
913         }
914         else if (!strcmp(cmd, "maptab"))
915         {
916             char *name;
917             
918             if (argc != 2)
919             {
920                 yaz_log(LOG_WARN, "%s:%d: Bad # of args for maptab",
921                      file, lineno);
922                 continue;
923             }
924             name = argv[1];
925             if (!(*maptabp = data1_read_maptab (dh, name)))
926             {
927                 yaz_log(LOG_WARN, "%s:%d: Couldn't load maptab %s",
928                      file, lineno, name);
929                 continue;
930             }
931             maptabp = &(*maptabp)->next;
932         }
933         else if (!strcmp(cmd, "marc"))
934         {
935             char *name;
936             
937             if (argc != 2)
938             {
939                 yaz_log(LOG_WARN, "%s:%d: Bad # or args for marc",
940                      file, lineno);
941                 continue;
942             }
943             name = argv[1];
944             if (!(*marcp = data1_read_marctab (dh, name)))
945             {
946                 yaz_log(LOG_WARN, "%s:%d: Couldn't read marctab %s",
947                      file, lineno, name);
948                 continue;
949             }
950             marcp = &(*marcp)->next;
951         }
952         else if (!strcmp(cmd, "encoding"))
953         {
954             if (argc != 2)
955             {
956                 yaz_log(LOG_WARN, "%s:%d: Bad # or args for encoding",
957                      file, lineno);
958                 continue;
959             }
960             res->encoding = nmem_strdup (data1_nmem_get(dh), argv[1]);
961         }
962         else if (!strcmp(cmd, "systag"))
963         {
964             if (argc != 3)
965             {
966                 yaz_log(LOG_WARN, "%s:%d: Bad # or args for systag",
967                      file, lineno);
968                 continue;
969             }
970             *systagsp = nmem_malloc (data1_nmem_get(dh), sizeof(**systagsp));
971
972             (*systagsp)->name = nmem_strdup(data1_nmem_get(dh), argv[1]);
973             (*systagsp)->value = nmem_strdup(data1_nmem_get(dh), argv[2]);
974             systagsp = &(*systagsp)->next;
975         }
976         else
977         {
978             yaz_log(LOG_WARN, "%s:%d: Unknown directive '%s'", file, 
979                     lineno, cmd);
980             continue;
981         }
982     }
983     if (f)
984         fclose(f);
985     
986     for (cur_elements = res->sub_elements; cur_elements;
987          cur_elements = cur_elements->next)
988     {
989         if (!strcmp (cur_elements->name, "main"))
990             res->main_elements = cur_elements->elements;
991         fix_element_ref (dh, res, cur_elements->elements);
992     }
993     *systagsp = 0;
994     yaz_log (LOG_DEBUG, "%s: data1_read_absyn end", file);
995     return res;
996 }