Readers skips <! ...> sections.
[yaz-moved-to-github.git] / retrieval / d1_read.c
1 /*
2  * Copyright (c) 1995-2000, Index Data.
3  * See the file LICENSE for details.
4  * Sebastian Hammer, Adam Dickmeiss
5  *
6  * $Log: d1_read.c,v $
7  * Revision 1.35  2000-12-05 14:44:25  adam
8  * Readers skips <! ...> sections.
9  *
10  * Revision 1.34  2000/12/05 10:06:23  adam
11  * Added support for null-data rules like <tag/>.
12  *
13  * Revision 1.33  2000/11/29 14:22:47  adam
14  * Implemented XML/SGML attributes for data1 so that d1_read reads them
15  * and d1_write generates proper attributes for XML/SGML records. Added
16  * register locking for threaded version.
17  *
18  * Revision 1.32  2000/01/06 11:25:59  adam
19  * Added case to prevent warning.
20  *
21  * Revision 1.31  1999/12/21 14:16:20  ian
22  * Changed retrieval module to allow data1 trees with no associated absyn.
23  * Also added a simple interface for extracting values from data1 trees using
24  * a string based tagpath.
25  *
26  * Revision 1.30  1999/11/30 13:47:12  adam
27  * Improved installation. Moved header files to include/yaz.
28  *
29  * Revision 1.29  1999/10/21 12:06:29  adam
30  * Retrieval module no longer uses ctype.h - functions.
31  *
32  * Revision 1.28  1999/10/21 09:50:33  adam
33  * SGML reader uses own isspace - it doesn't do 8-bit on WIN32!
34  *
35  * Revision 1.27  1999/08/27 09:40:32  adam
36  * Renamed logf function to yaz_log. Removed VC++ project files.
37  *
38  * Revision 1.26  1999/07/13 13:23:48  adam
39  * Non-recursive version of data1_read_node. data1_read_nodex reads
40  * stream of bytes (instead of buffer in memory).
41  *
42  * Revision 1.25  1999/04/20 09:56:48  adam
43  * Added 'name' paramter to encoder/decoder routines (typedef Odr_fun).
44  * Modified all encoders/decoders to reflect this change.
45  *
46  * Revision 1.24  1998/10/28 15:10:09  adam
47  * Added --with-yc option to configure. For the data1_node in data1.h:
48  * decreased size of localdata and removed member "line" which wasn't useful.
49  *
50  * Revision 1.23  1998/03/12 11:28:45  adam
51  * Fix: didn't set root member of tagged node in function.
52  * data1_add_insert_taggeddata.
53  *
54  * Revision 1.22  1998/03/05 08:15:32  adam
55  * Implemented data1_add_insert_taggeddata utility which is more flexible
56  * than data1_insert_taggeddata.
57  *
58  * Revision 1.21  1998/02/27 14:08:05  adam
59  * Added const to some char pointer arguments.
60  * Reworked data1_read_node so that it doesn't create a tree with
61  * pointers to original "SGML"-buffer.
62  *
63  * Revision 1.20  1998/02/11 11:53:35  adam
64  * Changed code so that it compiles as C++.
65  *
66  * Revision 1.19  1997/12/09 16:17:09  adam
67  * Fix bug regarding variants. Tags with prefix "var" was incorrectly
68  * interpreted as "start of variants". Now, only "var" indicates such
69  * start.
70  * Cleaned up data1_read_node so tag names and variant names are
71  * copied and not pointed to by the generated data1 tree. Data nodes
72  * still point to old buffer.
73  *
74  * Revision 1.18  1997/11/18 09:51:09  adam
75  * Removed element num_children from data1_node. Minor changes in
76  * data1 to Explain.
77  *
78  * Revision 1.17  1997/11/05 09:20:51  adam
79  * Minor change.
80  *
81  * Revision 1.16  1997/09/17 12:10:37  adam
82  * YAZ version 1.4.
83  *
84  * Revision 1.15  1997/09/05 09:50:57  adam
85  * Removed global data1_tabpath - uses data1_get_tabpath() instead.
86  *
87  * Revision 1.14  1997/05/14 06:54:04  adam
88  * C++ support.
89  *
90  * Revision 1.13  1996/10/29 13:35:38  adam
91  * Implemented data1_set_tabpath and data1_get_tabpath.
92  *
93  * Revision 1.12  1996/10/11 10:35:38  adam
94  * Fixed a bug that caused data1_read_node to core dump when no abstract
95  * syntax was defined in a "sgml"-record.
96  *
97  * Revision 1.11  1996/07/06 19:58:35  quinn
98  * System headerfiles gathered in yconfig
99  *
100  * Revision 1.10  1996/01/19  15:41:47  quinn
101  * Fixed uninitialized boolean.
102  *
103  * Revision 1.9  1996/01/17  14:52:47  adam
104  * Changed prototype for reader function parsed to data1_read_record.
105  *
106  * Revision 1.8  1995/12/15  16:20:41  quinn
107  * Added formatted text.
108  *
109  * Revision 1.7  1995/12/13  13:44:32  quinn
110  * Modified Data1-system to use nmem
111  *
112  * Revision 1.6  1995/12/12  16:37:08  quinn
113  * Added destroy element to data1_node.
114  *
115  * Revision 1.5  1995/12/11  15:22:37  quinn
116  * Added last_child field to the node.
117  * Rewrote schema-mapping.
118  *
119  * Revision 1.4  1995/11/13  09:27:36  quinn
120  * Fiddling with the variant stuff.
121  *
122  * Revision 1.3  1995/11/01  16:34:57  quinn
123  * Making data1 look for tables in data1_tabpath
124  *
125  * Revision 1.2  1995/11/01  13:54:48  quinn
126  * Minor adjustments
127  *
128  * Revision 1.1  1995/11/01  11:56:09  quinn
129  * Added Retrieval (data management) functions en masse.
130  *
131  * Revision 1.14  1995/10/30  12:40:55  quinn
132  * Fixed a couple of bugs.
133  *
134  * Revision 1.13  1995/10/25  16:00:47  quinn
135  * USMARC support is now almost operational
136  *
137  * Revision 1.12  1995/10/16  14:02:55  quinn
138  * Changes to support element set names and espec1
139  *
140  * Revision 1.11  1995/10/13  16:05:08  quinn
141  * Adding Espec1-processing
142  *
143  * Revision 1.10  1995/10/11  14:53:44  quinn
144  * Work on variants.
145  *
146  * Revision 1.9  1995/10/06  16:56:50  quinn
147  * Fixed ranked result.
148  *
149  * Revision 1.8  1995/10/06  16:44:13  quinn
150  * Work on attribute set mapping, etc.
151  *
152  * Revision 1.7  1995/10/06  12:58:35  quinn
153  * SUTRS support
154  *
155  * Revision 1.6  1995/10/04  09:29:49  quinn
156  * Adjustments to support USGS test data
157  *
158  * Revision 1.5  1995/10/03  17:56:43  quinn
159  * Fixing GRS code.
160  *
161  * Revision 1.4  1995/10/02  15:53:19  quinn
162  * Work
163  *
164  * Revision 1.3  1995/10/02  14:55:21  quinn
165  * *** empty log message ***
166  *
167  * Revision 1.2  1995/09/14  15:18:13  quinn
168  * Work
169  *
170  * Revision 1.1  1995/09/12  11:24:30  quinn
171  * Beginning to add code for structured records.
172  *
173  *
174  */
175
176 #include <assert.h>
177 #include <stdio.h>
178 #include <stdlib.h>
179
180 #include <yaz/xmalloc.h>
181 #include <yaz/log.h>
182 #include <yaz/data1.h>
183
184 /*
185  * get the tag which is the immediate parent of this node (this may mean
186  * traversing intermediate things like variants and stuff.
187  */
188 data1_node *get_parent_tag (data1_handle dh, data1_node *n)
189 {
190     for (; n && n->which != DATA1N_root; n = n->parent)
191         if (n->which == DATA1N_tag)
192             return n;
193     return 0;
194 }
195
196 data1_node *data1_mk_node (data1_handle dh, NMEM m)
197 {
198     data1_node *r;
199
200     r = (data1_node *)nmem_malloc(m, sizeof(*r));
201     r->next = r->child = r->last_child = r->parent = 0;
202     r->destroy = 0;
203     return r;
204 }
205
206 data1_node *data1_mk_node_type (data1_handle dh, NMEM m, int type)
207 {
208     data1_node *r;
209
210     r = data1_mk_node(dh, m);
211     r->which = type;
212     switch(type)
213     {
214     case DATA1N_tag:
215         r->u.tag.tag = 0;
216         r->u.tag.element = 0;
217         r->u.tag.no_data_requested = 0;
218         r->u.tag.node_selected = 0;
219         r->u.tag.make_variantlist = 0;
220         r->u.tag.get_bytes = -1;
221 #if DATA1_USING_XATTR
222         r->u.tag.attributes = 0;
223 #endif
224         break;
225     case DATA1N_root:
226         r->u.root.type = 0;
227         r->u.root.absyn = 0;
228         break;
229     case DATA1N_data:
230         r->u.data.data = 0;
231         r->u.data.len = 0;
232         r->u.data.what = 0;
233         r->u.data.formatted_text = 0;
234         break;
235     default:
236         logf (LOG_WARN, "data_mk_node_type. bad type = %d\n", type);
237     }
238     return r;
239 }
240
241 void data1_free_tree (data1_handle dh, data1_node *t)
242 {
243     data1_node *p = t->child, *pn;
244
245     while (p)
246     {
247         pn = p->next;
248         data1_free_tree (dh, p);
249         p = pn;
250     }
251     if (t->destroy)
252         (*t->destroy)(t);
253 }
254
255 char *data1_insert_string (data1_handle dh, data1_node *res,
256                            NMEM m, const char *str)
257 {
258     int len = strlen(str);
259
260     if (len >= DATA1_LOCALDATA)
261         return nmem_strdup (m, str);
262     else
263     {
264         strcpy (res->lbuf, str);
265         return res->lbuf;
266     }
267 }
268
269 data1_node *data1_add_insert_taggeddata(data1_handle dh, data1_node *root,
270                                         data1_node *at,
271                                         const char *tagname, NMEM m,
272                                         int first_flag, int local_allowed)
273 {
274     data1_node *partag = get_parent_tag (dh, at);
275     data1_node *tagn = data1_mk_node_type (dh, m, DATA1N_tag);
276     data1_element *e = NULL;
277     data1_node *datn;
278
279     tagn->u.tag.tag = data1_insert_string (dh, tagn, m, tagname);
280
281     if (partag)
282         e = partag->u.tag.element;
283     tagn->u.tag.element =
284         data1_getelementbytagname (dh, root->u.root.absyn, e, tagname);
285     if (!local_allowed && !tagn->u.tag.element)
286         return NULL;
287     tagn->last_child = tagn->child = datn = data1_mk_node_type (dh, m, DATA1N_data);
288     tagn->root = root;
289     datn->parent = tagn;
290     datn->root = root;
291     datn->u.data.formatted_text = 0;
292     tagn->parent = at;
293
294     if (first_flag)
295     {
296         tagn->next = at->child;
297         if (!tagn->next)
298             at->last_child = tagn;
299         at->child = tagn;
300     }
301     else
302     {
303         if (!at->child)
304             at->child = tagn;
305         else
306         {
307             assert (at->last_child);
308             at->last_child->next = tagn;
309         }
310         at->last_child = tagn;
311     }
312     return datn;
313 }
314
315 data1_node *data1_add_taggeddata(data1_handle dh, data1_node *root,
316                                  data1_node *at,
317                                  const char *tagname, NMEM m)
318 {
319     return data1_add_insert_taggeddata (dh, root, at, tagname, m, 0, 1);
320 }
321
322
323 /*
324  * Insert a tagged node into the record root as first child of the node at
325  * which should be root or tag itself). Returns pointer to the data node,
326  * which can then be modified.
327  */
328 data1_node *data1_insert_taggeddata(data1_handle dh, data1_node *root,
329                                     data1_node *at,
330                                     const char *tagname, NMEM m)
331 {
332     return data1_add_insert_taggeddata (dh, root, at, tagname, m, 1, 0);
333 }
334
335 #if DATA1_USING_XATTR
336 data1_xattr *data1_read_xattr (data1_handle dh, NMEM m,
337                                int (*get_byte)(void *fh), void *fh,
338                                WRBUF wrbuf, int *ch)
339 {
340     data1_xattr *p_first = 0;
341     data1_xattr **pp = &p_first;
342     int c = *ch;
343     for (;;)
344     {
345         data1_xattr *p;
346         int len;
347         while (c && d1_isspace(c))
348             c = (*get_byte)(fh);
349         if (!c  || c == '>' || c == '/')
350             break;
351         *pp = p = nmem_malloc (m, sizeof(*p));
352         p->next = 0;
353         pp = &p->next;
354         p->value = 0;
355         
356         wrbuf_rewind(wrbuf);
357         while (c && c != '=' && c != '>' && c != '/' && !d1_isspace(c))
358         {
359             wrbuf_putc (wrbuf, c);
360             c = (*get_byte)(fh);
361         }
362         wrbuf_putc (wrbuf, '\0');
363         len = wrbuf_len(wrbuf);
364         p->name = nmem_malloc (m, len);
365         strcpy (p->name, wrbuf_buf(wrbuf));
366         if (c == '=')
367         {
368             c = (*get_byte)(fh);
369             if (c == '"')
370                 c = (*get_byte)(fh);    
371             wrbuf_rewind(wrbuf);
372             while (c && c != '"' && c != '>' && c != '/')
373             {
374                 wrbuf_putc (wrbuf, c);
375                 c = (*get_byte)(fh);
376             }
377             wrbuf_putc (wrbuf, '\0');
378             len = wrbuf_len(wrbuf);
379             p->value = nmem_malloc (m, len);
380             strcpy (p->value, wrbuf_buf(wrbuf));
381             if (c == '"')
382                 c = (*get_byte)(fh);    
383         }
384     }
385     *ch = c;
386     return p_first;
387 }
388 #endif
389
390 /*
391  * Ugh. Sometimes functions just grow and grow on you. This one reads a
392  * 'node' and its children.
393  */
394 data1_node *data1_read_nodex (data1_handle dh, NMEM m,
395                               int (*get_byte)(void *fh), void *fh, WRBUF wrbuf)
396 {
397     data1_absyn *absyn = 0;
398     data1_node *d1_stack[256];
399     data1_node *res;
400     int c;
401     int level = 0;
402     int line = 1;
403
404     d1_stack[level] = 0;
405     c = (*get_byte)(fh);
406     while (1)
407     {
408         data1_node *parent = level ? d1_stack[level-1] : 0;
409         while (c != '\0' && d1_isspace(c))
410         {
411             if (c == '\n')
412                 line++;
413             c = (*get_byte)(fh);
414         }
415         if (c == '\0')
416             break;
417         
418         if (c == '<') /* beginning of tag */
419         {
420 #if DATA1_USING_XATTR
421             data1_xattr *xattr;
422 #endif
423             char tag[64];
424             char args[256];
425             int null_tag = 0;
426             int end_tag = 0;
427             size_t i = 0;
428
429             c = (*get_byte)(fh);
430             if (c == '/')
431             {
432                 end_tag = 1;
433                 c = (*get_byte)(fh);
434             }
435             else if (c == '!')  /* tags/comments that we don't deal with yet */
436             {
437                 while (c && c != '>')
438                     c = (*get_byte)(fh);
439                 if (c)
440                     c = (*get_byte)(fh);
441                 continue;
442             }
443             while (c && c != '>' && c != '/' && !d1_isspace(c))
444             {
445                 if (i < (sizeof(tag)-1))
446                     tag[i++] = c;
447                 c = (*get_byte)(fh);
448             }
449             tag[i] = '\0';
450 #if DATA1_USING_XATTR
451             xattr = data1_read_xattr (dh, m, get_byte, fh, wrbuf, &c);
452             args[0] = '\0';
453 #else
454             while (d1_isspace(c))
455                 c = (*get_byte)(fh);
456             for (i = 0; c && c != '>' && c != '/'; c = (*get_byte)(fh))
457                 if (i < (sizeof(args)-1))
458                     args[i++] = c;
459             args[i] = '\0';
460 #endif
461             if (c == '/')
462             {    /* <tag attrs/> or <tag/> */
463                 null_tag = 1;
464                 c = (*get_byte)(fh);
465             }
466             if (c != '>')
467             {
468                 yaz_log(LOG_WARN, "d1: %d: Malformed tag", line);
469                 return 0;
470             }
471             else
472                 c = (*get_byte)(fh);
473
474             /* End tag? */
475             if (end_tag)       
476             {
477                 if (*tag == '\0')
478                     --level;        /* </> */
479                 else
480                 {                   /* </tag> */
481                     int i = level;
482                     while (i > 0)
483                     {
484                         parent = d1_stack[--i];
485                         if ((parent->which == DATA1N_root &&
486                              !strcmp(tag, parent->u.root.type)) ||
487                             (parent->which == DATA1N_tag &&
488                              !strcmp(tag, parent->u.tag.tag)))
489                         {
490                             level = i;
491                             break;
492                         }
493                     }
494                     if (i != level)
495                     {
496                         yaz_log (LOG_WARN, "%d: no begin tag for %s",
497                                  line, tag);
498                         break;
499                     }
500                 }
501                 if (level == 0)
502                     return d1_stack[0];
503                 continue;
504             }   
505             if (level == 0) /* root ? */
506             {
507                 if (!(absyn = data1_get_absyn (dh, tag)))
508                 {
509                     yaz_log(LOG_WARN, "Unable to acquire abstract syntax " "for '%s'", tag); 
510                     /* It's now OK for a record not to have an absyn */
511                 }
512                 res = data1_mk_node_type (dh, m, DATA1N_root);
513                 res->u.root.type = data1_insert_string (dh, res, m, tag);
514                 res->u.root.absyn = absyn;
515                 res->root = res;
516             }
517             else if (!strcmp(tag, "var"))
518             {
519                 char tclass[DATA1_MAX_SYMBOL], type[DATA1_MAX_SYMBOL];
520                 data1_vartype *tp;
521                 int val_offset;
522                 
523                 if (sscanf(args, "%s %s %n", tclass, type, &val_offset) != 2)
524                 {
525                     yaz_log(LOG_WARN, "Malformed variant triple at '%s'", tag);
526                     continue;
527                 }
528                 if (!(tp =
529                       data1_getvartypebyct(dh,
530                                            parent->root->u.root.absyn->varset,
531                                            tclass, type)))
532                     continue;
533                 /*
534                  * If we're the first variant in this group, create a parent 
535                  * variant, and insert it before the current variant.
536                  */
537                 if (parent->which != DATA1N_variant)
538                 {
539                     res = data1_mk_node (dh, m);
540                     res->which = DATA1N_variant;
541                     res->u.variant.type = 0;
542                     res->u.variant.value = 0;
543                 }
544                 else
545                 {
546                     /*
547                      * now determine if one of our ancestor triples is of
548                      * same type. If so, we break here.
549                      */
550                     int i;
551                     for (i = level-1; d1_stack[i]->which==DATA1N_variant; --i)
552                         if (d1_stack[i]->u.variant.type == tp)
553                         {
554                             level = i;
555                             break;
556                         }
557                     res = data1_mk_node (dh, m);
558                     res->which = DATA1N_variant;
559                     res->u.variant.type = tp;
560                     res->u.variant.value =
561                         data1_insert_string (dh, res, m, args + val_offset);
562                 }
563             }
564             else /* tag.. acquire our element in the abstract syntax */
565             {
566                 data1_node *partag = get_parent_tag (dh, parent);
567                 data1_element *elem, *e = 0;
568                 int localtag = 0;
569                 
570                 if (parent->which == DATA1N_variant)
571                     return 0;
572                 if (partag)
573                     if (!(e = partag->u.tag.element))
574                         localtag = 1; /* our parent is a local tag */
575                 
576                 elem = data1_getelementbytagname(dh, absyn, e, tag);
577                 res = data1_mk_node_type (dh, m, DATA1N_tag);
578                 res->u.tag.tag = data1_insert_string (dh, res, m, tag);
579                 res->u.tag.element = elem;
580 #if DATA1_USING_XATTR
581                 res->u.tag.attributes = xattr;
582 #endif
583             }
584             if (parent)
585             {
586                 parent->last_child = res;
587                 res->root = parent->root;
588             }
589             res->parent = parent;
590             if (d1_stack[level])
591                 d1_stack[level]->next = res;
592             else if (parent)
593                 parent->child = res;
594             d1_stack[level] = res;
595             d1_stack[level+1] = 0;
596             if (!null_tag)
597                 ++level;
598         }
599         else /* != '<'... this is a body of text */
600         {
601             const char *src;
602             char *dst;
603             int len, prev_char = 0;
604             
605             if (level == 0)
606             {
607                 c = (*get_byte)(fh);
608                 continue;
609             }
610             res = data1_mk_node_type (dh, m, DATA1N_data);
611             res->parent = parent;
612             res->u.data.what = DATA1I_text;
613             res->u.data.formatted_text = 0;
614             res->root = parent->root;
615             parent->last_child = res;
616             if (d1_stack[level])
617                 d1_stack[level]->next = res;
618             else
619                 parent->child = res;
620             d1_stack[level] = res;
621             
622             wrbuf_rewind(wrbuf);
623
624             while (c && c != '<')
625             {
626                 wrbuf_putc (wrbuf, c);
627                 c = (*get_byte)(fh);
628             }
629             len = wrbuf_len(wrbuf);
630
631             /* use local buffer of nmem if too large */
632             if (len >= DATA1_LOCALDATA)
633                 res->u.data.data = (char*) nmem_malloc (m, len);
634             else
635                 res->u.data.data = res->lbuf;
636             
637             /* read "data" and transfer while removing white space */
638             dst = res->u.data.data;
639             for (src = wrbuf_buf(wrbuf); --len >= 0; src++)
640             {
641                 if (*src == '\n')
642                     line++;
643                 if (d1_isspace (*src))
644                     prev_char = ' ';
645                 else
646                 {
647                     if (prev_char)
648                     {
649                         *dst++ = prev_char;
650                         prev_char = 0;
651                     }
652                     *dst++ = *src;
653                 }
654             }
655             res->u.data.len = dst - res->u.data.data;
656         }
657     }
658     return 0;
659 }
660
661 int getc_mem (void *fh)
662 {
663     const char **p = (const char **) fh;
664     if (**p)
665         return *(*p)++;
666     return 0;
667 }
668
669 data1_node *data1_read_node (data1_handle dh, const char **buf, NMEM m)
670 {
671     WRBUF wrbuf = wrbuf_alloc();
672     data1_node *node;
673
674     node = data1_read_nodex(dh, m, getc_mem, (void *) (buf), wrbuf);
675     wrbuf_free (wrbuf, 1);
676     return node;
677 }
678
679 /*
680  * Read a record in the native syntax.
681  */
682 data1_node *data1_read_record(data1_handle dh,
683                               int (*rf)(void *, char *, size_t), void *fh,
684                               NMEM m)
685 {
686     int *size;
687     char **buf = data1_get_read_buf (dh, &size);
688     const char *bp;
689     int rd = 0, res;
690     
691     if (!*buf)
692         *buf = (char *)xmalloc(*size = 4096);
693     
694     for (;;)
695     {
696         if (rd + 2048 >= *size && !(*buf =(char *)xrealloc(*buf, *size *= 2)))
697             abort();
698         if ((res = (*rf)(fh, *buf + rd, 2048)) <= 0)
699         {
700             if (!res)
701             {
702                 bp = *buf;
703                 (*buf)[rd] = '\0';
704                 return data1_read_node(dh, &bp, m);
705             }
706             else
707                 return 0;
708         }
709         rd += res;
710     }
711 }
712
713 data1_node *data1_read_sgml (data1_handle dh, NMEM m, const char *buf)
714 {
715     const char *bp = buf;
716     return data1_read_node (dh, &bp, m);
717 }
718