b8ce25c00e6c46fc95c26ccfb37108016aa89e58
[yaz-moved-to-github.git] / retrieval / d1_read.c
1 /*
2  * Copyright (c) 1995-2000, Index Data.
3  * See the file LICENSE for details.
4  * Sebastian Hammer, Adam Dickmeiss
5  *
6  * $Log: d1_read.c,v $
7  * Revision 1.36  2001-02-21 13:46:53  adam
8  * C++ fixes.
9  *
10  * Revision 1.35  2000/12/05 14:44:25  adam
11  * Readers skips <! ...> sections.
12  *
13  * Revision 1.34  2000/12/05 10:06:23  adam
14  * Added support for null-data rules like <tag/>.
15  *
16  * Revision 1.33  2000/11/29 14:22:47  adam
17  * Implemented XML/SGML attributes for data1 so that d1_read reads them
18  * and d1_write generates proper attributes for XML/SGML records. Added
19  * register locking for threaded version.
20  *
21  * Revision 1.32  2000/01/06 11:25:59  adam
22  * Added case to prevent warning.
23  *
24  * Revision 1.31  1999/12/21 14:16:20  ian
25  * Changed retrieval module to allow data1 trees with no associated absyn.
26  * Also added a simple interface for extracting values from data1 trees using
27  * a string based tagpath.
28  *
29  * Revision 1.30  1999/11/30 13:47:12  adam
30  * Improved installation. Moved header files to include/yaz.
31  *
32  * Revision 1.29  1999/10/21 12:06:29  adam
33  * Retrieval module no longer uses ctype.h - functions.
34  *
35  * Revision 1.28  1999/10/21 09:50:33  adam
36  * SGML reader uses own isspace - it doesn't do 8-bit on WIN32!
37  *
38  * Revision 1.27  1999/08/27 09:40:32  adam
39  * Renamed logf function to yaz_log. Removed VC++ project files.
40  *
41  * Revision 1.26  1999/07/13 13:23:48  adam
42  * Non-recursive version of data1_read_node. data1_read_nodex reads
43  * stream of bytes (instead of buffer in memory).
44  *
45  * Revision 1.25  1999/04/20 09:56:48  adam
46  * Added 'name' paramter to encoder/decoder routines (typedef Odr_fun).
47  * Modified all encoders/decoders to reflect this change.
48  *
49  * Revision 1.24  1998/10/28 15:10:09  adam
50  * Added --with-yc option to configure. For the data1_node in data1.h:
51  * decreased size of localdata and removed member "line" which wasn't useful.
52  *
53  * Revision 1.23  1998/03/12 11:28:45  adam
54  * Fix: didn't set root member of tagged node in function.
55  * data1_add_insert_taggeddata.
56  *
57  * Revision 1.22  1998/03/05 08:15:32  adam
58  * Implemented data1_add_insert_taggeddata utility which is more flexible
59  * than data1_insert_taggeddata.
60  *
61  * Revision 1.21  1998/02/27 14:08:05  adam
62  * Added const to some char pointer arguments.
63  * Reworked data1_read_node so that it doesn't create a tree with
64  * pointers to original "SGML"-buffer.
65  *
66  * Revision 1.20  1998/02/11 11:53:35  adam
67  * Changed code so that it compiles as C++.
68  *
69  * Revision 1.19  1997/12/09 16:17:09  adam
70  * Fix bug regarding variants. Tags with prefix "var" was incorrectly
71  * interpreted as "start of variants". Now, only "var" indicates such
72  * start.
73  * Cleaned up data1_read_node so tag names and variant names are
74  * copied and not pointed to by the generated data1 tree. Data nodes
75  * still point to old buffer.
76  *
77  * Revision 1.18  1997/11/18 09:51:09  adam
78  * Removed element num_children from data1_node. Minor changes in
79  * data1 to Explain.
80  *
81  * Revision 1.17  1997/11/05 09:20:51  adam
82  * Minor change.
83  *
84  * Revision 1.16  1997/09/17 12:10:37  adam
85  * YAZ version 1.4.
86  *
87  * Revision 1.15  1997/09/05 09:50:57  adam
88  * Removed global data1_tabpath - uses data1_get_tabpath() instead.
89  *
90  * Revision 1.14  1997/05/14 06:54:04  adam
91  * C++ support.
92  *
93  * Revision 1.13  1996/10/29 13:35:38  adam
94  * Implemented data1_set_tabpath and data1_get_tabpath.
95  *
96  * Revision 1.12  1996/10/11 10:35:38  adam
97  * Fixed a bug that caused data1_read_node to core dump when no abstract
98  * syntax was defined in a "sgml"-record.
99  *
100  * Revision 1.11  1996/07/06 19:58:35  quinn
101  * System headerfiles gathered in yconfig
102  *
103  * Revision 1.10  1996/01/19  15:41:47  quinn
104  * Fixed uninitialized boolean.
105  *
106  * Revision 1.9  1996/01/17  14:52:47  adam
107  * Changed prototype for reader function parsed to data1_read_record.
108  *
109  * Revision 1.8  1995/12/15  16:20:41  quinn
110  * Added formatted text.
111  *
112  * Revision 1.7  1995/12/13  13:44:32  quinn
113  * Modified Data1-system to use nmem
114  *
115  * Revision 1.6  1995/12/12  16:37:08  quinn
116  * Added destroy element to data1_node.
117  *
118  * Revision 1.5  1995/12/11  15:22:37  quinn
119  * Added last_child field to the node.
120  * Rewrote schema-mapping.
121  *
122  * Revision 1.4  1995/11/13  09:27:36  quinn
123  * Fiddling with the variant stuff.
124  *
125  * Revision 1.3  1995/11/01  16:34:57  quinn
126  * Making data1 look for tables in data1_tabpath
127  *
128  * Revision 1.2  1995/11/01  13:54:48  quinn
129  * Minor adjustments
130  *
131  * Revision 1.1  1995/11/01  11:56:09  quinn
132  * Added Retrieval (data management) functions en masse.
133  *
134  * Revision 1.14  1995/10/30  12:40:55  quinn
135  * Fixed a couple of bugs.
136  *
137  * Revision 1.13  1995/10/25  16:00:47  quinn
138  * USMARC support is now almost operational
139  *
140  * Revision 1.12  1995/10/16  14:02:55  quinn
141  * Changes to support element set names and espec1
142  *
143  * Revision 1.11  1995/10/13  16:05:08  quinn
144  * Adding Espec1-processing
145  *
146  * Revision 1.10  1995/10/11  14:53:44  quinn
147  * Work on variants.
148  *
149  * Revision 1.9  1995/10/06  16:56:50  quinn
150  * Fixed ranked result.
151  *
152  * Revision 1.8  1995/10/06  16:44:13  quinn
153  * Work on attribute set mapping, etc.
154  *
155  * Revision 1.7  1995/10/06  12:58:35  quinn
156  * SUTRS support
157  *
158  * Revision 1.6  1995/10/04  09:29:49  quinn
159  * Adjustments to support USGS test data
160  *
161  * Revision 1.5  1995/10/03  17:56:43  quinn
162  * Fixing GRS code.
163  *
164  * Revision 1.4  1995/10/02  15:53:19  quinn
165  * Work
166  *
167  * Revision 1.3  1995/10/02  14:55:21  quinn
168  * *** empty log message ***
169  *
170  * Revision 1.2  1995/09/14  15:18:13  quinn
171  * Work
172  *
173  * Revision 1.1  1995/09/12  11:24:30  quinn
174  * Beginning to add code for structured records.
175  *
176  *
177  */
178
179 #include <assert.h>
180 #include <stdio.h>
181 #include <stdlib.h>
182
183 #include <yaz/xmalloc.h>
184 #include <yaz/log.h>
185 #include <yaz/data1.h>
186
187 /*
188  * get the tag which is the immediate parent of this node (this may mean
189  * traversing intermediate things like variants and stuff.
190  */
191 data1_node *get_parent_tag (data1_handle dh, data1_node *n)
192 {
193     for (; n && n->which != DATA1N_root; n = n->parent)
194         if (n->which == DATA1N_tag)
195             return n;
196     return 0;
197 }
198
199 data1_node *data1_mk_node (data1_handle dh, NMEM m)
200 {
201     data1_node *r;
202
203     r = (data1_node *)nmem_malloc(m, sizeof(*r));
204     r->next = r->child = r->last_child = r->parent = 0;
205     r->destroy = 0;
206     return r;
207 }
208
209 data1_node *data1_mk_node_type (data1_handle dh, NMEM m, int type)
210 {
211     data1_node *r;
212
213     r = data1_mk_node(dh, m);
214     r->which = type;
215     switch(type)
216     {
217     case DATA1N_tag:
218         r->u.tag.tag = 0;
219         r->u.tag.element = 0;
220         r->u.tag.no_data_requested = 0;
221         r->u.tag.node_selected = 0;
222         r->u.tag.make_variantlist = 0;
223         r->u.tag.get_bytes = -1;
224 #if DATA1_USING_XATTR
225         r->u.tag.attributes = 0;
226 #endif
227         break;
228     case DATA1N_root:
229         r->u.root.type = 0;
230         r->u.root.absyn = 0;
231         break;
232     case DATA1N_data:
233         r->u.data.data = 0;
234         r->u.data.len = 0;
235         r->u.data.what = 0;
236         r->u.data.formatted_text = 0;
237         break;
238     default:
239         logf (LOG_WARN, "data_mk_node_type. bad type = %d\n", type);
240     }
241     return r;
242 }
243
244 void data1_free_tree (data1_handle dh, data1_node *t)
245 {
246     data1_node *p = t->child, *pn;
247
248     while (p)
249     {
250         pn = p->next;
251         data1_free_tree (dh, p);
252         p = pn;
253     }
254     if (t->destroy)
255         (*t->destroy)(t);
256 }
257
258 char *data1_insert_string (data1_handle dh, data1_node *res,
259                            NMEM m, const char *str)
260 {
261     int len = strlen(str);
262
263     if (len >= DATA1_LOCALDATA)
264         return nmem_strdup (m, str);
265     else
266     {
267         strcpy (res->lbuf, str);
268         return res->lbuf;
269     }
270 }
271
272 data1_node *data1_add_insert_taggeddata(data1_handle dh, data1_node *root,
273                                         data1_node *at,
274                                         const char *tagname, NMEM m,
275                                         int first_flag, int local_allowed)
276 {
277     data1_node *partag = get_parent_tag (dh, at);
278     data1_node *tagn = data1_mk_node_type (dh, m, DATA1N_tag);
279     data1_element *e = NULL;
280     data1_node *datn;
281
282     tagn->u.tag.tag = data1_insert_string (dh, tagn, m, tagname);
283
284     if (partag)
285         e = partag->u.tag.element;
286     tagn->u.tag.element =
287         data1_getelementbytagname (dh, root->u.root.absyn, e, tagname);
288     if (!local_allowed && !tagn->u.tag.element)
289         return NULL;
290     tagn->last_child = tagn->child = datn = data1_mk_node_type (dh, m, DATA1N_data);
291     tagn->root = root;
292     datn->parent = tagn;
293     datn->root = root;
294     datn->u.data.formatted_text = 0;
295     tagn->parent = at;
296
297     if (first_flag)
298     {
299         tagn->next = at->child;
300         if (!tagn->next)
301             at->last_child = tagn;
302         at->child = tagn;
303     }
304     else
305     {
306         if (!at->child)
307             at->child = tagn;
308         else
309         {
310             assert (at->last_child);
311             at->last_child->next = tagn;
312         }
313         at->last_child = tagn;
314     }
315     return datn;
316 }
317
318 data1_node *data1_add_taggeddata(data1_handle dh, data1_node *root,
319                                  data1_node *at,
320                                  const char *tagname, NMEM m)
321 {
322     return data1_add_insert_taggeddata (dh, root, at, tagname, m, 0, 1);
323 }
324
325
326 /*
327  * Insert a tagged node into the record root as first child of the node at
328  * which should be root or tag itself). Returns pointer to the data node,
329  * which can then be modified.
330  */
331 data1_node *data1_insert_taggeddata(data1_handle dh, data1_node *root,
332                                     data1_node *at,
333                                     const char *tagname, NMEM m)
334 {
335     return data1_add_insert_taggeddata (dh, root, at, tagname, m, 1, 0);
336 }
337
338 #if DATA1_USING_XATTR
339 data1_xattr *data1_read_xattr (data1_handle dh, NMEM m,
340                                int (*get_byte)(void *fh), void *fh,
341                                WRBUF wrbuf, int *ch)
342 {
343     data1_xattr *p_first = 0;
344     data1_xattr **pp = &p_first;
345     int c = *ch;
346     for (;;)
347     {
348         data1_xattr *p;
349         int len;
350         while (c && d1_isspace(c))
351             c = (*get_byte)(fh);
352         if (!c  || c == '>' || c == '/')
353             break;
354         *pp = p = (data1_xattr *) nmem_malloc (m, sizeof(*p));
355         p->next = 0;
356         pp = &p->next;
357         p->value = 0;
358         
359         wrbuf_rewind(wrbuf);
360         while (c && c != '=' && c != '>' && c != '/' && !d1_isspace(c))
361         {
362             wrbuf_putc (wrbuf, c);
363             c = (*get_byte)(fh);
364         }
365         wrbuf_putc (wrbuf, '\0');
366         len = wrbuf_len(wrbuf);
367         p->name = (char*) nmem_malloc (m, len);
368         strcpy (p->name, wrbuf_buf(wrbuf));
369         if (c == '=')
370         {
371             c = (*get_byte)(fh);
372             if (c == '"')
373                 c = (*get_byte)(fh);    
374             wrbuf_rewind(wrbuf);
375             while (c && c != '"' && c != '>' && c != '/')
376             {
377                 wrbuf_putc (wrbuf, c);
378                 c = (*get_byte)(fh);
379             }
380             wrbuf_putc (wrbuf, '\0');
381             len = wrbuf_len(wrbuf);
382             p->value = (char*) nmem_malloc (m, len);
383             strcpy (p->value, wrbuf_buf(wrbuf));
384             if (c == '"')
385                 c = (*get_byte)(fh);    
386         }
387     }
388     *ch = c;
389     return p_first;
390 }
391 #endif
392
393 /*
394  * Ugh. Sometimes functions just grow and grow on you. This one reads a
395  * 'node' and its children.
396  */
397 data1_node *data1_read_nodex (data1_handle dh, NMEM m,
398                               int (*get_byte)(void *fh), void *fh, WRBUF wrbuf)
399 {
400     data1_absyn *absyn = 0;
401     data1_node *d1_stack[256];
402     data1_node *res;
403     int c;
404     int level = 0;
405     int line = 1;
406
407     d1_stack[level] = 0;
408     c = (*get_byte)(fh);
409     while (1)
410     {
411         data1_node *parent = level ? d1_stack[level-1] : 0;
412         while (c != '\0' && d1_isspace(c))
413         {
414             if (c == '\n')
415                 line++;
416             c = (*get_byte)(fh);
417         }
418         if (c == '\0')
419             break;
420         
421         if (c == '<') /* beginning of tag */
422         {
423 #if DATA1_USING_XATTR
424             data1_xattr *xattr;
425 #endif
426             char tag[64];
427             char args[256];
428             int null_tag = 0;
429             int end_tag = 0;
430             size_t i = 0;
431
432             c = (*get_byte)(fh);
433             if (c == '/')
434             {
435                 end_tag = 1;
436                 c = (*get_byte)(fh);
437             }
438             else if (c == '!')  /* tags/comments that we don't deal with yet */
439             {
440                 while (c && c != '>')
441                     c = (*get_byte)(fh);
442                 if (c)
443                     c = (*get_byte)(fh);
444                 continue;
445             }
446             while (c && c != '>' && c != '/' && !d1_isspace(c))
447             {
448                 if (i < (sizeof(tag)-1))
449                     tag[i++] = c;
450                 c = (*get_byte)(fh);
451             }
452             tag[i] = '\0';
453 #if DATA1_USING_XATTR
454             xattr = data1_read_xattr (dh, m, get_byte, fh, wrbuf, &c);
455             args[0] = '\0';
456 #else
457             while (d1_isspace(c))
458                 c = (*get_byte)(fh);
459             for (i = 0; c && c != '>' && c != '/'; c = (*get_byte)(fh))
460                 if (i < (sizeof(args)-1))
461                     args[i++] = c;
462             args[i] = '\0';
463 #endif
464             if (c == '/')
465             {    /* <tag attrs/> or <tag/> */
466                 null_tag = 1;
467                 c = (*get_byte)(fh);
468             }
469             if (c != '>')
470             {
471                 yaz_log(LOG_WARN, "d1: %d: Malformed tag", line);
472                 return 0;
473             }
474             else
475                 c = (*get_byte)(fh);
476
477             /* End tag? */
478             if (end_tag)       
479             {
480                 if (*tag == '\0')
481                     --level;        /* </> */
482                 else
483                 {                   /* </tag> */
484                     int i = level;
485                     while (i > 0)
486                     {
487                         parent = d1_stack[--i];
488                         if ((parent->which == DATA1N_root &&
489                              !strcmp(tag, parent->u.root.type)) ||
490                             (parent->which == DATA1N_tag &&
491                              !strcmp(tag, parent->u.tag.tag)))
492                         {
493                             level = i;
494                             break;
495                         }
496                     }
497                     if (i != level)
498                     {
499                         yaz_log (LOG_WARN, "%d: no begin tag for %s",
500                                  line, tag);
501                         break;
502                     }
503                 }
504                 if (level == 0)
505                     return d1_stack[0];
506                 continue;
507             }   
508             if (level == 0) /* root ? */
509             {
510                 if (!(absyn = data1_get_absyn (dh, tag)))
511                 {
512                     yaz_log(LOG_WARN, "Unable to acquire abstract syntax " "for '%s'", tag); 
513                     /* It's now OK for a record not to have an absyn */
514                 }
515                 res = data1_mk_node_type (dh, m, DATA1N_root);
516                 res->u.root.type = data1_insert_string (dh, res, m, tag);
517                 res->u.root.absyn = absyn;
518                 res->root = res;
519             }
520             else if (!strcmp(tag, "var"))
521             {
522                 char tclass[DATA1_MAX_SYMBOL], type[DATA1_MAX_SYMBOL];
523                 data1_vartype *tp;
524                 int val_offset;
525                 
526                 if (sscanf(args, "%s %s %n", tclass, type, &val_offset) != 2)
527                 {
528                     yaz_log(LOG_WARN, "Malformed variant triple at '%s'", tag);
529                     continue;
530                 }
531                 if (!(tp =
532                       data1_getvartypebyct(dh,
533                                            parent->root->u.root.absyn->varset,
534                                            tclass, type)))
535                     continue;
536                 /*
537                  * If we're the first variant in this group, create a parent 
538                  * variant, and insert it before the current variant.
539                  */
540                 if (parent->which != DATA1N_variant)
541                 {
542                     res = data1_mk_node (dh, m);
543                     res->which = DATA1N_variant;
544                     res->u.variant.type = 0;
545                     res->u.variant.value = 0;
546                 }
547                 else
548                 {
549                     /*
550                      * now determine if one of our ancestor triples is of
551                      * same type. If so, we break here.
552                      */
553                     int i;
554                     for (i = level-1; d1_stack[i]->which==DATA1N_variant; --i)
555                         if (d1_stack[i]->u.variant.type == tp)
556                         {
557                             level = i;
558                             break;
559                         }
560                     res = data1_mk_node (dh, m);
561                     res->which = DATA1N_variant;
562                     res->u.variant.type = tp;
563                     res->u.variant.value =
564                         data1_insert_string (dh, res, m, args + val_offset);
565                 }
566             }
567             else /* tag.. acquire our element in the abstract syntax */
568             {
569                 data1_node *partag = get_parent_tag (dh, parent);
570                 data1_element *elem, *e = 0;
571                 int localtag = 0;
572                 
573                 if (parent->which == DATA1N_variant)
574                     return 0;
575                 if (partag)
576                     if (!(e = partag->u.tag.element))
577                         localtag = 1; /* our parent is a local tag */
578                 
579                 elem = data1_getelementbytagname(dh, absyn, e, tag);
580                 res = data1_mk_node_type (dh, m, DATA1N_tag);
581                 res->u.tag.tag = data1_insert_string (dh, res, m, tag);
582                 res->u.tag.element = elem;
583 #if DATA1_USING_XATTR
584                 res->u.tag.attributes = xattr;
585 #endif
586             }
587             if (parent)
588             {
589                 parent->last_child = res;
590                 res->root = parent->root;
591             }
592             res->parent = parent;
593             if (d1_stack[level])
594                 d1_stack[level]->next = res;
595             else if (parent)
596                 parent->child = res;
597             d1_stack[level] = res;
598             d1_stack[level+1] = 0;
599             if (!null_tag)
600                 ++level;
601         }
602         else /* != '<'... this is a body of text */
603         {
604             const char *src;
605             char *dst;
606             int len, prev_char = 0;
607             
608             if (level == 0)
609             {
610                 c = (*get_byte)(fh);
611                 continue;
612             }
613             res = data1_mk_node_type (dh, m, DATA1N_data);
614             res->parent = parent;
615             res->u.data.what = DATA1I_text;
616             res->u.data.formatted_text = 0;
617             res->root = parent->root;
618             parent->last_child = res;
619             if (d1_stack[level])
620                 d1_stack[level]->next = res;
621             else
622                 parent->child = res;
623             d1_stack[level] = res;
624             
625             wrbuf_rewind(wrbuf);
626
627             while (c && c != '<')
628             {
629                 wrbuf_putc (wrbuf, c);
630                 c = (*get_byte)(fh);
631             }
632             len = wrbuf_len(wrbuf);
633
634             /* use local buffer of nmem if too large */
635             if (len >= DATA1_LOCALDATA)
636                 res->u.data.data = (char*) nmem_malloc (m, len);
637             else
638                 res->u.data.data = res->lbuf;
639             
640             /* read "data" and transfer while removing white space */
641             dst = res->u.data.data;
642             for (src = wrbuf_buf(wrbuf); --len >= 0; src++)
643             {
644                 if (*src == '\n')
645                     line++;
646                 if (d1_isspace (*src))
647                     prev_char = ' ';
648                 else
649                 {
650                     if (prev_char)
651                     {
652                         *dst++ = prev_char;
653                         prev_char = 0;
654                     }
655                     *dst++ = *src;
656                 }
657             }
658             res->u.data.len = dst - res->u.data.data;
659         }
660     }
661     return 0;
662 }
663
664 int getc_mem (void *fh)
665 {
666     const char **p = (const char **) fh;
667     if (**p)
668         return *(*p)++;
669     return 0;
670 }
671
672 data1_node *data1_read_node (data1_handle dh, const char **buf, NMEM m)
673 {
674     WRBUF wrbuf = wrbuf_alloc();
675     data1_node *node;
676
677     node = data1_read_nodex(dh, m, getc_mem, (void *) (buf), wrbuf);
678     wrbuf_free (wrbuf, 1);
679     return node;
680 }
681
682 /*
683  * Read a record in the native syntax.
684  */
685 data1_node *data1_read_record(data1_handle dh,
686                               int (*rf)(void *, char *, size_t), void *fh,
687                               NMEM m)
688 {
689     int *size;
690     char **buf = data1_get_read_buf (dh, &size);
691     const char *bp;
692     int rd = 0, res;
693     
694     if (!*buf)
695         *buf = (char *)xmalloc(*size = 4096);
696     
697     for (;;)
698     {
699         if (rd + 2048 >= *size && !(*buf =(char *)xrealloc(*buf, *size *= 2)))
700             abort();
701         if ((res = (*rf)(fh, *buf + rd, 2048)) <= 0)
702         {
703             if (!res)
704             {
705                 bp = *buf;
706                 (*buf)[rd] = '\0';
707                 return data1_read_node(dh, &bp, m);
708             }
709             else
710                 return 0;
711         }
712         rd += res;
713     }
714 }
715
716 data1_node *data1_read_sgml (data1_handle dh, NMEM m, const char *buf)
717 {
718     const char *bp = buf;
719     return data1_read_node (dh, &bp, m);
720 }
721