Directive s=pw sets structure to phrase if term includes blank(s).
[yaz-moved-to-github.git] / retrieval / d1_read.c
1 /*
2  * Copyright (c) 1995-2001, Index Data.
3  * See the file LICENSE for details.
4  * Sebastian Hammer, Adam Dickmeiss
5  *
6  * $Log: d1_read.c,v $
7  * Revision 1.37  2001-02-28 09:00:06  adam
8  * Fixed problem with stack overflow for very nested records.
9  *
10  * Revision 1.36  2001/02/21 13:46:53  adam
11  * C++ fixes.
12  *
13  * Revision 1.35  2000/12/05 14:44:25  adam
14  * Readers skips <! ...> sections.
15  *
16  * Revision 1.34  2000/12/05 10:06:23  adam
17  * Added support for null-data rules like <tag/>.
18  *
19  * Revision 1.33  2000/11/29 14:22:47  adam
20  * Implemented XML/SGML attributes for data1 so that d1_read reads them
21  * and d1_write generates proper attributes for XML/SGML records. Added
22  * register locking for threaded version.
23  *
24  * Revision 1.32  2000/01/06 11:25:59  adam
25  * Added case to prevent warning.
26  *
27  * Revision 1.31  1999/12/21 14:16:20  ian
28  * Changed retrieval module to allow data1 trees with no associated absyn.
29  * Also added a simple interface for extracting values from data1 trees using
30  * a string based tagpath.
31  *
32  * Revision 1.30  1999/11/30 13:47:12  adam
33  * Improved installation. Moved header files to include/yaz.
34  *
35  * Revision 1.29  1999/10/21 12:06:29  adam
36  * Retrieval module no longer uses ctype.h - functions.
37  *
38  * Revision 1.28  1999/10/21 09:50:33  adam
39  * SGML reader uses own isspace - it doesn't do 8-bit on WIN32!
40  *
41  * Revision 1.27  1999/08/27 09:40:32  adam
42  * Renamed logf function to yaz_log. Removed VC++ project files.
43  *
44  * Revision 1.26  1999/07/13 13:23:48  adam
45  * Non-recursive version of data1_read_node. data1_read_nodex reads
46  * stream of bytes (instead of buffer in memory).
47  *
48  * Revision 1.25  1999/04/20 09:56:48  adam
49  * Added 'name' paramter to encoder/decoder routines (typedef Odr_fun).
50  * Modified all encoders/decoders to reflect this change.
51  *
52  * Revision 1.24  1998/10/28 15:10:09  adam
53  * Added --with-yc option to configure. For the data1_node in data1.h:
54  * decreased size of localdata and removed member "line" which wasn't useful.
55  *
56  * Revision 1.23  1998/03/12 11:28:45  adam
57  * Fix: didn't set root member of tagged node in function.
58  * data1_add_insert_taggeddata.
59  *
60  * Revision 1.22  1998/03/05 08:15:32  adam
61  * Implemented data1_add_insert_taggeddata utility which is more flexible
62  * than data1_insert_taggeddata.
63  *
64  * Revision 1.21  1998/02/27 14:08:05  adam
65  * Added const to some char pointer arguments.
66  * Reworked data1_read_node so that it doesn't create a tree with
67  * pointers to original "SGML"-buffer.
68  *
69  * Revision 1.20  1998/02/11 11:53:35  adam
70  * Changed code so that it compiles as C++.
71  *
72  * Revision 1.19  1997/12/09 16:17:09  adam
73  * Fix bug regarding variants. Tags with prefix "var" was incorrectly
74  * interpreted as "start of variants". Now, only "var" indicates such
75  * start.
76  * Cleaned up data1_read_node so tag names and variant names are
77  * copied and not pointed to by the generated data1 tree. Data nodes
78  * still point to old buffer.
79  *
80  * Revision 1.18  1997/11/18 09:51:09  adam
81  * Removed element num_children from data1_node. Minor changes in
82  * data1 to Explain.
83  *
84  * Revision 1.17  1997/11/05 09:20:51  adam
85  * Minor change.
86  *
87  * Revision 1.16  1997/09/17 12:10:37  adam
88  * YAZ version 1.4.
89  *
90  * Revision 1.15  1997/09/05 09:50:57  adam
91  * Removed global data1_tabpath - uses data1_get_tabpath() instead.
92  *
93  * Revision 1.14  1997/05/14 06:54:04  adam
94  * C++ support.
95  *
96  * Revision 1.13  1996/10/29 13:35:38  adam
97  * Implemented data1_set_tabpath and data1_get_tabpath.
98  *
99  * Revision 1.12  1996/10/11 10:35:38  adam
100  * Fixed a bug that caused data1_read_node to core dump when no abstract
101  * syntax was defined in a "sgml"-record.
102  *
103  * Revision 1.11  1996/07/06 19:58:35  quinn
104  * System headerfiles gathered in yconfig
105  *
106  * Revision 1.10  1996/01/19  15:41:47  quinn
107  * Fixed uninitialized boolean.
108  *
109  * Revision 1.9  1996/01/17  14:52:47  adam
110  * Changed prototype for reader function parsed to data1_read_record.
111  *
112  * Revision 1.8  1995/12/15  16:20:41  quinn
113  * Added formatted text.
114  *
115  * Revision 1.7  1995/12/13  13:44:32  quinn
116  * Modified Data1-system to use nmem
117  *
118  * Revision 1.6  1995/12/12  16:37:08  quinn
119  * Added destroy element to data1_node.
120  *
121  * Revision 1.5  1995/12/11  15:22:37  quinn
122  * Added last_child field to the node.
123  * Rewrote schema-mapping.
124  *
125  * Revision 1.4  1995/11/13  09:27:36  quinn
126  * Fiddling with the variant stuff.
127  *
128  * Revision 1.3  1995/11/01  16:34:57  quinn
129  * Making data1 look for tables in data1_tabpath
130  *
131  * Revision 1.2  1995/11/01  13:54:48  quinn
132  * Minor adjustments
133  *
134  * Revision 1.1  1995/11/01  11:56:09  quinn
135  * Added Retrieval (data management) functions en masse.
136  *
137  * Revision 1.14  1995/10/30  12:40:55  quinn
138  * Fixed a couple of bugs.
139  *
140  * Revision 1.13  1995/10/25  16:00:47  quinn
141  * USMARC support is now almost operational
142  *
143  * Revision 1.12  1995/10/16  14:02:55  quinn
144  * Changes to support element set names and espec1
145  *
146  * Revision 1.11  1995/10/13  16:05:08  quinn
147  * Adding Espec1-processing
148  *
149  * Revision 1.10  1995/10/11  14:53:44  quinn
150  * Work on variants.
151  *
152  * Revision 1.9  1995/10/06  16:56:50  quinn
153  * Fixed ranked result.
154  *
155  * Revision 1.8  1995/10/06  16:44:13  quinn
156  * Work on attribute set mapping, etc.
157  *
158  * Revision 1.7  1995/10/06  12:58:35  quinn
159  * SUTRS support
160  *
161  * Revision 1.6  1995/10/04  09:29:49  quinn
162  * Adjustments to support USGS test data
163  *
164  * Revision 1.5  1995/10/03  17:56:43  quinn
165  * Fixing GRS code.
166  *
167  * Revision 1.4  1995/10/02  15:53:19  quinn
168  * Work
169  *
170  * Revision 1.3  1995/10/02  14:55:21  quinn
171  * *** empty log message ***
172  *
173  * Revision 1.2  1995/09/14  15:18:13  quinn
174  * Work
175  *
176  * Revision 1.1  1995/09/12  11:24:30  quinn
177  * Beginning to add code for structured records.
178  *
179  *
180  */
181
182 #include <assert.h>
183 #include <stdio.h>
184 #include <stdlib.h>
185
186 #include <yaz/xmalloc.h>
187 #include <yaz/log.h>
188 #include <yaz/data1.h>
189
190 /*
191  * get the tag which is the immediate parent of this node (this may mean
192  * traversing intermediate things like variants and stuff.
193  */
194 data1_node *get_parent_tag (data1_handle dh, data1_node *n)
195 {
196     for (; n && n->which != DATA1N_root; n = n->parent)
197         if (n->which == DATA1N_tag)
198             return n;
199     return 0;
200 }
201
202 data1_node *data1_mk_node (data1_handle dh, NMEM m)
203 {
204     data1_node *r;
205
206     r = (data1_node *)nmem_malloc(m, sizeof(*r));
207     r->next = r->child = r->last_child = r->parent = 0;
208     r->destroy = 0;
209     return r;
210 }
211
212 data1_node *data1_mk_node_type (data1_handle dh, NMEM m, int type)
213 {
214     data1_node *r;
215
216     r = data1_mk_node(dh, m);
217     r->which = type;
218     switch(type)
219     {
220     case DATA1N_tag:
221         r->u.tag.tag = 0;
222         r->u.tag.element = 0;
223         r->u.tag.no_data_requested = 0;
224         r->u.tag.node_selected = 0;
225         r->u.tag.make_variantlist = 0;
226         r->u.tag.get_bytes = -1;
227 #if DATA1_USING_XATTR
228         r->u.tag.attributes = 0;
229 #endif
230         break;
231     case DATA1N_root:
232         r->u.root.type = 0;
233         r->u.root.absyn = 0;
234         break;
235     case DATA1N_data:
236         r->u.data.data = 0;
237         r->u.data.len = 0;
238         r->u.data.what = 0;
239         r->u.data.formatted_text = 0;
240         break;
241     default:
242         logf (LOG_WARN, "data_mk_node_type. bad type = %d\n", type);
243     }
244     return r;
245 }
246
247 void data1_free_tree (data1_handle dh, data1_node *t)
248 {
249     data1_node *p = t->child, *pn;
250
251     while (p)
252     {
253         pn = p->next;
254         data1_free_tree (dh, p);
255         p = pn;
256     }
257     if (t->destroy)
258         (*t->destroy)(t);
259 }
260
261 char *data1_insert_string (data1_handle dh, data1_node *res,
262                            NMEM m, const char *str)
263 {
264     int len = strlen(str);
265
266     if (len >= DATA1_LOCALDATA)
267         return nmem_strdup (m, str);
268     else
269     {
270         strcpy (res->lbuf, str);
271         return res->lbuf;
272     }
273 }
274
275 data1_node *data1_add_insert_taggeddata(data1_handle dh, data1_node *root,
276                                         data1_node *at,
277                                         const char *tagname, NMEM m,
278                                         int first_flag, int local_allowed)
279 {
280     data1_node *partag = get_parent_tag (dh, at);
281     data1_node *tagn = data1_mk_node_type (dh, m, DATA1N_tag);
282     data1_element *e = NULL;
283     data1_node *datn;
284
285     tagn->u.tag.tag = data1_insert_string (dh, tagn, m, tagname);
286
287     if (partag)
288         e = partag->u.tag.element;
289     tagn->u.tag.element =
290         data1_getelementbytagname (dh, root->u.root.absyn, e, tagname);
291     if (!local_allowed && !tagn->u.tag.element)
292         return NULL;
293     tagn->last_child = tagn->child = datn = data1_mk_node_type (dh, m, DATA1N_data);
294     tagn->root = root;
295     datn->parent = tagn;
296     datn->root = root;
297     datn->u.data.formatted_text = 0;
298     tagn->parent = at;
299
300     if (first_flag)
301     {
302         tagn->next = at->child;
303         if (!tagn->next)
304             at->last_child = tagn;
305         at->child = tagn;
306     }
307     else
308     {
309         if (!at->child)
310             at->child = tagn;
311         else
312         {
313             assert (at->last_child);
314             at->last_child->next = tagn;
315         }
316         at->last_child = tagn;
317     }
318     return datn;
319 }
320
321 data1_node *data1_add_taggeddata(data1_handle dh, data1_node *root,
322                                  data1_node *at,
323                                  const char *tagname, NMEM m)
324 {
325     return data1_add_insert_taggeddata (dh, root, at, tagname, m, 0, 1);
326 }
327
328
329 /*
330  * Insert a tagged node into the record root as first child of the node at
331  * which should be root or tag itself). Returns pointer to the data node,
332  * which can then be modified.
333  */
334 data1_node *data1_insert_taggeddata(data1_handle dh, data1_node *root,
335                                     data1_node *at,
336                                     const char *tagname, NMEM m)
337 {
338     return data1_add_insert_taggeddata (dh, root, at, tagname, m, 1, 0);
339 }
340
341 #if DATA1_USING_XATTR
342 data1_xattr *data1_read_xattr (data1_handle dh, NMEM m,
343                                int (*get_byte)(void *fh), void *fh,
344                                WRBUF wrbuf, int *ch)
345 {
346     data1_xattr *p_first = 0;
347     data1_xattr **pp = &p_first;
348     int c = *ch;
349     for (;;)
350     {
351         data1_xattr *p;
352         int len;
353         while (c && d1_isspace(c))
354             c = (*get_byte)(fh);
355         if (!c  || c == '>' || c == '/')
356             break;
357         *pp = p = (data1_xattr *) nmem_malloc (m, sizeof(*p));
358         p->next = 0;
359         pp = &p->next;
360         p->value = 0;
361         
362         wrbuf_rewind(wrbuf);
363         while (c && c != '=' && c != '>' && c != '/' && !d1_isspace(c))
364         {
365             wrbuf_putc (wrbuf, c);
366             c = (*get_byte)(fh);
367         }
368         wrbuf_putc (wrbuf, '\0');
369         len = wrbuf_len(wrbuf);
370         p->name = (char*) nmem_malloc (m, len);
371         strcpy (p->name, wrbuf_buf(wrbuf));
372         if (c == '=')
373         {
374             c = (*get_byte)(fh);
375             if (c == '"')
376                 c = (*get_byte)(fh);    
377             wrbuf_rewind(wrbuf);
378             while (c && c != '"' && c != '>' && c != '/')
379             {
380                 wrbuf_putc (wrbuf, c);
381                 c = (*get_byte)(fh);
382             }
383             wrbuf_putc (wrbuf, '\0');
384             len = wrbuf_len(wrbuf);
385             p->value = (char*) nmem_malloc (m, len);
386             strcpy (p->value, wrbuf_buf(wrbuf));
387             if (c == '"')
388                 c = (*get_byte)(fh);    
389         }
390     }
391     *ch = c;
392     return p_first;
393 }
394 #endif
395
396 /*
397  * Ugh. Sometimes functions just grow and grow on you. This one reads a
398  * 'node' and its children.
399  */
400 data1_node *data1_read_nodex (data1_handle dh, NMEM m,
401                               int (*get_byte)(void *fh), void *fh, WRBUF wrbuf)
402 {
403     data1_absyn *absyn = 0;
404     data1_node *d1_stack[256];
405     data1_node *res;
406     int c;
407     int level = 0;
408     int line = 1;
409
410     d1_stack[level] = 0;
411     c = (*get_byte)(fh);
412     while (1)
413     {
414         data1_node *parent = level ? d1_stack[level-1] : 0;
415         while (c != '\0' && d1_isspace(c))
416         {
417             if (c == '\n')
418                 line++;
419             c = (*get_byte)(fh);
420         }
421         if (c == '\0')
422             break;
423         
424         if (c == '<') /* beginning of tag */
425         {
426 #if DATA1_USING_XATTR
427             data1_xattr *xattr;
428 #endif
429             char tag[64];
430             char args[256];
431             int null_tag = 0;
432             int end_tag = 0;
433             size_t i = 0;
434
435             c = (*get_byte)(fh);
436             if (c == '/')
437             {
438                 end_tag = 1;
439                 c = (*get_byte)(fh);
440             }
441             else if (c == '!')  /* tags/comments that we don't deal with yet */
442             {
443                 while (c && c != '>')
444                     c = (*get_byte)(fh);
445                 if (c)
446                     c = (*get_byte)(fh);
447                 continue;
448             }
449             while (c && c != '>' && c != '/' && !d1_isspace(c))
450             {
451                 if (i < (sizeof(tag)-1))
452                     tag[i++] = c;
453                 c = (*get_byte)(fh);
454             }
455             tag[i] = '\0';
456 #if DATA1_USING_XATTR
457             xattr = data1_read_xattr (dh, m, get_byte, fh, wrbuf, &c);
458             args[0] = '\0';
459 #else
460             while (d1_isspace(c))
461                 c = (*get_byte)(fh);
462             for (i = 0; c && c != '>' && c != '/'; c = (*get_byte)(fh))
463                 if (i < (sizeof(args)-1))
464                     args[i++] = c;
465             args[i] = '\0';
466 #endif
467             if (c == '/')
468             {    /* <tag attrs/> or <tag/> */
469                 null_tag = 1;
470                 c = (*get_byte)(fh);
471             }
472             if (c != '>')
473             {
474                 yaz_log(LOG_WARN, "d1: %d: Malformed tag", line);
475                 return 0;
476             }
477             else
478                 c = (*get_byte)(fh);
479
480             /* End tag? */
481             if (end_tag)       
482             {
483                 if (*tag == '\0')
484                     --level;        /* </> */
485                 else
486                 {                   /* </tag> */
487                     int i = level;
488                     while (i > 0)
489                     {
490                         parent = d1_stack[--i];
491                         if ((parent->which == DATA1N_root &&
492                              !strcmp(tag, parent->u.root.type)) ||
493                             (parent->which == DATA1N_tag &&
494                              !strcmp(tag, parent->u.tag.tag)))
495                         {
496                             level = i;
497                             break;
498                         }
499                     }
500                     if (i != level)
501                     {
502                         yaz_log (LOG_WARN, "%d: no begin tag for %s",
503                                  line, tag);
504                         break;
505                     }
506                 }
507                 if (level == 0)
508                     return d1_stack[0];
509                 continue;
510             }   
511             if (level == 0) /* root ? */
512             {
513                 if (!(absyn = data1_get_absyn (dh, tag)))
514                 {
515                     yaz_log(LOG_WARN, "Unable to acquire abstract syntax " "for '%s'", tag); 
516                     /* It's now OK for a record not to have an absyn */
517                 }
518                 res = data1_mk_node_type (dh, m, DATA1N_root);
519                 res->u.root.type = data1_insert_string (dh, res, m, tag);
520                 res->u.root.absyn = absyn;
521                 res->root = res;
522             }
523             else if (!strcmp(tag, "var"))
524             {
525                 char tclass[DATA1_MAX_SYMBOL], type[DATA1_MAX_SYMBOL];
526                 data1_vartype *tp;
527                 int val_offset;
528                 
529                 if (sscanf(args, "%s %s %n", tclass, type, &val_offset) != 2)
530                 {
531                     yaz_log(LOG_WARN, "Malformed variant triple at '%s'", tag);
532                     continue;
533                 }
534                 if (!(tp =
535                       data1_getvartypebyct(dh,
536                                            parent->root->u.root.absyn->varset,
537                                            tclass, type)))
538                     continue;
539                 /*
540                  * If we're the first variant in this group, create a parent 
541                  * variant, and insert it before the current variant.
542                  */
543                 if (parent->which != DATA1N_variant)
544                 {
545                     res = data1_mk_node (dh, m);
546                     res->which = DATA1N_variant;
547                     res->u.variant.type = 0;
548                     res->u.variant.value = 0;
549                 }
550                 else
551                 {
552                     /*
553                      * now determine if one of our ancestor triples is of
554                      * same type. If so, we break here.
555                      */
556                     int i;
557                     for (i = level-1; d1_stack[i]->which==DATA1N_variant; --i)
558                         if (d1_stack[i]->u.variant.type == tp)
559                         {
560                             level = i;
561                             break;
562                         }
563                     res = data1_mk_node (dh, m);
564                     res->which = DATA1N_variant;
565                     res->u.variant.type = tp;
566                     res->u.variant.value =
567                         data1_insert_string (dh, res, m, args + val_offset);
568                 }
569             }
570             else /* tag.. acquire our element in the abstract syntax */
571             {
572                 data1_node *partag = get_parent_tag (dh, parent);
573                 data1_element *elem, *e = 0;
574                 int localtag = 0;
575                 
576                 if (parent->which == DATA1N_variant)
577                     return 0;
578                 if (partag)
579                     if (!(e = partag->u.tag.element))
580                         localtag = 1; /* our parent is a local tag */
581                 
582                 elem = data1_getelementbytagname(dh, absyn, e, tag);
583                 res = data1_mk_node_type (dh, m, DATA1N_tag);
584                 res->u.tag.tag = data1_insert_string (dh, res, m, tag);
585                 res->u.tag.element = elem;
586 #if DATA1_USING_XATTR
587                 res->u.tag.attributes = xattr;
588 #endif
589             }
590             if (parent)
591             {
592                 parent->last_child = res;
593                 res->root = parent->root;
594             }
595             res->parent = parent;
596             if (d1_stack[level])
597                 d1_stack[level]->next = res;
598             else if (parent)
599                 parent->child = res;
600             d1_stack[level] = res;
601             d1_stack[level+1] = 0;
602             if (level < 250 && !null_tag)
603                 ++level;
604         }
605         else /* != '<'... this is a body of text */
606         {
607             const char *src;
608             char *dst;
609             int len, prev_char = 0;
610             
611             if (level == 0)
612             {
613                 c = (*get_byte)(fh);
614                 continue;
615             }
616             res = data1_mk_node_type (dh, m, DATA1N_data);
617             res->parent = parent;
618             res->u.data.what = DATA1I_text;
619             res->u.data.formatted_text = 0;
620             res->root = parent->root;
621             parent->last_child = res;
622             if (d1_stack[level])
623                 d1_stack[level]->next = res;
624             else
625                 parent->child = res;
626             d1_stack[level] = res;
627             
628             wrbuf_rewind(wrbuf);
629
630             while (c && c != '<')
631             {
632                 wrbuf_putc (wrbuf, c);
633                 c = (*get_byte)(fh);
634             }
635             len = wrbuf_len(wrbuf);
636
637             /* use local buffer of nmem if too large */
638             if (len >= DATA1_LOCALDATA)
639                 res->u.data.data = (char*) nmem_malloc (m, len);
640             else
641                 res->u.data.data = res->lbuf;
642             
643             /* read "data" and transfer while removing white space */
644             dst = res->u.data.data;
645             for (src = wrbuf_buf(wrbuf); --len >= 0; src++)
646             {
647                 if (*src == '\n')
648                     line++;
649                 if (d1_isspace (*src))
650                     prev_char = ' ';
651                 else
652                 {
653                     if (prev_char)
654                     {
655                         *dst++ = prev_char;
656                         prev_char = 0;
657                     }
658                     *dst++ = *src;
659                 }
660             }
661             res->u.data.len = dst - res->u.data.data;
662         }
663     }
664     return 0;
665 }
666
667 int getc_mem (void *fh)
668 {
669     const char **p = (const char **) fh;
670     if (**p)
671         return *(*p)++;
672     return 0;
673 }
674
675 data1_node *data1_read_node (data1_handle dh, const char **buf, NMEM m)
676 {
677     WRBUF wrbuf = wrbuf_alloc();
678     data1_node *node;
679
680     node = data1_read_nodex(dh, m, getc_mem, (void *) (buf), wrbuf);
681     wrbuf_free (wrbuf, 1);
682     return node;
683 }
684
685 /*
686  * Read a record in the native syntax.
687  */
688 data1_node *data1_read_record(data1_handle dh,
689                               int (*rf)(void *, char *, size_t), void *fh,
690                               NMEM m)
691 {
692     int *size;
693     char **buf = data1_get_read_buf (dh, &size);
694     const char *bp;
695     int rd = 0, res;
696     
697     if (!*buf)
698         *buf = (char *)xmalloc(*size = 4096);
699     
700     for (;;)
701     {
702         if (rd + 2048 >= *size && !(*buf =(char *)xrealloc(*buf, *size *= 2)))
703             abort();
704         if ((res = (*rf)(fh, *buf + rd, 2048)) <= 0)
705         {
706             if (!res)
707             {
708                 bp = *buf;
709                 (*buf)[rd] = '\0';
710                 return data1_read_node(dh, &bp, m);
711             }
712             else
713                 return 0;
714         }
715         rd += res;
716     }
717 }
718
719 data1_node *data1_read_sgml (data1_handle dh, NMEM m, const char *buf)
720 {
721     const char *bp = buf;
722     return data1_read_node (dh, &bp, m);
723 }
724