retrieval/d1_read.c

   1 /*
   2  * Copyright (c) 1995-1999, Index Data.
   3  * See the file LICENSE for details.
   4  * Sebastian Hammer, Adam Dickmeiss
   5  *
   6  * $Log: d1_read.c,v $
   7  * Revision 1.33  2000-11-29 14:22:47  adam
   8  * Implemented XML/SGML attributes for data1 so that d1_read reads them
   9  * and d1_write generates proper attributes for XML/SGML records. Added
  10  * register locking for threaded version.
  11  *
  12  * Revision 1.32  2000/01/06 11:25:59  adam
  13  * Added case to prevent warning.
  14  *
  15  * Revision 1.31  1999/12/21 14:16:20  ian
  16  * Changed retrieval module to allow data1 trees with no associated absyn.
  17  * Also added a simple interface for extracting values from data1 trees using
  18  * a string based tagpath.
  19  *
  20  * Revision 1.30  1999/11/30 13:47:12  adam
  21  * Improved installation. Moved header files to include/yaz.
  22  *
  23  * Revision 1.29  1999/10/21 12:06:29  adam
  24  * Retrieval module no longer uses ctype.h - functions.
  25  *
  26  * Revision 1.28  1999/10/21 09:50:33  adam
  27  * SGML reader uses own isspace - it doesn't do 8-bit on WIN32!
  28  *
  29  * Revision 1.27  1999/08/27 09:40:32  adam
  30  * Renamed logf function to yaz_log. Removed VC++ project files.
  31  *
  32  * Revision 1.26  1999/07/13 13:23:48  adam
  33  * Non-recursive version of data1_read_node. data1_read_nodex reads
  34  * stream of bytes (instead of buffer in memory).
  35  *
  36  * Revision 1.25  1999/04/20 09:56:48  adam
  37  * Added 'name' paramter to encoder/decoder routines (typedef Odr_fun).
  38  * Modified all encoders/decoders to reflect this change.
  39  *
  40  * Revision 1.24  1998/10/28 15:10:09  adam
  41  * Added --with-yc option to configure. For the data1_node in data1.h:
  42  * decreased size of localdata and removed member "line" which wasn't useful.
  43  *
  44  * Revision 1.23  1998/03/12 11:28:45  adam
  45  * Fix: didn't set root member of tagged node in function.
  46  * data1_add_insert_taggeddata.
  47  *
  48  * Revision 1.22  1998/03/05 08:15:32  adam
  49  * Implemented data1_add_insert_taggeddata utility which is more flexible
  50  * than data1_insert_taggeddata.
  51  *
  52  * Revision 1.21  1998/02/27 14:08:05  adam
  53  * Added const to some char pointer arguments.
  54  * Reworked data1_read_node so that it doesn't create a tree with
  55  * pointers to original "SGML"-buffer.
  56  *
  57  * Revision 1.20  1998/02/11 11:53:35  adam
  58  * Changed code so that it compiles as C++.
  59  *
  60  * Revision 1.19  1997/12/09 16:17:09  adam
  61  * Fix bug regarding variants. Tags with prefix "var" was incorrectly
  62  * interpreted as "start of variants". Now, only "var" indicates such
  63  * start.
  64  * Cleaned up data1_read_node so tag names and variant names are
  65  * copied and not pointed to by the generated data1 tree. Data nodes
  66  * still point to old buffer.
  67  *
  68  * Revision 1.18  1997/11/18 09:51:09  adam
  69  * Removed element num_children from data1_node. Minor changes in
  70  * data1 to Explain.
  71  *
  72  * Revision 1.17  1997/11/05 09:20:51  adam
  73  * Minor change.
  74  *
  75  * Revision 1.16  1997/09/17 12:10:37  adam
  76  * YAZ version 1.4.
  77  *
  78  * Revision 1.15  1997/09/05 09:50:57  adam
  79  * Removed global data1_tabpath - uses data1_get_tabpath() instead.
  80  *
  81  * Revision 1.14  1997/05/14 06:54:04  adam
  82  * C++ support.
  83  *
  84  * Revision 1.13  1996/10/29 13:35:38  adam
  85  * Implemented data1_set_tabpath and data1_get_tabpath.
  86  *
  87  * Revision 1.12  1996/10/11 10:35:38  adam
  88  * Fixed a bug that caused data1_read_node to core dump when no abstract
  89  * syntax was defined in a "sgml"-record.
  90  *
  91  * Revision 1.11  1996/07/06 19:58:35  quinn
  92  * System headerfiles gathered in yconfig
  93  *
  94  * Revision 1.10  1996/01/19  15:41:47  quinn
  95  * Fixed uninitialized boolean.
  96  *
  97  * Revision 1.9  1996/01/17  14:52:47  adam
  98  * Changed prototype for reader function parsed to data1_read_record.
  99  *
 100  * Revision 1.8  1995/12/15  16:20:41  quinn
 101  * Added formatted text.
 102  *
 103  * Revision 1.7  1995/12/13  13:44:32  quinn
 104  * Modified Data1-system to use nmem
 105  *
 106  * Revision 1.6  1995/12/12  16:37:08  quinn
 107  * Added destroy element to data1_node.
 108  *
 109  * Revision 1.5  1995/12/11  15:22:37  quinn
 110  * Added last_child field to the node.
 111  * Rewrote schema-mapping.
 112  *
 113  * Revision 1.4  1995/11/13  09:27:36  quinn
 114  * Fiddling with the variant stuff.
 115  *
 116  * Revision 1.3  1995/11/01  16:34:57  quinn
 117  * Making data1 look for tables in data1_tabpath
 118  *
 119  * Revision 1.2  1995/11/01  13:54:48  quinn
 120  * Minor adjustments
 121  *
 122  * Revision 1.1  1995/11/01  11:56:09  quinn
 123  * Added Retrieval (data management) functions en masse.
 124  *
 125  * Revision 1.14  1995/10/30  12:40:55  quinn
 126  * Fixed a couple of bugs.
 127  *
 128  * Revision 1.13  1995/10/25  16:00:47  quinn
 129  * USMARC support is now almost operational
 130  *
 131  * Revision 1.12  1995/10/16  14:02:55  quinn
 132  * Changes to support element set names and espec1
 133  *
 134  * Revision 1.11  1995/10/13  16:05:08  quinn
 135  * Adding Espec1-processing
 136  *
 137  * Revision 1.10  1995/10/11  14:53:44  quinn
 138  * Work on variants.
 139  *
 140  * Revision 1.9  1995/10/06  16:56:50  quinn
 141  * Fixed ranked result.
 142  *
 143  * Revision 1.8  1995/10/06  16:44:13  quinn
 144  * Work on attribute set mapping, etc.
 145  *
 146  * Revision 1.7  1995/10/06  12:58:35  quinn
 147  * SUTRS support
 148  *
 149  * Revision 1.6  1995/10/04  09:29:49  quinn
 150  * Adjustments to support USGS test data
 151  *
 152  * Revision 1.5  1995/10/03  17:56:43  quinn
 153  * Fixing GRS code.
 154  *
 155  * Revision 1.4  1995/10/02  15:53:19  quinn
 156  * Work
 157  *
 158  * Revision 1.3  1995/10/02  14:55:21  quinn
 159  * *** empty log message ***
 160  *
 161  * Revision 1.2  1995/09/14  15:18:13  quinn
 162  * Work
 163  *
 164  * Revision 1.1  1995/09/12  11:24:30  quinn
 165  * Beginning to add code for structured records.
 166  *
 167  *
 168  */
 169
 170 #include <assert.h>
 171 #include <stdio.h>
 172 #include <stdlib.h>
 173
 174 #include <yaz/xmalloc.h>
 175 #include <yaz/log.h>
 176 #include <yaz/data1.h>
 177
 178 /*
 179  * get the tag which is the immediate parent of this node (this may mean
 180  * traversing intermediate things like variants and stuff.
 181  */
 182 data1_node *get_parent_tag (data1_handle dh, data1_node *n)
 183 {
 184     for (; n && n->which != DATA1N_root; n = n->parent)
 185         if (n->which == DATA1N_tag)
 186             return n;
 187     return 0;
 188 }
 189
 190 data1_node *data1_mk_node (data1_handle dh, NMEM m)
 191 {
 192     data1_node *r;
 193
 194     r = (data1_node *)nmem_malloc(m, sizeof(*r));
 195     r->next = r->child = r->last_child = r->parent = 0;
 196     r->destroy = 0;
 197     return r;
 198 }
 199
 200 data1_node *data1_mk_node_type (data1_handle dh, NMEM m, int type)
 201 {
 202     data1_node *r;
 203
 204     r = data1_mk_node(dh, m);
 205     r->which = type;
 206     switch(type)
 207     {
 208     case DATA1N_tag:
 209         r->u.tag.tag = 0;
 210         r->u.tag.element = 0;
 211         r->u.tag.no_data_requested = 0;
 212         r->u.tag.node_selected = 0;
 213         r->u.tag.make_variantlist = 0;
 214         r->u.tag.get_bytes = -1;
 215 #if DATA1_USING_XATTR
 216         r->u.tag.attributes = 0;
 217 #endif
 218         break;
 219     case DATA1N_root:
 220         r->u.root.type = 0;
 221         r->u.root.absyn = 0;
 222         break;
 223     case DATA1N_data:
 224         r->u.data.data = 0;
 225         r->u.data.len = 0;
 226         r->u.data.what = 0;
 227         r->u.data.formatted_text = 0;
 228         break;
 229     default:
 230         logf (LOG_WARN, "data_mk_node_type. bad type = %d\n", type);
 231     }
 232     return r;
 233 }
 234
 235 void data1_free_tree (data1_handle dh, data1_node *t)
 236 {
 237     data1_node *p = t->child, *pn;
 238
 239     while (p)
 240     {
 241         pn = p->next;
 242         data1_free_tree (dh, p);
 243         p = pn;
 244     }
 245     if (t->destroy)
 246         (*t->destroy)(t);
 247 }
 248
 249 char *data1_insert_string (data1_handle dh, data1_node *res,
 250                            NMEM m, const char *str)
 251 {
 252     int len = strlen(str);
 253
 254     if (len >= DATA1_LOCALDATA)
 255         return nmem_strdup (m, str);
 256     else
 257     {
 258         strcpy (res->lbuf, str);
 259         return res->lbuf;
 260     }
 261 }
 262
 263 data1_node *data1_add_insert_taggeddata(data1_handle dh, data1_node *root,
 264                                         data1_node *at,
 265                                         const char *tagname, NMEM m,
 266                                         int first_flag, int local_allowed)
 267 {
 268     data1_node *partag = get_parent_tag (dh, at);
 269     data1_node *tagn = data1_mk_node_type (dh, m, DATA1N_tag);
 270     data1_element *e = NULL;
 271     data1_node *datn;
 272
 273     tagn->u.tag.tag = data1_insert_string (dh, tagn, m, tagname);
 274
 275     if (partag)
 276         e = partag->u.tag.element;
 277     tagn->u.tag.element =
 278         data1_getelementbytagname (dh, root->u.root.absyn, e, tagname);
 279     if (!local_allowed && !tagn->u.tag.element)
 280         return NULL;
 281     tagn->last_child = tagn->child = datn = data1_mk_node_type (dh, m, DATA1N_data);
 282     tagn->root = root;
 283     datn->parent = tagn;
 284     datn->root = root;
 285     datn->u.data.formatted_text = 0;
 286     tagn->parent = at;
 287
 288     if (first_flag)
 289     {
 290         tagn->next = at->child;
 291         if (!tagn->next)
 292             at->last_child = tagn;
 293         at->child = tagn;
 294     }
 295     else
 296     {
 297         if (!at->child)
 298             at->child = tagn;
 299         else
 300         {
 301             assert (at->last_child);
 302             at->last_child->next = tagn;
 303         }
 304         at->last_child = tagn;
 305     }
 306     return datn;
 307 }
 308
 309 data1_node *data1_add_taggeddata(data1_handle dh, data1_node *root,
 310                                  data1_node *at,
 311                                  const char *tagname, NMEM m)
 312 {
 313     return data1_add_insert_taggeddata (dh, root, at, tagname, m, 0, 1);
 314 }
 315
 316
 317 /*
 318  * Insert a tagged node into the record root as first child of the node at
 319  * which should be root or tag itself). Returns pointer to the data node,
 320  * which can then be modified.
 321  */
 322 data1_node *data1_insert_taggeddata(data1_handle dh, data1_node *root,
 323                                     data1_node *at,
 324                                     const char *tagname, NMEM m)
 325 {
 326     return data1_add_insert_taggeddata (dh, root, at, tagname, m, 1, 0);
 327 }
 328
 329 #if DATA1_USING_XATTR
 330 data1_xattr *data1_read_xattr (data1_handle dh, NMEM m,
 331                                int (*get_byte)(void *fh), void *fh,
 332                                WRBUF wrbuf, int *ch)
 333 {
 334     data1_xattr *p_first = 0;
 335     data1_xattr **pp = &p_first;
 336     int c = *ch;
 337     for (;;)
 338     {
 339         data1_xattr *p;
 340         int len;
 341         while (c && d1_isspace(c))
 342             c = (*get_byte)(fh);
 343         if (!c  || c == '>' || c == '/')
 344             break;
 345         *pp = p = nmem_malloc (m, sizeof(*p));
 346         p->next = 0;
 347         pp = &p->next;
 348         p->value = 0;
 349
 350         wrbuf_rewind(wrbuf);
 351         while (c && c != '=' && c != '>' && c != '/' && !d1_isspace(c))
 352         {
 353             wrbuf_putc (wrbuf, c);
 354             c = (*get_byte)(fh);
 355         }
 356         wrbuf_putc (wrbuf, '\0');
 357         len = wrbuf_len(wrbuf);
 358         p->name = nmem_malloc (m, len);
 359         strcpy (p->name, wrbuf_buf(wrbuf));
 360         if (c == '=')
 361         {
 362             c = (*get_byte)(fh);
 363             if (c == '"')
 364                 c = (*get_byte)(fh);
 365             wrbuf_rewind(wrbuf);
 366             while (c && c != '"' && c != '>' && c != '/')
 367             {
 368                 wrbuf_putc (wrbuf, c);
 369                 c = (*get_byte)(fh);
 370             }
 371             wrbuf_putc (wrbuf, '\0');
 372             len = wrbuf_len(wrbuf);
 373             p->value = nmem_malloc (m, len);
 374             strcpy (p->value, wrbuf_buf(wrbuf));
 375             if (c == '"')
 376                 c = (*get_byte)(fh);
 377         }
 378     }
 379     *ch = c;
 380     return p_first;
 381 }
 382 #endif
 383
 384 /*
 385  * Ugh. Sometimes functions just grow and grow on you. This one reads a
 386  * 'node' and its children.
 387  */
 388 data1_node *data1_read_nodex (data1_handle dh, NMEM m,
 389                               int (*get_byte)(void *fh), void *fh, WRBUF wrbuf)
 390 {
 391     data1_absyn *absyn = 0;
 392     data1_node *d1_stack[256];
 393     data1_node *res;
 394     int c;
 395     int level = 0;
 396     int line = 1;
 397
 398     d1_stack[level] = 0;
 399     c = (*get_byte)(fh);
 400     while (1)
 401     {
 402         data1_node *parent = level ? d1_stack[level-1] : 0;
 403         while (c != '\0' && d1_isspace(c))
 404         {
 405             if (c == '\n')
 406                 line++;
 407             c = (*get_byte)(fh);
 408         }
 409         if (c == '\0')
 410             break;
 411
 412         if (c == '<') /* beginning of tag */
 413         {
 414 #if DATA1_USING_XATTR
 415             data1_xattr *xattr;
 416 #endif
 417             char tag[64];
 418             char args[256];
 419             size_t i;
 420             for (i = 0; (c=(*get_byte)(fh)) && c != '>' && !d1_isspace(c);)
 421                 if (i < (sizeof(tag)-1))
 422                     tag[i++] = c;
 423             tag[i] = '\0';
 424 #if DATA1_USING_XATTR
 425             xattr = data1_read_xattr (dh, m, get_byte, fh, wrbuf, &c);
 426             args[0] = '\0';
 427 #else
 428             while (d1_isspace(c))
 429                 c = (*get_byte)(fh);
 430             for (i = 0; c && c != '>'; c = (*get_byte)(fh))
 431                 if (i < (sizeof(args)-1))
 432                     args[i++] = c;
 433             args[i] = '\0';
 434 #endif
 435             if (c != '>')
 436             {
 437                 yaz_log(LOG_WARN, "d1: %d: Malformed tag", line);
 438                 return 0;
 439             }
 440             else
 441                 c = (*get_byte)(fh);
 442
 443             /* End tag? */
 444             if (*tag == '/')
 445             {
 446                 if (tag[1] == '\0')
 447                     --level;        /* </> */
 448                 else
 449                 {                   /* </tag> */
 450                     int i = level;
 451                     while (i > 0)
 452                     {
 453                         parent = d1_stack[--i];
 454                         if ((parent->which == DATA1N_root &&
 455                              !strcmp(tag+1, parent->u.root.type)) ||
 456                             (parent->which == DATA1N_tag &&
 457                              !strcmp(tag+1, parent->u.tag.tag)))
 458                         {
 459                             level = i;
 460                             break;
 461                         }
 462                     }
 463                     if (i != level)
 464                     {
 465                         yaz_log (LOG_WARN, "%d: no begin tag for %s",
 466                                  line, tag);
 467                         break;
 468                     }
 469                 }
 470                 if (level == 0)
 471                     return d1_stack[0];
 472                 continue;
 473             }
 474             if (level == 0) /* root ? */
 475             {
 476                 if (!(absyn = data1_get_absyn (dh, tag)))
 477                 {
 478                     yaz_log(LOG_WARN, "Unable to acquire abstract syntax " "for '%s'", tag);
 479                     /* It's now OK for a record not to have an absyn */
 480                 }
 481                 res = data1_mk_node_type (dh, m, DATA1N_root);
 482                 res->u.root.type = data1_insert_string (dh, res, m, tag);
 483                 res->u.root.absyn = absyn;
 484                 res->root = res;
 485             }
 486             else if (!strcmp(tag, "var"))
 487             {
 488                 char tclass[DATA1_MAX_SYMBOL], type[DATA1_MAX_SYMBOL];
 489                 data1_vartype *tp;
 490                 int val_offset;
 491
 492                 if (sscanf(args, "%s %s %n", tclass, type, &val_offset) != 2)
 493                 {
 494                     yaz_log(LOG_WARN, "Malformed variant triple at '%s'", tag);
 495                     continue;
 496                 }
 497                 if (!(tp =
 498                       data1_getvartypebyct(dh,
 499                                            parent->root->u.root.absyn->varset,
 500                                            tclass, type)))
 501                     continue;
 502                 /*
 503                  * If we're the first variant in this group, create a parent
 504                  * variant, and insert it before the current variant.
 505                  */
 506                 if (parent->which != DATA1N_variant)
 507                 {
 508                     res = data1_mk_node (dh, m);
 509                     res->which = DATA1N_variant;
 510                     res->u.variant.type = 0;
 511                     res->u.variant.value = 0;
 512                 }
 513                 else
 514                 {
 515                     /*
 516                      * now determine if one of our ancestor triples is of
 517                      * same type. If so, we break here.
 518                      */
 519                     int i;
 520                     for (i = level-1; d1_stack[i]->which==DATA1N_variant; --i)
 521                         if (d1_stack[i]->u.variant.type == tp)
 522                         {
 523                             level = i;
 524                             break;
 525                         }
 526                     res = data1_mk_node (dh, m);
 527                     res->which = DATA1N_variant;
 528                     res->u.variant.type = tp;
 529                     res->u.variant.value =
 530                         data1_insert_string (dh, res, m, args + val_offset);
 531                 }
 532             }
 533             else /* tag.. acquire our element in the abstract syntax */
 534             {
 535                 data1_node *partag = get_parent_tag (dh, parent);
 536                 data1_element *elem, *e = 0;
 537                 int localtag = 0;
 538
 539                 if (parent->which == DATA1N_variant)
 540                     return 0;
 541                 if (partag)
 542                     if (!(e = partag->u.tag.element))
 543                         localtag = 1; /* our parent is a local tag */
 544
 545                 elem = data1_getelementbytagname(dh, absyn, e, tag);
 546                 res = data1_mk_node_type (dh, m, DATA1N_tag);
 547                 res->u.tag.tag = data1_insert_string (dh, res, m, tag);
 548                 res->u.tag.element = elem;
 549 #if DATA1_USING_XATTR
 550                 res->u.tag.attributes = xattr;
 551 #endif
 552             }
 553             if (parent)
 554             {
 555                 parent->last_child = res;
 556                 res->root = parent->root;
 557             }
 558             res->parent = parent;
 559             if (d1_stack[level])
 560                 d1_stack[level]->next = res;
 561             else if (parent)
 562                 parent->child = res;
 563             d1_stack[level] = res;
 564             d1_stack[++level] = 0;
 565         }
 566         else /* != '<'... this is a body of text */
 567         {
 568             const char *src;
 569             char *dst;
 570             int len, prev_char = 0;
 571
 572             if (level == 0)
 573             {
 574                 c = (*get_byte)(fh);
 575                 continue;
 576             }
 577             res = data1_mk_node_type (dh, m, DATA1N_data);
 578             res->parent = parent;
 579             res->u.data.what = DATA1I_text;
 580             res->u.data.formatted_text = 0;
 581             res->root = parent->root;
 582             parent->last_child = res;
 583             if (d1_stack[level])
 584                 d1_stack[level]->next = res;
 585             else
 586                 parent->child = res;
 587             d1_stack[level] = res;
 588
 589             wrbuf_rewind(wrbuf);
 590
 591             while (c && c != '<')
 592             {
 593                 wrbuf_putc (wrbuf, c);
 594                 c = (*get_byte)(fh);
 595             }
 596             len = wrbuf_len(wrbuf);
 597
 598             /* use local buffer of nmem if too large */
 599             if (len >= DATA1_LOCALDATA)
 600                 res->u.data.data = (char*) nmem_malloc (m, len);
 601             else
 602                 res->u.data.data = res->lbuf;
 603
 604             /* read "data" and transfer while removing white space */
 605             dst = res->u.data.data;
 606             for (src = wrbuf_buf(wrbuf); --len >= 0; src++)
 607             {
 608                 if (*src == '\n')
 609                     line++;
 610                 if (d1_isspace (*src))
 611                     prev_char = ' ';
 612                 else
 613                 {
 614                     if (prev_char)
 615                     {
 616                         *dst++ = prev_char;
 617                         prev_char = 0;
 618                     }
 619                     *dst++ = *src;
 620                 }
 621             }
 622             res->u.data.len = dst - res->u.data.data;
 623         }
 624     }
 625     return 0;
 626 }
 627
 628 int getc_mem (void *fh)
 629 {
 630     const char **p = (const char **) fh;
 631     if (**p)
 632         return *(*p)++;
 633     return 0;
 634 }
 635
 636 data1_node *data1_read_node (data1_handle dh, const char **buf, NMEM m)
 637 {
 638     WRBUF wrbuf = wrbuf_alloc();
 639     data1_node *node;
 640
 641     node = data1_read_nodex(dh, m, getc_mem, (void *) (buf), wrbuf);
 642     wrbuf_free (wrbuf, 1);
 643     return node;
 644 }
 645
 646 /*
 647  * Read a record in the native syntax.
 648  */
 649 data1_node *data1_read_record(data1_handle dh,
 650                               int (*rf)(void *, char *, size_t), void *fh,
 651                               NMEM m)
 652 {
 653     int *size;
 654     char **buf = data1_get_read_buf (dh, &size);
 655     const char *bp;
 656     int rd = 0, res;
 657
 658     if (!*buf)
 659         *buf = (char *)xmalloc(*size = 4096);
 660
 661     for (;;)
 662     {
 663         if (rd + 2048 >= *size && !(*buf =(char *)xrealloc(*buf, *size *= 2)))
 664             abort();
 665         if ((res = (*rf)(fh, *buf + rd, 2048)) <= 0)
 666         {
 667             if (!res)
 668             {
 669                 bp = *buf;
 670                 (*buf)[rd] = '\0';
 671                 return data1_read_node(dh, &bp, m);
 672             }
 673             else
 674                 return 0;
 675         }
 676         rd += res;
 677     }
 678 }
 679
 680 data1_node *data1_read_sgml (data1_handle dh, NMEM m, const char *buf)
 681 {
 682     const char *bp = buf;
 683     return data1_read_node (dh, &bp, m);
 684 }
 685