retrieval/d1_read.c

   1 /*
   2  * Copyright (c) 1995-1999, Index Data.
   3  * See the file LICENSE for details.
   4  * Sebastian Hammer, Adam Dickmeiss
   5  *
   6  * $Log: d1_read.c,v $
   7  * Revision 1.26  1999-07-13 13:23:48  adam
   8  * Non-recursive version of data1_read_node. data1_read_nodex reads
   9  * stream of bytes (instead of buffer in memory).
  10  *
  11  * Revision 1.25  1999/04/20 09:56:48  adam
  12  * Added 'name' paramter to encoder/decoder routines (typedef Odr_fun).
  13  * Modified all encoders/decoders to reflect this change.
  14  *
  15  * Revision 1.24  1998/10/28 15:10:09  adam
  16  * Added --with-yc option to configure. For the data1_node in data1.h:
  17  * decreased size of localdata and removed member "line" which wasn't useful.
  18  *
  19  * Revision 1.23  1998/03/12 11:28:45  adam
  20  * Fix: didn't set root member of tagged node in function.
  21  * data1_add_insert_taggeddata.
  22  *
  23  * Revision 1.22  1998/03/05 08:15:32  adam
  24  * Implemented data1_add_insert_taggeddata utility which is more flexible
  25  * than data1_insert_taggeddata.
  26  *
  27  * Revision 1.21  1998/02/27 14:08:05  adam
  28  * Added const to some char pointer arguments.
  29  * Reworked data1_read_node so that it doesn't create a tree with
  30  * pointers to original "SGML"-buffer.
  31  *
  32  * Revision 1.20  1998/02/11 11:53:35  adam
  33  * Changed code so that it compiles as C++.
  34  *
  35  * Revision 1.19  1997/12/09 16:17:09  adam
  36  * Fix bug regarding variants. Tags with prefix "var" was incorrectly
  37  * interpreted as "start of variants". Now, only "var" indicates such
  38  * start.
  39  * Cleaned up data1_read_node so tag names and variant names are
  40  * copied and not pointed to by the generated data1 tree. Data nodes
  41  * still point to old buffer.
  42  *
  43  * Revision 1.18  1997/11/18 09:51:09  adam
  44  * Removed element num_children from data1_node. Minor changes in
  45  * data1 to Explain.
  46  *
  47  * Revision 1.17  1997/11/05 09:20:51  adam
  48  * Minor change.
  49  *
  50  * Revision 1.16  1997/09/17 12:10:37  adam
  51  * YAZ version 1.4.
  52  *
  53  * Revision 1.15  1997/09/05 09:50:57  adam
  54  * Removed global data1_tabpath - uses data1_get_tabpath() instead.
  55  *
  56  * Revision 1.14  1997/05/14 06:54:04  adam
  57  * C++ support.
  58  *
  59  * Revision 1.13  1996/10/29 13:35:38  adam
  60  * Implemented data1_set_tabpath and data1_get_tabpath.
  61  *
  62  * Revision 1.12  1996/10/11 10:35:38  adam
  63  * Fixed a bug that caused data1_read_node to core dump when no abstract
  64  * syntax was defined in a "sgml"-record.
  65  *
  66  * Revision 1.11  1996/07/06 19:58:35  quinn
  67  * System headerfiles gathered in yconfig
  68  *
  69  * Revision 1.10  1996/01/19  15:41:47  quinn
  70  * Fixed uninitialized boolean.
  71  *
  72  * Revision 1.9  1996/01/17  14:52:47  adam
  73  * Changed prototype for reader function parsed to data1_read_record.
  74  *
  75  * Revision 1.8  1995/12/15  16:20:41  quinn
  76  * Added formatted text.
  77  *
  78  * Revision 1.7  1995/12/13  13:44:32  quinn
  79  * Modified Data1-system to use nmem
  80  *
  81  * Revision 1.6  1995/12/12  16:37:08  quinn
  82  * Added destroy element to data1_node.
  83  *
  84  * Revision 1.5  1995/12/11  15:22:37  quinn
  85  * Added last_child field to the node.
  86  * Rewrote schema-mapping.
  87  *
  88  * Revision 1.4  1995/11/13  09:27:36  quinn
  89  * Fiddling with the variant stuff.
  90  *
  91  * Revision 1.3  1995/11/01  16:34:57  quinn
  92  * Making data1 look for tables in data1_tabpath
  93  *
  94  * Revision 1.2  1995/11/01  13:54:48  quinn
  95  * Minor adjustments
  96  *
  97  * Revision 1.1  1995/11/01  11:56:09  quinn
  98  * Added Retrieval (data management) functions en masse.
  99  *
 100  * Revision 1.14  1995/10/30  12:40:55  quinn
 101  * Fixed a couple of bugs.
 102  *
 103  * Revision 1.13  1995/10/25  16:00:47  quinn
 104  * USMARC support is now almost operational
 105  *
 106  * Revision 1.12  1995/10/16  14:02:55  quinn
 107  * Changes to support element set names and espec1
 108  *
 109  * Revision 1.11  1995/10/13  16:05:08  quinn
 110  * Adding Espec1-processing
 111  *
 112  * Revision 1.10  1995/10/11  14:53:44  quinn
 113  * Work on variants.
 114  *
 115  * Revision 1.9  1995/10/06  16:56:50  quinn
 116  * Fixed ranked result.
 117  *
 118  * Revision 1.8  1995/10/06  16:44:13  quinn
 119  * Work on attribute set mapping, etc.
 120  *
 121  * Revision 1.7  1995/10/06  12:58:35  quinn
 122  * SUTRS support
 123  *
 124  * Revision 1.6  1995/10/04  09:29:49  quinn
 125  * Adjustments to support USGS test data
 126  *
 127  * Revision 1.5  1995/10/03  17:56:43  quinn
 128  * Fixing GRS code.
 129  *
 130  * Revision 1.4  1995/10/02  15:53:19  quinn
 131  * Work
 132  *
 133  * Revision 1.3  1995/10/02  14:55:21  quinn
 134  * *** empty log message ***
 135  *
 136  * Revision 1.2  1995/09/14  15:18:13  quinn
 137  * Work
 138  *
 139  * Revision 1.1  1995/09/12  11:24:30  quinn
 140  * Beginning to add code for structured records.
 141  *
 142  *
 143  */
 144
 145 #include <assert.h>
 146 #include <ctype.h>
 147 #include <stdio.h>
 148 #include <stdlib.h>
 149
 150 #include <xmalloc.h>
 151 #include <log.h>
 152 #include <data1.h>
 153
 154 /*
 155  * get the tag which is the immediate parent of this node (this may mean
 156  * traversing intermediate things like variants and stuff.
 157  */
 158 data1_node *get_parent_tag (data1_handle dh, data1_node *n)
 159 {
 160     for (; n && n->which != DATA1N_root; n = n->parent)
 161         if (n->which == DATA1N_tag)
 162             return n;
 163     return 0;
 164 }
 165
 166 data1_node *data1_mk_node (data1_handle dh, NMEM m)
 167 {
 168     data1_node *r;
 169
 170     r = (data1_node *)nmem_malloc(m, sizeof(*r));
 171     r->next = r->child = r->last_child = r->parent = 0;
 172     r->destroy = 0;
 173     return r;
 174 }
 175
 176 void data1_free_tree (data1_handle dh, data1_node *t)
 177 {
 178     data1_node *p = t->child, *pn;
 179
 180     while (p)
 181     {
 182         pn = p->next;
 183         data1_free_tree (dh, p);
 184         p = pn;
 185     }
 186     if (t->destroy)
 187         (*t->destroy)(t);
 188 }
 189
 190 char *data1_insert_string (data1_handle dh, data1_node *res,
 191                            NMEM m, const char *str)
 192 {
 193     int len = strlen(str);
 194
 195     if (len >= DATA1_LOCALDATA)
 196         return nmem_strdup (m, str);
 197     else
 198     {
 199         strcpy (res->lbuf, str);
 200         return res->lbuf;
 201     }
 202 }
 203
 204 data1_node *data1_add_insert_taggeddata(data1_handle dh, data1_node *root,
 205                                         data1_node *at,
 206                                         const char *tagname, NMEM m,
 207                                         int first_flag, int local_allowed)
 208 {
 209     data1_node *partag = get_parent_tag (dh, at);
 210     data1_node *tagn = data1_mk_node (dh, m);
 211     data1_element *e = NULL;
 212     data1_node *datn;
 213
 214     tagn->which = DATA1N_tag;
 215     tagn->u.tag.tag = data1_insert_string (dh, tagn, m, tagname);
 216     tagn->u.tag.node_selected = 0;
 217     tagn->u.tag.make_variantlist = 0;
 218     tagn->u.tag.no_data_requested = 0;
 219     tagn->u.tag.get_bytes = -1;
 220
 221     if (partag)
 222         e = partag->u.tag.element;
 223     tagn->u.tag.element =
 224         data1_getelementbytagname (dh, root->u.root.absyn, e, tagname);
 225     if (!local_allowed && !tagn->u.tag.element)
 226         return NULL;
 227     tagn->last_child = tagn->child = datn = data1_mk_node (dh, m);
 228     tagn->root = root;
 229     datn->parent = tagn;
 230     datn->root = root;
 231     datn->which = DATA1N_data;
 232     datn->u.data.formatted_text = 0;
 233     tagn->parent = at;
 234
 235     if (first_flag)
 236     {
 237         tagn->next = at->child;
 238         if (!tagn->next)
 239             at->last_child = tagn;
 240         at->child = tagn;
 241     }
 242     else
 243     {
 244         if (!at->child)
 245             at->child = tagn;
 246         else
 247         {
 248             assert (at->last_child);
 249             at->last_child->next = tagn;
 250         }
 251         at->last_child = tagn;
 252     }
 253     return datn;
 254 }
 255
 256 data1_node *data1_add_taggeddata(data1_handle dh, data1_node *root,
 257                                  data1_node *at,
 258                                  const char *tagname, NMEM m)
 259 {
 260     return data1_add_insert_taggeddata (dh, root, at, tagname, m, 0, 1);
 261 }
 262
 263
 264 /*
 265  * Insert a tagged node into the record root as first child of the node at
 266  * which should be root or tag itself). Returns pointer to the data node,
 267  * which can then be modified.
 268  */
 269 data1_node *data1_insert_taggeddata(data1_handle dh, data1_node *root,
 270                                     data1_node *at,
 271                                     const char *tagname, NMEM m)
 272 {
 273     return data1_add_insert_taggeddata (dh, root, at, tagname, m, 1, 0);
 274 }
 275
 276 /*
 277  * Ugh. Sometimes functions just grow and grow on you. This one reads a
 278  * 'node' and its children.
 279  */
 280 data1_node *data1_read_nodex (data1_handle dh, NMEM m,
 281                               int (*get_byte)(void *fh), void *fh, WRBUF wrbuf)
 282 {
 283     data1_absyn *absyn = 0;
 284     data1_node *d1_stack[256];
 285     data1_node *res;
 286     int c;
 287     int level = 0;
 288     int line = 1;
 289
 290     d1_stack[level] = 0;
 291     c = (*get_byte)(fh);
 292     while (1)
 293     {
 294         data1_node *parent = level ? d1_stack[level-1] : 0;
 295         while (c != '\0' && isspace(c))
 296         {
 297             if (c == '\n')
 298                 line++;
 299             c = (*get_byte)(fh);
 300         }
 301         if (c == '\0')
 302             break;
 303
 304         if (c == '<') /* beginning of tag */
 305         {
 306             char tag[64];
 307             char args[256];
 308             size_t i;
 309
 310             for (i = 0; (c=(*get_byte)(fh)) && c != '>' && !isspace(c);)
 311                 if (i < (sizeof(tag)-1))
 312                     tag[i++] = c;
 313             tag[i] = '\0';
 314             while (isspace(c))
 315                 c = (*get_byte)(fh);
 316             for (i = 0; c && c != '>'; c = (*get_byte)(fh))
 317                 if (i < (sizeof(args)-1))
 318                     args[i++] = c;
 319             args[i] = '\0';
 320             if (c != '>')
 321             {
 322                 logf(LOG_WARN, "d1: %d: Malformed tag", line);
 323                 return 0;
 324             }
 325             else
 326                 c = (*get_byte)(fh);
 327
 328             /* End tag? */
 329             if (*tag == '/')
 330             {
 331                 if (tag[1] == '\0')
 332                     --level;        /* </> */
 333                 else
 334                 {                   /* </tag> */
 335                     int i = level;
 336                     while (i > 0)
 337                     {
 338                         parent = d1_stack[--i];
 339                         if ((parent->which == DATA1N_root &&
 340                              !strcmp(tag+1, parent->u.root.type)) ||
 341                             (parent->which == DATA1N_tag &&
 342                              !strcmp(tag+1, parent->u.tag.tag)))
 343                         {
 344                             level = i;
 345                             break;
 346                         }
 347                     }
 348                     if (i != level)
 349                     {
 350                         logf (LOG_WARN, "%d: no begin tag for %s",
 351                               line, tag);
 352                         break;
 353                     }
 354                 }
 355                 if (level == 0)
 356                     return d1_stack[0];
 357                 continue;
 358             }
 359             if (level == 0) /* root ? */
 360             {
 361                 if (!(absyn = data1_get_absyn (dh, tag)))
 362                 {
 363                     logf(LOG_WARN, "Unable to acquire abstract syntax "
 364                          "for '%s'", tag);
 365                     return 0;
 366                 }
 367                 res = data1_mk_node (dh, m);
 368                 res->which = DATA1N_root;
 369                 res->u.root.type = data1_insert_string (dh, res, m, tag);
 370                 res->u.root.absyn = absyn;
 371                 res->root = res;
 372             }
 373             else if (!strcmp(tag, "var"))
 374             {
 375                 char tclass[DATA1_MAX_SYMBOL], type[DATA1_MAX_SYMBOL];
 376                 data1_vartype *tp;
 377                 int val_offset;
 378
 379                 if (sscanf(args, "%s %s %n", tclass, type, &val_offset) != 2)
 380                 {
 381                     logf(LOG_WARN, "Malformed variant triple at '%s'", tag);
 382                     continue;
 383                 }
 384                 if (!(tp =
 385                       data1_getvartypebyct(dh,
 386                                            parent->root->u.root.absyn->varset,
 387                                            tclass, type)))
 388                     continue;
 389                 /*
 390                  * If we're the first variant in this group, create a parent
 391                  * variant, and insert it before the current variant.
 392                  */
 393                 if (parent->which != DATA1N_variant)
 394                 {
 395                     res = data1_mk_node (dh, m);
 396                     res->which = DATA1N_variant;
 397                     res->u.variant.type = 0;
 398                     res->u.variant.value = 0;
 399                 }
 400                 else
 401                 {
 402                     /*
 403                      * now determine if one of our ancestor triples is of
 404                      * same type. If so, we break here.
 405                      */
 406                     int i;
 407                     for (i = level-1; d1_stack[i]->which==DATA1N_variant; --i)
 408                         if (d1_stack[i]->u.variant.type == tp)
 409                         {
 410                             level = i;
 411                             break;
 412                         }
 413                     res = data1_mk_node (dh, m);
 414                     res->which = DATA1N_variant;
 415                     res->u.variant.type = tp;
 416                     res->u.variant.value =
 417                         data1_insert_string (dh, res, m, args + val_offset);
 418                 }
 419             }
 420             else /* tag.. acquire our element in the abstract syntax */
 421             {
 422                 data1_node *partag = get_parent_tag (dh, parent);
 423                 data1_element *elem, *e = 0;
 424                 int localtag = 0;
 425
 426                 if (parent->which == DATA1N_variant)
 427                     return 0;
 428                 if (partag)
 429                     if (!(e = partag->u.tag.element))
 430                         localtag = 1; /* our parent is a local tag */
 431
 432                 elem = data1_getelementbytagname(dh, absyn, e, tag);
 433                 res = data1_mk_node (dh, m);
 434                 res->which = DATA1N_tag;
 435                 res->u.tag.tag = data1_insert_string (dh, res, m, tag);
 436                 res->u.tag.element = elem;
 437                 res->u.tag.node_selected = 0;
 438                 res->u.tag.make_variantlist = 0;
 439                 res->u.tag.no_data_requested = 0;
 440                 res->u.tag.get_bytes = -1;
 441             }
 442             if (parent)
 443             {
 444                 parent->last_child = res;
 445                 res->root = parent->root;
 446             }
 447             res->parent = parent;
 448             if (d1_stack[level])
 449                 d1_stack[level]->next = res;
 450             else if (parent)
 451                 parent->child = res;
 452             d1_stack[level] = res;
 453             d1_stack[++level] = 0;
 454         }
 455         else /* != '<'... this is a body of text */
 456         {
 457             const char *src;
 458             char *dst;
 459             int len, prev_char = 0;
 460
 461             if (level == 0)
 462             {
 463                 c = (*get_byte)(fh);
 464                 continue;
 465             }
 466             res = data1_mk_node(dh, m);
 467             res->parent = parent;
 468             res->which = DATA1N_data;
 469             res->u.data.what = DATA1I_text;
 470             res->u.data.formatted_text = 0;
 471             res->root = parent->root;
 472             parent->last_child = res;
 473             if (d1_stack[level])
 474                 d1_stack[level]->next = res;
 475             else
 476                 parent->child = res;
 477             d1_stack[level] = res;
 478
 479             wrbuf_rewind(wrbuf);
 480
 481             while (c != '<')
 482             {
 483                 wrbuf_putc (wrbuf, c);
 484                 c = (*get_byte)(fh);
 485             }
 486             len = wrbuf_len(wrbuf);
 487
 488             /* use local buffer of nmem if too large */
 489             if (len >= DATA1_LOCALDATA)
 490                 res->u.data.data = (char*) nmem_malloc (m, len);
 491             else
 492                 res->u.data.data = res->lbuf;
 493
 494             /* read "data" and transfer while removing white space */
 495             dst = res->u.data.data;
 496             for (src = wrbuf_buf(wrbuf); --len >= 0; src++)
 497             {
 498                 if (*src == '\n')
 499                     line++;
 500                 if (isspace (*src))
 501                     prev_char = ' ';
 502                 else
 503                 {
 504                     if (prev_char)
 505                     {
 506                         *dst++ = prev_char;
 507                         prev_char = 0;
 508                     }
 509                     *dst++ = *src;
 510                 }
 511             }
 512             res->u.data.len = dst - res->u.data.data;
 513         }
 514     }
 515     return 0;
 516 }
 517
 518 int getc_mem (void *fh)
 519 {
 520     const char **p = (const char **) fh;
 521     if (**p)
 522         return *(*p)++;
 523     return 0;
 524 }
 525
 526 data1_node *data1_read_node (data1_handle dh, const char **buf, NMEM m)
 527 {
 528     WRBUF wrbuf = wrbuf_alloc();
 529     data1_node *node;
 530
 531     node = data1_read_nodex(dh, m, getc_mem, buf, wrbuf);
 532     wrbuf_free (wrbuf, 1);
 533     return node;
 534 }
 535
 536 /*
 537  * Read a record in the native syntax.
 538  */
 539 data1_node *data1_read_record(data1_handle dh,
 540                               int (*rf)(void *, char *, size_t), void *fh,
 541                               NMEM m)
 542 {
 543     int *size;
 544     char **buf = data1_get_read_buf (dh, &size);
 545     const char *bp;
 546     int rd = 0, res;
 547
 548     if (!*buf)
 549         *buf = (char *)xmalloc(*size = 4096);
 550
 551     for (;;)
 552     {
 553         if (rd + 2048 >= *size && !(*buf =(char *)xrealloc(*buf, *size *= 2)))
 554             abort();
 555         if ((res = (*rf)(fh, *buf + rd, 2048)) <= 0)
 556         {
 557             if (!res)
 558             {
 559                 bp = *buf;
 560                 (*buf)[rd] = '\0';
 561                 return data1_read_node(dh, &bp, m);
 562             }
 563             else
 564                 return 0;
 565         }
 566         rd += res;
 567     }
 568 }
 569
 570 data1_node *data1_read_sgml (data1_handle dh, NMEM m, const char *buf)
 571 {
 572     const char *bp = buf;
 573     return data1_read_node (dh, &bp, m);
 574 }
 575