retrieval/d1_read.c

   1 /*
   2  * Copyright (c) 1995-1999, Index Data.
   3  * See the file LICENSE for details.
   4  * Sebastian Hammer, Adam Dickmeiss
   5  *
   6  * $Log: d1_read.c,v $
   7  * Revision 1.30  1999-11-30 13:47:12  adam
   8  * Improved installation. Moved header files to include/yaz.
   9  *
  10  * Revision 1.29  1999/10/21 12:06:29  adam
  11  * Retrieval module no longer uses ctype.h - functions.
  12  *
  13  * Revision 1.28  1999/10/21 09:50:33  adam
  14  * SGML reader uses own isspace - it doesn't do 8-bit on WIN32!
  15  *
  16  * Revision 1.27  1999/08/27 09:40:32  adam
  17  * Renamed logf function to yaz_log. Removed VC++ project files.
  18  *
  19  * Revision 1.26  1999/07/13 13:23:48  adam
  20  * Non-recursive version of data1_read_node. data1_read_nodex reads
  21  * stream of bytes (instead of buffer in memory).
  22  *
  23  * Revision 1.25  1999/04/20 09:56:48  adam
  24  * Added 'name' paramter to encoder/decoder routines (typedef Odr_fun).
  25  * Modified all encoders/decoders to reflect this change.
  26  *
  27  * Revision 1.24  1998/10/28 15:10:09  adam
  28  * Added --with-yc option to configure. For the data1_node in data1.h:
  29  * decreased size of localdata and removed member "line" which wasn't useful.
  30  *
  31  * Revision 1.23  1998/03/12 11:28:45  adam
  32  * Fix: didn't set root member of tagged node in function.
  33  * data1_add_insert_taggeddata.
  34  *
  35  * Revision 1.22  1998/03/05 08:15:32  adam
  36  * Implemented data1_add_insert_taggeddata utility which is more flexible
  37  * than data1_insert_taggeddata.
  38  *
  39  * Revision 1.21  1998/02/27 14:08:05  adam
  40  * Added const to some char pointer arguments.
  41  * Reworked data1_read_node so that it doesn't create a tree with
  42  * pointers to original "SGML"-buffer.
  43  *
  44  * Revision 1.20  1998/02/11 11:53:35  adam
  45  * Changed code so that it compiles as C++.
  46  *
  47  * Revision 1.19  1997/12/09 16:17:09  adam
  48  * Fix bug regarding variants. Tags with prefix "var" was incorrectly
  49  * interpreted as "start of variants". Now, only "var" indicates such
  50  * start.
  51  * Cleaned up data1_read_node so tag names and variant names are
  52  * copied and not pointed to by the generated data1 tree. Data nodes
  53  * still point to old buffer.
  54  *
  55  * Revision 1.18  1997/11/18 09:51:09  adam
  56  * Removed element num_children from data1_node. Minor changes in
  57  * data1 to Explain.
  58  *
  59  * Revision 1.17  1997/11/05 09:20:51  adam
  60  * Minor change.
  61  *
  62  * Revision 1.16  1997/09/17 12:10:37  adam
  63  * YAZ version 1.4.
  64  *
  65  * Revision 1.15  1997/09/05 09:50:57  adam
  66  * Removed global data1_tabpath - uses data1_get_tabpath() instead.
  67  *
  68  * Revision 1.14  1997/05/14 06:54:04  adam
  69  * C++ support.
  70  *
  71  * Revision 1.13  1996/10/29 13:35:38  adam
  72  * Implemented data1_set_tabpath and data1_get_tabpath.
  73  *
  74  * Revision 1.12  1996/10/11 10:35:38  adam
  75  * Fixed a bug that caused data1_read_node to core dump when no abstract
  76  * syntax was defined in a "sgml"-record.
  77  *
  78  * Revision 1.11  1996/07/06 19:58:35  quinn
  79  * System headerfiles gathered in yconfig
  80  *
  81  * Revision 1.10  1996/01/19  15:41:47  quinn
  82  * Fixed uninitialized boolean.
  83  *
  84  * Revision 1.9  1996/01/17  14:52:47  adam
  85  * Changed prototype for reader function parsed to data1_read_record.
  86  *
  87  * Revision 1.8  1995/12/15  16:20:41  quinn
  88  * Added formatted text.
  89  *
  90  * Revision 1.7  1995/12/13  13:44:32  quinn
  91  * Modified Data1-system to use nmem
  92  *
  93  * Revision 1.6  1995/12/12  16:37:08  quinn
  94  * Added destroy element to data1_node.
  95  *
  96  * Revision 1.5  1995/12/11  15:22:37  quinn
  97  * Added last_child field to the node.
  98  * Rewrote schema-mapping.
  99  *
 100  * Revision 1.4  1995/11/13  09:27:36  quinn
 101  * Fiddling with the variant stuff.
 102  *
 103  * Revision 1.3  1995/11/01  16:34:57  quinn
 104  * Making data1 look for tables in data1_tabpath
 105  *
 106  * Revision 1.2  1995/11/01  13:54:48  quinn
 107  * Minor adjustments
 108  *
 109  * Revision 1.1  1995/11/01  11:56:09  quinn
 110  * Added Retrieval (data management) functions en masse.
 111  *
 112  * Revision 1.14  1995/10/30  12:40:55  quinn
 113  * Fixed a couple of bugs.
 114  *
 115  * Revision 1.13  1995/10/25  16:00:47  quinn
 116  * USMARC support is now almost operational
 117  *
 118  * Revision 1.12  1995/10/16  14:02:55  quinn
 119  * Changes to support element set names and espec1
 120  *
 121  * Revision 1.11  1995/10/13  16:05:08  quinn
 122  * Adding Espec1-processing
 123  *
 124  * Revision 1.10  1995/10/11  14:53:44  quinn
 125  * Work on variants.
 126  *
 127  * Revision 1.9  1995/10/06  16:56:50  quinn
 128  * Fixed ranked result.
 129  *
 130  * Revision 1.8  1995/10/06  16:44:13  quinn
 131  * Work on attribute set mapping, etc.
 132  *
 133  * Revision 1.7  1995/10/06  12:58:35  quinn
 134  * SUTRS support
 135  *
 136  * Revision 1.6  1995/10/04  09:29:49  quinn
 137  * Adjustments to support USGS test data
 138  *
 139  * Revision 1.5  1995/10/03  17:56:43  quinn
 140  * Fixing GRS code.
 141  *
 142  * Revision 1.4  1995/10/02  15:53:19  quinn
 143  * Work
 144  *
 145  * Revision 1.3  1995/10/02  14:55:21  quinn
 146  * *** empty log message ***
 147  *
 148  * Revision 1.2  1995/09/14  15:18:13  quinn
 149  * Work
 150  *
 151  * Revision 1.1  1995/09/12  11:24:30  quinn
 152  * Beginning to add code for structured records.
 153  *
 154  *
 155  */
 156
 157 #include <assert.h>
 158 #include <stdio.h>
 159 #include <stdlib.h>
 160
 161 #include <yaz/xmalloc.h>
 162 #include <yaz/log.h>
 163 #include <yaz/data1.h>
 164
 165 /*
 166  * get the tag which is the immediate parent of this node (this may mean
 167  * traversing intermediate things like variants and stuff.
 168  */
 169 data1_node *get_parent_tag (data1_handle dh, data1_node *n)
 170 {
 171     for (; n && n->which != DATA1N_root; n = n->parent)
 172         if (n->which == DATA1N_tag)
 173             return n;
 174     return 0;
 175 }
 176
 177 data1_node *data1_mk_node (data1_handle dh, NMEM m)
 178 {
 179     data1_node *r;
 180
 181     r = (data1_node *)nmem_malloc(m, sizeof(*r));
 182     r->next = r->child = r->last_child = r->parent = 0;
 183     r->destroy = 0;
 184     return r;
 185 }
 186
 187 void data1_free_tree (data1_handle dh, data1_node *t)
 188 {
 189     data1_node *p = t->child, *pn;
 190
 191     while (p)
 192     {
 193         pn = p->next;
 194         data1_free_tree (dh, p);
 195         p = pn;
 196     }
 197     if (t->destroy)
 198         (*t->destroy)(t);
 199 }
 200
 201 char *data1_insert_string (data1_handle dh, data1_node *res,
 202                            NMEM m, const char *str)
 203 {
 204     int len = strlen(str);
 205
 206     if (len >= DATA1_LOCALDATA)
 207         return nmem_strdup (m, str);
 208     else
 209     {
 210         strcpy (res->lbuf, str);
 211         return res->lbuf;
 212     }
 213 }
 214
 215 data1_node *data1_add_insert_taggeddata(data1_handle dh, data1_node *root,
 216                                         data1_node *at,
 217                                         const char *tagname, NMEM m,
 218                                         int first_flag, int local_allowed)
 219 {
 220     data1_node *partag = get_parent_tag (dh, at);
 221     data1_node *tagn = data1_mk_node (dh, m);
 222     data1_element *e = NULL;
 223     data1_node *datn;
 224
 225     tagn->which = DATA1N_tag;
 226     tagn->u.tag.tag = data1_insert_string (dh, tagn, m, tagname);
 227     tagn->u.tag.node_selected = 0;
 228     tagn->u.tag.make_variantlist = 0;
 229     tagn->u.tag.no_data_requested = 0;
 230     tagn->u.tag.get_bytes = -1;
 231
 232     if (partag)
 233         e = partag->u.tag.element;
 234     tagn->u.tag.element =
 235         data1_getelementbytagname (dh, root->u.root.absyn, e, tagname);
 236     if (!local_allowed && !tagn->u.tag.element)
 237         return NULL;
 238     tagn->last_child = tagn->child = datn = data1_mk_node (dh, m);
 239     tagn->root = root;
 240     datn->parent = tagn;
 241     datn->root = root;
 242     datn->which = DATA1N_data;
 243     datn->u.data.formatted_text = 0;
 244     tagn->parent = at;
 245
 246     if (first_flag)
 247     {
 248         tagn->next = at->child;
 249         if (!tagn->next)
 250             at->last_child = tagn;
 251         at->child = tagn;
 252     }
 253     else
 254     {
 255         if (!at->child)
 256             at->child = tagn;
 257         else
 258         {
 259             assert (at->last_child);
 260             at->last_child->next = tagn;
 261         }
 262         at->last_child = tagn;
 263     }
 264     return datn;
 265 }
 266
 267 data1_node *data1_add_taggeddata(data1_handle dh, data1_node *root,
 268                                  data1_node *at,
 269                                  const char *tagname, NMEM m)
 270 {
 271     return data1_add_insert_taggeddata (dh, root, at, tagname, m, 0, 1);
 272 }
 273
 274
 275 /*
 276  * Insert a tagged node into the record root as first child of the node at
 277  * which should be root or tag itself). Returns pointer to the data node,
 278  * which can then be modified.
 279  */
 280 data1_node *data1_insert_taggeddata(data1_handle dh, data1_node *root,
 281                                     data1_node *at,
 282                                     const char *tagname, NMEM m)
 283 {
 284     return data1_add_insert_taggeddata (dh, root, at, tagname, m, 1, 0);
 285 }
 286
 287 /*
 288  * Ugh. Sometimes functions just grow and grow on you. This one reads a
 289  * 'node' and its children.
 290  */
 291 data1_node *data1_read_nodex (data1_handle dh, NMEM m,
 292                               int (*get_byte)(void *fh), void *fh, WRBUF wrbuf)
 293 {
 294     data1_absyn *absyn = 0;
 295     data1_node *d1_stack[256];
 296     data1_node *res;
 297     int c;
 298     int level = 0;
 299     int line = 1;
 300
 301     d1_stack[level] = 0;
 302     c = (*get_byte)(fh);
 303     while (1)
 304     {
 305         data1_node *parent = level ? d1_stack[level-1] : 0;
 306         while (c != '\0' && d1_isspace(c))
 307         {
 308             if (c == '\n')
 309                 line++;
 310             c = (*get_byte)(fh);
 311         }
 312         if (c == '\0')
 313             break;
 314
 315         if (c == '<') /* beginning of tag */
 316         {
 317             char tag[64];
 318             char args[256];
 319             size_t i;
 320
 321             for (i = 0; (c=(*get_byte)(fh)) && c != '>' && !d1_isspace(c);)
 322                 if (i < (sizeof(tag)-1))
 323                     tag[i++] = c;
 324             tag[i] = '\0';
 325             while (d1_isspace(c))
 326                 c = (*get_byte)(fh);
 327             for (i = 0; c && c != '>'; c = (*get_byte)(fh))
 328                 if (i < (sizeof(args)-1))
 329                     args[i++] = c;
 330             args[i] = '\0';
 331             if (c != '>')
 332             {
 333                 yaz_log(LOG_WARN, "d1: %d: Malformed tag", line);
 334                 return 0;
 335             }
 336             else
 337                 c = (*get_byte)(fh);
 338
 339             /* End tag? */
 340             if (*tag == '/')
 341             {
 342                 if (tag[1] == '\0')
 343                     --level;        /* </> */
 344                 else
 345                 {                   /* </tag> */
 346                     int i = level;
 347                     while (i > 0)
 348                     {
 349                         parent = d1_stack[--i];
 350                         if ((parent->which == DATA1N_root &&
 351                              !strcmp(tag+1, parent->u.root.type)) ||
 352                             (parent->which == DATA1N_tag &&
 353                              !strcmp(tag+1, parent->u.tag.tag)))
 354                         {
 355                             level = i;
 356                             break;
 357                         }
 358                     }
 359                     if (i != level)
 360                     {
 361                         yaz_log (LOG_WARN, "%d: no begin tag for %s",
 362                                  line, tag);
 363                         break;
 364                     }
 365                 }
 366                 if (level == 0)
 367                     return d1_stack[0];
 368                 continue;
 369             }
 370             if (level == 0) /* root ? */
 371             {
 372                 if (!(absyn = data1_get_absyn (dh, tag)))
 373                 {
 374                     yaz_log(LOG_WARN, "Unable to acquire abstract syntax "
 375                             "for '%s'", tag);
 376                     return 0;
 377                 }
 378                 res = data1_mk_node (dh, m);
 379                 res->which = DATA1N_root;
 380                 res->u.root.type = data1_insert_string (dh, res, m, tag);
 381                 res->u.root.absyn = absyn;
 382                 res->root = res;
 383             }
 384             else if (!strcmp(tag, "var"))
 385             {
 386                 char tclass[DATA1_MAX_SYMBOL], type[DATA1_MAX_SYMBOL];
 387                 data1_vartype *tp;
 388                 int val_offset;
 389
 390                 if (sscanf(args, "%s %s %n", tclass, type, &val_offset) != 2)
 391                 {
 392                     yaz_log(LOG_WARN, "Malformed variant triple at '%s'", tag);
 393                     continue;
 394                 }
 395                 if (!(tp =
 396                       data1_getvartypebyct(dh,
 397                                            parent->root->u.root.absyn->varset,
 398                                            tclass, type)))
 399                     continue;
 400                 /*
 401                  * If we're the first variant in this group, create a parent
 402                  * variant, and insert it before the current variant.
 403                  */
 404                 if (parent->which != DATA1N_variant)
 405                 {
 406                     res = data1_mk_node (dh, m);
 407                     res->which = DATA1N_variant;
 408                     res->u.variant.type = 0;
 409                     res->u.variant.value = 0;
 410                 }
 411                 else
 412                 {
 413                     /*
 414                      * now determine if one of our ancestor triples is of
 415                      * same type. If so, we break here.
 416                      */
 417                     int i;
 418                     for (i = level-1; d1_stack[i]->which==DATA1N_variant; --i)
 419                         if (d1_stack[i]->u.variant.type == tp)
 420                         {
 421                             level = i;
 422                             break;
 423                         }
 424                     res = data1_mk_node (dh, m);
 425                     res->which = DATA1N_variant;
 426                     res->u.variant.type = tp;
 427                     res->u.variant.value =
 428                         data1_insert_string (dh, res, m, args + val_offset);
 429                 }
 430             }
 431             else /* tag.. acquire our element in the abstract syntax */
 432             {
 433                 data1_node *partag = get_parent_tag (dh, parent);
 434                 data1_element *elem, *e = 0;
 435                 int localtag = 0;
 436
 437                 if (parent->which == DATA1N_variant)
 438                     return 0;
 439                 if (partag)
 440                     if (!(e = partag->u.tag.element))
 441                         localtag = 1; /* our parent is a local tag */
 442
 443                 elem = data1_getelementbytagname(dh, absyn, e, tag);
 444                 res = data1_mk_node (dh, m);
 445                 res->which = DATA1N_tag;
 446                 res->u.tag.tag = data1_insert_string (dh, res, m, tag);
 447                 res->u.tag.element = elem;
 448                 res->u.tag.node_selected = 0;
 449                 res->u.tag.make_variantlist = 0;
 450                 res->u.tag.no_data_requested = 0;
 451                 res->u.tag.get_bytes = -1;
 452             }
 453             if (parent)
 454             {
 455                 parent->last_child = res;
 456                 res->root = parent->root;
 457             }
 458             res->parent = parent;
 459             if (d1_stack[level])
 460                 d1_stack[level]->next = res;
 461             else if (parent)
 462                 parent->child = res;
 463             d1_stack[level] = res;
 464             d1_stack[++level] = 0;
 465         }
 466         else /* != '<'... this is a body of text */
 467         {
 468             const char *src;
 469             char *dst;
 470             int len, prev_char = 0;
 471
 472             if (level == 0)
 473             {
 474                 c = (*get_byte)(fh);
 475                 continue;
 476             }
 477             res = data1_mk_node(dh, m);
 478             res->parent = parent;
 479             res->which = DATA1N_data;
 480             res->u.data.what = DATA1I_text;
 481             res->u.data.formatted_text = 0;
 482             res->root = parent->root;
 483             parent->last_child = res;
 484             if (d1_stack[level])
 485                 d1_stack[level]->next = res;
 486             else
 487                 parent->child = res;
 488             d1_stack[level] = res;
 489
 490             wrbuf_rewind(wrbuf);
 491
 492             while (c != '<')
 493             {
 494                 wrbuf_putc (wrbuf, c);
 495                 c = (*get_byte)(fh);
 496             }
 497             len = wrbuf_len(wrbuf);
 498
 499             /* use local buffer of nmem if too large */
 500             if (len >= DATA1_LOCALDATA)
 501                 res->u.data.data = (char*) nmem_malloc (m, len);
 502             else
 503                 res->u.data.data = res->lbuf;
 504
 505             /* read "data" and transfer while removing white space */
 506             dst = res->u.data.data;
 507             for (src = wrbuf_buf(wrbuf); --len >= 0; src++)
 508             {
 509                 if (*src == '\n')
 510                     line++;
 511                 if (d1_isspace (*src))
 512                     prev_char = ' ';
 513                 else
 514                 {
 515                     if (prev_char)
 516                     {
 517                         *dst++ = prev_char;
 518                         prev_char = 0;
 519                     }
 520                     *dst++ = *src;
 521                 }
 522             }
 523             res->u.data.len = dst - res->u.data.data;
 524         }
 525     }
 526     return 0;
 527 }
 528
 529 int getc_mem (void *fh)
 530 {
 531     const char **p = (const char **) fh;
 532     if (**p)
 533         return *(*p)++;
 534     return 0;
 535 }
 536
 537 data1_node *data1_read_node (data1_handle dh, const char **buf, NMEM m)
 538 {
 539     WRBUF wrbuf = wrbuf_alloc();
 540     data1_node *node;
 541
 542     node = data1_read_nodex(dh, m, getc_mem, buf, wrbuf);
 543     wrbuf_free (wrbuf, 1);
 544     return node;
 545 }
 546
 547 /*
 548  * Read a record in the native syntax.
 549  */
 550 data1_node *data1_read_record(data1_handle dh,
 551                               int (*rf)(void *, char *, size_t), void *fh,
 552                               NMEM m)
 553 {
 554     int *size;
 555     char **buf = data1_get_read_buf (dh, &size);
 556     const char *bp;
 557     int rd = 0, res;
 558
 559     if (!*buf)
 560         *buf = (char *)xmalloc(*size = 4096);
 561
 562     for (;;)
 563     {
 564         if (rd + 2048 >= *size && !(*buf =(char *)xrealloc(*buf, *size *= 2)))
 565             abort();
 566         if ((res = (*rf)(fh, *buf + rd, 2048)) <= 0)
 567         {
 568             if (!res)
 569             {
 570                 bp = *buf;
 571                 (*buf)[rd] = '\0';
 572                 return data1_read_node(dh, &bp, m);
 573             }
 574             else
 575                 return 0;
 576         }
 577         rd += res;
 578     }
 579 }
 580
 581 data1_node *data1_read_sgml (data1_handle dh, NMEM m, const char *buf)
 582 {
 583     const char *bp = buf;
 584     return data1_read_node (dh, &bp, m);
 585 }
 586