retrieval/d1_read.c

   1 /*
   2  * Copyright (c) 1995-1997, Index Data.
   3  * See the file LICENSE for details.
   4  * Sebastian Hammer, Adam Dickmeiss
   5  *
   6  * $Log: d1_read.c,v $
   7  * Revision 1.18  1997-11-18 09:51:09  adam
   8  * Removed element num_children from data1_node. Minor changes in
   9  * data1 to Explain.
  10  *
  11  * Revision 1.17  1997/11/05 09:20:51  adam
  12  * Minor change.
  13  *
  14  * Revision 1.16  1997/09/17 12:10:37  adam
  15  * YAZ version 1.4.
  16  *
  17  * Revision 1.15  1997/09/05 09:50:57  adam
  18  * Removed global data1_tabpath - uses data1_get_tabpath() instead.
  19  *
  20  * Revision 1.14  1997/05/14 06:54:04  adam
  21  * C++ support.
  22  *
  23  * Revision 1.13  1996/10/29 13:35:38  adam
  24  * Implemented data1_set_tabpath and data1_get_tabpath.
  25  *
  26  * Revision 1.12  1996/10/11 10:35:38  adam
  27  * Fixed a bug that caused data1_read_node to core dump when no abstract
  28  * syntax was defined in a "sgml"-record.
  29  *
  30  * Revision 1.11  1996/07/06 19:58:35  quinn
  31  * System headerfiles gathered in yconfig
  32  *
  33  * Revision 1.10  1996/01/19  15:41:47  quinn
  34  * Fixed uninitialized boolean.
  35  *
  36  * Revision 1.9  1996/01/17  14:52:47  adam
  37  * Changed prototype for reader function parsed to data1_read_record.
  38  *
  39  * Revision 1.8  1995/12/15  16:20:41  quinn
  40  * Added formatted text.
  41  *
  42  * Revision 1.7  1995/12/13  13:44:32  quinn
  43  * Modified Data1-system to use nmem
  44  *
  45  * Revision 1.6  1995/12/12  16:37:08  quinn
  46  * Added destroy element to data1_node.
  47  *
  48  * Revision 1.5  1995/12/11  15:22:37  quinn
  49  * Added last_child field to the node.
  50  * Rewrote schema-mapping.
  51  *
  52  * Revision 1.4  1995/11/13  09:27:36  quinn
  53  * Fiddling with the variant stuff.
  54  *
  55  * Revision 1.3  1995/11/01  16:34:57  quinn
  56  * Making data1 look for tables in data1_tabpath
  57  *
  58  * Revision 1.2  1995/11/01  13:54:48  quinn
  59  * Minor adjustments
  60  *
  61  * Revision 1.1  1995/11/01  11:56:09  quinn
  62  * Added Retrieval (data management) functions en masse.
  63  *
  64  * Revision 1.14  1995/10/30  12:40:55  quinn
  65  * Fixed a couple of bugs.
  66  *
  67  * Revision 1.13  1995/10/25  16:00:47  quinn
  68  * USMARC support is now almost operational
  69  *
  70  * Revision 1.12  1995/10/16  14:02:55  quinn
  71  * Changes to support element set names and espec1
  72  *
  73  * Revision 1.11  1995/10/13  16:05:08  quinn
  74  * Adding Espec1-processing
  75  *
  76  * Revision 1.10  1995/10/11  14:53:44  quinn
  77  * Work on variants.
  78  *
  79  * Revision 1.9  1995/10/06  16:56:50  quinn
  80  * Fixed ranked result.
  81  *
  82  * Revision 1.8  1995/10/06  16:44:13  quinn
  83  * Work on attribute set mapping, etc.
  84  *
  85  * Revision 1.7  1995/10/06  12:58:35  quinn
  86  * SUTRS support
  87  *
  88  * Revision 1.6  1995/10/04  09:29:49  quinn
  89  * Adjustments to support USGS test data
  90  *
  91  * Revision 1.5  1995/10/03  17:56:43  quinn
  92  * Fixing GRS code.
  93  *
  94  * Revision 1.4  1995/10/02  15:53:19  quinn
  95  * Work
  96  *
  97  * Revision 1.3  1995/10/02  14:55:21  quinn
  98  * *** empty log message ***
  99  *
 100  * Revision 1.2  1995/09/14  15:18:13  quinn
 101  * Work
 102  *
 103  * Revision 1.1  1995/09/12  11:24:30  quinn
 104  * Beginning to add code for structured records.
 105  *
 106  *
 107  */
 108
 109 #include <ctype.h>
 110 #include <stdio.h>
 111 #include <stdlib.h>
 112
 113 #include <xmalloc.h>
 114 #include <log.h>
 115 #include <data1.h>
 116
 117 /*
 118  * get the tag which is the immediate parent of this node (this may mean
 119  * traversing intermediate things like variants and stuff.
 120  */
 121 data1_node *get_parent_tag (data1_handle dh, data1_node *n)
 122 {
 123     for (; n && n->which != DATA1N_root; n = n->parent)
 124         if (n->which == DATA1N_tag)
 125             return n;
 126     return 0;
 127 }
 128
 129 data1_node *data1_mk_node (data1_handle dh, NMEM m)
 130 {
 131     data1_node *r;
 132
 133     r = nmem_malloc(m, sizeof(*r));
 134     r->next = r->child = r->last_child = r->parent = 0;
 135     r->destroy = 0;
 136     return r;
 137 }
 138
 139 void data1_free_tree (data1_handle dh, data1_node *t)
 140 {
 141     data1_node *p = t->child, *pn;
 142
 143     while (p)
 144     {
 145         pn = p->next;
 146         data1_free_tree (dh, p);
 147         p = pn;
 148     }
 149     if (t->destroy)
 150         (*t->destroy)(t);
 151 }
 152
 153 /*
 154  * Insert a tagged node into the record root as first child of the node at
 155  * which should be root or tag itself). Returns pointer to the data node,
 156  * which can then be modified.
 157  */
 158 data1_node *data1_insert_taggeddata(data1_handle dh, data1_node *root,
 159                                     data1_node *at,
 160                                     char *tagname, NMEM m)
 161 {
 162     data1_node *tagn = data1_mk_node (dh, m);
 163     data1_node *datn;
 164
 165     tagn->which = DATA1N_tag;
 166     tagn->line = -1;
 167     tagn->u.tag.tag = 0;
 168     tagn->u.tag.node_selected = 0;
 169     tagn->u.tag.make_variantlist = 0;
 170     tagn->u.tag.no_data_requested = 0;
 171     tagn->u.tag.get_bytes = -1;
 172     if (!(tagn->u.tag.element = data1_getelementbytagname (dh,
 173                                                            root->u.root.absyn,
 174                                                            0, tagname)))
 175         return 0;
 176     tagn->child = datn = data1_mk_node (dh, m);
 177     datn->parent = tagn;
 178     datn->root = root;
 179     datn->which = DATA1N_data;
 180     datn->u.data.formatted_text = 0;
 181     tagn->next = at->child;
 182     tagn->parent = at;
 183     at->child = tagn;
 184     return datn;
 185 }
 186
 187 /*
 188  * Ugh. Sometimes functions just grow and grow on you. This one reads a
 189  * 'node' and its children.
 190  */
 191 data1_node *data1_read_node (data1_handle dh, char **buf,
 192                              data1_node *parent, int *line,
 193                              data1_absyn *absyn, NMEM m)
 194 {
 195     data1_node *res;
 196
 197     while (**buf && isspace(**buf))
 198     {
 199         if (**buf == '\n')
 200             (*line)++;
 201         (*buf)++;
 202     }
 203     if (!**buf)
 204         return 0;
 205
 206     if (**buf == '<') /* beginning of tag */
 207     {
 208         char *tag = (*buf) + 1;
 209         char *args = 0;
 210         char *t = tag;
 211         data1_node **pp;
 212         data1_element *elem = 0;
 213
 214         for (; *t && *t != '>' && !isspace(*t); t++);
 215         if (*t != '>' && !isspace(*t))
 216         {
 217             logf(LOG_WARN, "d1: %d: Malformed tag", *line);
 218             return 0;
 219         }
 220         if (isspace(*t)) /* the tag has arguments */
 221         {
 222             while (isspace(*t))
 223                 t++;
 224             if (*t != '>')
 225             {
 226                 args = t;
 227                 for (; *t && *t != '>'; t++);
 228                 if (*t != '>' && !isspace(*t))
 229                 {
 230                     logf(LOG_WARN, "d1: %d: Malformed tag", *line);
 231                     return 0;
 232                 }
 233             }
 234         }
 235
 236         /*
 237          * if end-tag, see if we terminate parent. If so, consume and return.
 238          * Else, return.
 239          */
 240         *t = '\0';
 241         if (*tag == '/')
 242         {
 243             if (!parent)
 244                 return 0;
 245             if (!*(tag +1) ||
 246                 (parent->which == DATA1N_root &&
 247                  !strcmp(tag + 1,parent->u.root.type)) ||
 248                 (parent->which == DATA1N_tag &&
 249                  !strcmp(tag + 1, parent->u.tag.tag)))
 250             {
 251                 *buf = t + 1;
 252                 return 0;
 253             }
 254             else
 255             {
 256                 *t = '>';
 257                 return 0;
 258             }
 259         }
 260
 261         if (!absyn) /* parent node - what are we? */
 262         {
 263             if (!(absyn = data1_get_absyn (dh, tag)))
 264             {
 265                 logf(LOG_WARN, "Unable to acquire abstract syntax for '%s'",
 266                     tag);
 267                 return 0;
 268             }
 269             res = data1_mk_node (dh, m);
 270             res->which = DATA1N_root;
 271             res->u.root.type = tag;
 272             res->u.root.absyn = absyn;
 273             res->root = res;
 274             *buf = t + 1;
 275         }
 276         else if (!strncmp(tag, "var", 3))
 277         {
 278             char tclass[DATA1_MAX_SYMBOL], type[DATA1_MAX_SYMBOL];
 279             data1_vartype *tp;
 280             int val_offset;
 281             data1_node *p;
 282
 283             if (sscanf(args, "%s %s %n", tclass, type, &val_offset) != 2)
 284             {
 285                 logf(LOG_WARN, "Malformed variant triple at '%s'", tag);
 286                 return 0;
 287             }
 288             if (!(tp =
 289                   data1_getvartypebyct(dh, parent->root->u.root.absyn->varset,
 290                                        tclass, type)))
 291                 return 0;
 292
 293             /*
 294              * If we're the first variant in this group, create a parent var,
 295              * and insert it before the current variant.
 296              */
 297             if (parent->which != DATA1N_variant)
 298             {
 299                 res = data1_mk_node (dh, m);
 300                 res->which = DATA1N_variant;
 301                 res->u.variant.type = 0;
 302                 res->u.variant.value = 0;
 303                 res->root = parent->root;
 304                 *t = '>';
 305             }
 306             else
 307             {
 308                 /*
 309                  * now determine if one of our ancestor triples is of same type.
 310                  * If so, we break here. This will make the parser unwind until
 311                  * we become a sibling (alternate variant) to the aforementioned
 312                  * triple. It stinks that we re-parse these tags on every
 313                  * iteration of this. This is a function in need of a rewrite.
 314                  */
 315                 for (p = parent; p->which == DATA1N_variant; p = p->parent)
 316                     if (p->u.variant.type == tp)
 317                     {
 318                         *t = '>';
 319                         return 0;
 320                     }
 321
 322                 res =  data1_mk_node (dh, m);
 323                 res->which = DATA1N_variant;
 324                 res->root = parent->root;
 325                 res->u.variant.type = tp;
 326                 res->u.variant.value = args + val_offset;
 327                 *buf = t + 1;
 328             }
 329         }
 330         else /* tag.. acquire our element in the abstract syntax */
 331         {
 332             data1_node *partag = get_parent_tag (dh, parent);
 333             data1_element *e = 0;
 334             int localtag = 0;
 335
 336             if (parent->which == DATA1N_variant)
 337             {
 338                 *t = '>';
 339                 return 0;
 340             }
 341             if (partag)
 342                 if (!(e = partag->u.tag.element))
 343                     localtag = 1; /* our parent is a local tag */
 344
 345 #if 0
 346             if (!localtag && !(elem = data1_getelementbytagname(absyn,
 347                 e, tag)) && (data1_gettagbyname(absyn->tagset, tag)))
 348             {
 349                 if (parent->which == DATA1N_root)
 350                     logf(LOG_WARN, "Tag '%s' used out of context", tag);
 351                 *t = '>';
 352                 return 0;
 353             }
 354 #else
 355             elem = data1_getelementbytagname(dh, absyn, e, tag);
 356 #endif
 357             res = data1_mk_node (dh, m);
 358             res->which = DATA1N_tag;
 359             res->u.tag.element = elem;
 360             res->u.tag.tag = tag;
 361             res->u.tag.node_selected = 0;
 362             res->u.tag.make_variantlist = 0;
 363             res->u.tag.no_data_requested = 0;
 364             res->u.tag.get_bytes = -1;
 365             res->root = parent->root;
 366             *buf = t + 1;
 367         }
 368
 369         res->parent = parent;
 370         pp = &res->child;
 371         /*
 372          * Read child nodes.
 373          */
 374         while ((*pp = data1_read_node(dh, buf, res, line, absyn, m)))
 375         {
 376             res->last_child = *pp;
 377             pp = &(*pp)->next;
 378         }
 379     }
 380     else /* != '<'... this is a body of text */
 381     {
 382         int len = 0;
 383         char *data = *buf, *pp = *buf;
 384
 385         if (!parent)      /* abort if abstract syntax is undefined */
 386             return 0;
 387         /* Determine length and remove newlines/extra blanks */
 388         while (**buf && **buf != '<')
 389         {
 390             if (**buf == '\n')
 391                 (*line)++;
 392             if (isspace(**buf))
 393             {
 394                 *(pp++) = ' ';
 395                 (*buf)++;
 396                 while (isspace(**buf))
 397                     (*buf)++;
 398             }
 399             else
 400                 *(pp++) = *((*buf)++);
 401             len++;
 402         }
 403         while (isspace(data[len-1]))
 404             len--;
 405         res = data1_mk_node(dh, m);
 406         res->parent = parent;
 407         res->which = DATA1N_data;
 408         res->u.data.what = DATA1I_text;
 409         res->u.data.len = len;
 410         res->u.data.data = data;
 411         res->u.data.formatted_text = 0;
 412         res->root = parent->root;
 413     }
 414     return res;
 415 }
 416
 417 /*
 418  * Read a record in the native syntax.
 419  */
 420 data1_node *data1_read_record(data1_handle dh,
 421                               int (*rf)(void *, char *, size_t), void *fh,
 422                               NMEM m)
 423 {
 424     int *size;
 425     char **buf = data1_get_read_buf (dh, &size);
 426     char *bp;
 427     int rd = 0, res;
 428     int line = 0;
 429
 430     if (!*buf)
 431         *buf = xmalloc(*size = 4096);
 432
 433     for (;;)
 434     {
 435         if (rd + 4096 > *size && !(*buf =xrealloc(*buf, *size *= 2)))
 436             abort();
 437         if ((res = (*rf)(fh, *buf + rd, 4096)) <= 0)
 438         {
 439             if (!res)
 440             {
 441                 bp = *buf;
 442                 return data1_read_node(dh, &bp, 0, &line, 0, m);
 443             }
 444             else
 445                 return 0;
 446         }
 447         rd += res;
 448     }
 449 }