retrieval/d1_read.c

   1 /*
   2  * Copyright (c) 1995-1997, Index Data.
   3  * See the file LICENSE for details.
   4  * Sebastian Hammer, Adam Dickmeiss
   5  *
   6  * $Log: d1_read.c,v $
   7  * Revision 1.16  1997-09-17 12:10:37  adam
   8  * YAZ version 1.4.
   9  *
  10  * Revision 1.15  1997/09/05 09:50:57  adam
  11  * Removed global data1_tabpath - uses data1_get_tabpath() instead.
  12  *
  13  * Revision 1.14  1997/05/14 06:54:04  adam
  14  * C++ support.
  15  *
  16  * Revision 1.13  1996/10/29 13:35:38  adam
  17  * Implemented data1_set_tabpath and data1_get_tabpath.
  18  *
  19  * Revision 1.12  1996/10/11 10:35:38  adam
  20  * Fixed a bug that caused data1_read_node to core dump when no abstract
  21  * syntax was defined in a "sgml"-record.
  22  *
  23  * Revision 1.11  1996/07/06 19:58:35  quinn
  24  * System headerfiles gathered in yconfig
  25  *
  26  * Revision 1.10  1996/01/19  15:41:47  quinn
  27  * Fixed uninitialized boolean.
  28  *
  29  * Revision 1.9  1996/01/17  14:52:47  adam
  30  * Changed prototype for reader function parsed to data1_read_record.
  31  *
  32  * Revision 1.8  1995/12/15  16:20:41  quinn
  33  * Added formatted text.
  34  *
  35  * Revision 1.7  1995/12/13  13:44:32  quinn
  36  * Modified Data1-system to use nmem
  37  *
  38  * Revision 1.6  1995/12/12  16:37:08  quinn
  39  * Added destroy element to data1_node.
  40  *
  41  * Revision 1.5  1995/12/11  15:22:37  quinn
  42  * Added last_child field to the node.
  43  * Rewrote schema-mapping.
  44  *
  45  * Revision 1.4  1995/11/13  09:27:36  quinn
  46  * Fiddling with the variant stuff.
  47  *
  48  * Revision 1.3  1995/11/01  16:34:57  quinn
  49  * Making data1 look for tables in data1_tabpath
  50  *
  51  * Revision 1.2  1995/11/01  13:54:48  quinn
  52  * Minor adjustments
  53  *
  54  * Revision 1.1  1995/11/01  11:56:09  quinn
  55  * Added Retrieval (data management) functions en masse.
  56  *
  57  * Revision 1.14  1995/10/30  12:40:55  quinn
  58  * Fixed a couple of bugs.
  59  *
  60  * Revision 1.13  1995/10/25  16:00:47  quinn
  61  * USMARC support is now almost operational
  62  *
  63  * Revision 1.12  1995/10/16  14:02:55  quinn
  64  * Changes to support element set names and espec1
  65  *
  66  * Revision 1.11  1995/10/13  16:05:08  quinn
  67  * Adding Espec1-processing
  68  *
  69  * Revision 1.10  1995/10/11  14:53:44  quinn
  70  * Work on variants.
  71  *
  72  * Revision 1.9  1995/10/06  16:56:50  quinn
  73  * Fixed ranked result.
  74  *
  75  * Revision 1.8  1995/10/06  16:44:13  quinn
  76  * Work on attribute set mapping, etc.
  77  *
  78  * Revision 1.7  1995/10/06  12:58:35  quinn
  79  * SUTRS support
  80  *
  81  * Revision 1.6  1995/10/04  09:29:49  quinn
  82  * Adjustments to support USGS test data
  83  *
  84  * Revision 1.5  1995/10/03  17:56:43  quinn
  85  * Fixing GRS code.
  86  *
  87  * Revision 1.4  1995/10/02  15:53:19  quinn
  88  * Work
  89  *
  90  * Revision 1.3  1995/10/02  14:55:21  quinn
  91  * *** empty log message ***
  92  *
  93  * Revision 1.2  1995/09/14  15:18:13  quinn
  94  * Work
  95  *
  96  * Revision 1.1  1995/09/12  11:24:30  quinn
  97  * Beginning to add code for structured records.
  98  *
  99  *
 100  */
 101
 102 #include <ctype.h>
 103 #include <stdio.h>
 104 #include <stdlib.h>
 105
 106 #include <xmalloc.h>
 107 #include <log.h>
 108 #include <data1.h>
 109
 110 /*
 111  * get the tag which is the immediate parent of this node (this may mean
 112  * traversing intermediate things like variants and stuff.
 113  */
 114 data1_node *get_parent_tag (data1_handle dh, data1_node *n)
 115 {
 116     for (; n && n->which != DATA1N_root; n = n->parent)
 117         if (n->which == DATA1N_tag)
 118             return n;
 119     return 0;
 120 }
 121
 122 data1_node *data1_mk_node (data1_handle dh, NMEM m)
 123 {
 124     data1_node *r;
 125
 126     r = nmem_malloc(m, sizeof(*r));
 127     r->next = r->child = r->last_child = r->parent = 0;
 128     r->num_children = 0;
 129     r->destroy = 0;
 130     return r;
 131 }
 132
 133 void data1_free_tree (data1_handle dh, data1_node *t)
 134 {
 135     data1_node *p = t->child, *pn;
 136
 137     while (p)
 138     {
 139         pn = p->next;
 140         data1_free_tree (dh, p);
 141         p = pn;
 142     }
 143     if (t->destroy)
 144         (*t->destroy)(t);
 145 }
 146
 147 /*
 148  * Insert a tagged node into the record root as first child of the node at
 149  * which should be root or tag itself). Returns pointer to the data node,
 150  * which can then be modified.
 151  */
 152 data1_node *data1_insert_taggeddata(data1_handle dh, data1_node *root,
 153                                     data1_node *at,
 154                                     char *tagname, NMEM m)
 155 {
 156     data1_node *tagn = data1_mk_node (dh, m);
 157     data1_node *datn;
 158
 159     tagn->which = DATA1N_tag;
 160     tagn->line = -1;
 161     tagn->u.tag.tag = 0;
 162     tagn->u.tag.node_selected = 0;
 163     tagn->u.tag.make_variantlist = 0;
 164     tagn->u.tag.no_data_requested = 0;
 165     tagn->u.tag.get_bytes = -1;
 166     if (!(tagn->u.tag.element = data1_getelementbytagname (dh,
 167                                                            root->u.root.absyn,
 168                                                            0, tagname)))
 169         return 0;
 170     tagn->child = datn = data1_mk_node (dh, m);
 171     tagn->num_children = 1;
 172     datn->parent = tagn;
 173     datn->root = root;
 174     datn->which = DATA1N_data;
 175     datn->u.data.formatted_text = 0;
 176     tagn->next = at->child;
 177     tagn->parent = at;
 178     at->child = tagn;
 179     at->num_children++;
 180     return datn;
 181 }
 182
 183 /*
 184  * Ugh. Sometimes functions just grow and grow on you. This one reads a
 185  * 'node' and its children.
 186  */
 187 data1_node *data1_read_node (data1_handle dh, char **buf,
 188                              data1_node *parent, int *line,
 189                              data1_absyn *absyn, NMEM m)
 190 {
 191     data1_node *res;
 192
 193     while (**buf && isspace(**buf))
 194     {
 195         if (**buf == '\n')
 196             (*line)++;
 197         (*buf)++;
 198     }
 199     if (!**buf)
 200         return 0;
 201
 202     if (**buf == '<') /* beginning of tag */
 203     {
 204         char *tag = (*buf) + 1;
 205         char *args = 0;
 206         char *t = tag;
 207         data1_node **pp;
 208         data1_element *elem = 0;
 209
 210         for (; *t && *t != '>' && !isspace(*t); t++);
 211         if (*t != '>' && !isspace(*t))
 212         {
 213             logf(LOG_WARN, "d1: %d: Malformed tag", *line);
 214             return 0;
 215         }
 216         if (isspace(*t)) /* the tag has arguments */
 217         {
 218             while (isspace(*t))
 219                 t++;
 220             if (*t != '>')
 221             {
 222                 args = t;
 223                 for (; *t && *t != '>'; t++);
 224                 if (*t != '>' && !isspace(*t))
 225                 {
 226                     logf(LOG_WARN, "d1: %d: Malformed tag", *line);
 227                     return 0;
 228                 }
 229             }
 230         }
 231
 232         /*
 233          * if end-tag, see if we terminate parent. If so, consume and return.
 234          * Else, return.
 235          */
 236         *t = '\0';
 237         if (*tag == '/')
 238         {
 239             if (!parent)
 240                 return 0;
 241             if (!*(tag +1) || (parent->which == DATA1N_root && !strcmp(tag + 1,
 242                 parent->u.root.type)) ||
 243                 (parent->which == DATA1N_tag && !strcmp(tag + 1,
 244                 parent->u.tag.tag)))
 245             {
 246                 *buf = t + 1;
 247                 return 0;
 248             }
 249             else
 250             {
 251                 *t = '>';
 252                 return 0;
 253             }
 254         }
 255
 256         if (!absyn) /* parent node - what are we? */
 257         {
 258             if (!(absyn = data1_get_absyn (dh, tag)))
 259             {
 260                 logf(LOG_WARN, "Unable to acquire abstract syntax for '%s'",
 261                     tag);
 262                 return 0;
 263             }
 264             res = data1_mk_node (dh, m);
 265             res->which = DATA1N_root;
 266             res->u.root.type = tag;
 267             res->u.root.absyn = absyn;
 268             res->root = res;
 269             *buf = t + 1;
 270         }
 271         else if (!strncmp(tag, "var", 3))
 272         {
 273             char tclass[DATA1_MAX_SYMBOL], type[DATA1_MAX_SYMBOL];
 274             data1_vartype *tp;
 275             int val_offset;
 276             data1_node *p;
 277
 278             if (sscanf(args, "%s %s %n", tclass, type, &val_offset) != 2)
 279             {
 280                 logf(LOG_WARN, "Malformed variant triple at '%s'", tag);
 281                 return 0;
 282             }
 283             if (!(tp = data1_getvartypebyct(dh, parent->root->u.root.absyn->varset,
 284                 tclass, type)))
 285                 return 0;
 286
 287             /*
 288              * If we're the first variant in this group, create a parent var,
 289              * and insert it before the current variant.
 290              */
 291             if (parent->which != DATA1N_variant)
 292             {
 293                 res = data1_mk_node (dh, m);
 294                 res->which = DATA1N_variant;
 295                 res->u.variant.type = 0;
 296                 res->u.variant.value = 0;
 297                 res->root = parent->root;
 298                 *t = '>';
 299             }
 300             else
 301             {
 302                 /*
 303                  * now determine if one of our ancestor triples is of same type.
 304                  * If so, we break here. This will make the parser unwind until
 305                  * we become a sibling (alternate variant) to the aforementioned
 306                  * triple. It stinks that we re-parse these tags on every
 307                  * iteration of this. This is a function in need of a rewrite.
 308                  */
 309                 for (p = parent; p->which == DATA1N_variant; p = p->parent)
 310                     if (p->u.variant.type == tp)
 311                     {
 312                         *t = '>';
 313                         return 0;
 314                     }
 315
 316                 res =  data1_mk_node (dh, m);
 317                 res->which = DATA1N_variant;
 318                 res->root = parent->root;
 319                 res->u.variant.type = tp;
 320                 res->u.variant.value = args + val_offset;
 321                 *buf = t + 1;
 322             }
 323         }
 324         else /* tag.. acquire our element in the abstract syntax */
 325         {
 326             data1_node *partag = get_parent_tag (dh, parent);
 327             data1_element *e = 0;
 328             int localtag = 0;
 329
 330             if (parent->which == DATA1N_variant)
 331             {
 332                 *t = '>';
 333                 return 0;
 334             }
 335             if (partag)
 336                 if (!(e = partag->u.tag.element))
 337                     localtag = 1; /* our parent is a local tag */
 338
 339 #if 0
 340             if (!localtag && !(elem = data1_getelementbytagname(absyn,
 341                 e, tag)) && (data1_gettagbyname(absyn->tagset, tag)))
 342             {
 343                 if (parent->which == DATA1N_root)
 344                     logf(LOG_WARN, "Tag '%s' used out of context", tag);
 345                 *t = '>';
 346                 return 0;
 347             }
 348 #else
 349             elem = data1_getelementbytagname(dh, absyn, e, tag);
 350 #endif
 351             res = data1_mk_node (dh, m);
 352             res->which = DATA1N_tag;
 353             res->u.tag.element = elem;
 354             res->u.tag.tag = tag;
 355             res->u.tag.node_selected = 0;
 356             res->u.tag.make_variantlist = 0;
 357             res->u.tag.no_data_requested = 0;
 358             res->u.tag.get_bytes = -1;
 359             res->root = parent->root;
 360             *buf = t + 1;
 361         }
 362
 363         res->parent = parent;
 364         res->num_children = 0;
 365
 366         pp = &res->child;
 367         /*
 368          * Read child nodes.
 369          */
 370         while ((*pp = data1_read_node(dh, buf, res, line, absyn, m)))
 371         {
 372             res->last_child = *pp;
 373             res->num_children++;
 374             pp = &(*pp)->next;
 375         }
 376     }
 377     else /* != '<'... this is a body of text */
 378     {
 379         int len = 0;
 380         char *data = *buf, *pp = *buf;
 381
 382         if (!parent)      /* abort if abstract syntax is undefined */
 383             return 0;
 384         /* Determine length and remove newlines/extra blanks */
 385         while (**buf && **buf != '<')
 386         {
 387             if (**buf == '\n')
 388                 (*line)++;
 389             if (isspace(**buf))
 390             {
 391                 *(pp++) = ' ';
 392                 (*buf)++;
 393                 while (isspace(**buf))
 394                     (*buf)++;
 395             }
 396             else
 397                 *(pp++) = *((*buf)++);
 398             len++;
 399         }
 400         while (isspace(data[len-1]))
 401             len--;
 402         res = data1_mk_node(dh, m);
 403         res->parent = parent;
 404         res->which = DATA1N_data;
 405         res->u.data.what = DATA1I_text;
 406         res->u.data.len = len;
 407         res->u.data.data = data;
 408         res->u.data.formatted_text = 0;
 409         res->root = parent->root;
 410     }
 411     return res;
 412 }
 413
 414 /*
 415  * Read a record in the native syntax.
 416  */
 417 data1_node *data1_read_record(data1_handle dh,
 418                               int (*rf)(void *, char *, size_t), void *fh,
 419                               NMEM m)
 420 {
 421     int *size;
 422     char **buf = data1_get_read_buf (dh, &size);
 423     char *bp;
 424     int rd = 0, res;
 425     int line = 0;
 426
 427     if (!*buf)
 428         *buf = xmalloc(*size = 4096);
 429
 430     for (;;)
 431     {
 432         if (rd + 4096 > *size && !(*buf =xrealloc(*buf, *size *= 2)))
 433             abort();
 434         if ((res = (*rf)(fh, *buf + rd, 4096)) <= 0)
 435         {
 436             if (!res)
 437             {
 438                 bp = *buf;
 439                 return data1_read_node(dh, &bp, 0, &line, 0, m);
 440             }
 441             else
 442                 return 0;
 443         }
 444         rd += res;
 445     }
 446 }