recctrl/recgrs.c

   1 /*
   2  * Copyright (C) 1994-1997, Index Data I/S
   3  * All rights reserved.
   4  * Sebastian Hammer, Adam Dickmeiss
   5  *
   6  * $Log: recgrs.c,v $
   7  * Revision 1.8  1997-09-09 13:38:14  adam
   8  * Partial port to WIN95/NT.
   9  *
  10  * Revision 1.7  1997/09/05 15:30:10  adam
  11  * Changed prototype for chr_map_input - added const.
  12  * Added support for C++, headers uses extern "C" for public definitions.
  13  *
  14  * Revision 1.6  1997/09/04 13:54:40  adam
  15  * Added MARC filter - type grs.marc.<syntax> where syntax refers
  16  * to abstract syntax. New method tellf in retrieve/extract method.
  17  *
  18  * Revision 1.5  1997/07/15 16:29:03  adam
  19  * Initialized dummy variable to keep checker gcc happy.
  20  *
  21  * Revision 1.4  1997/04/30 08:56:08  quinn
  22  * null
  23  *
  24  * Revision 1.2  1996/10/11  16:06:43  quinn
  25  * Revision 1.3  1997/02/24 10:41:50  adam
  26  * Cleanup of code and commented out the "end element-end-record" code.
  27  *
  28  * Revision 1.2  1996/10/11 16:06:43  quinn
  29  * Fixed arguments to nodetogr
  30  *
  31  * Revision 1.1  1996/10/11  10:57:25  adam
  32  * New module recctrl. Used to manage records (extract/retrieval).
  33  *
  34  * Revision 1.29  1996/10/08 10:30:21  quinn
  35  * Fixed type mismatch
  36  *
  37  * Revision 1.28  1996/10/07  16:06:40  quinn
  38  * Added SOIF support
  39  *
  40  * Revision 1.27  1996/06/11  10:54:12  quinn
  41  * Relevance work
  42  *
  43  * Revision 1.26  1996/06/06  12:08:45  quinn
  44  * Added showRecord function
  45  *
  46  * Revision 1.25  1996/06/04  14:18:53  quinn
  47  * Charmap work
  48  *
  49  * Revision 1.24  1996/06/04  13:27:54  quinn
  50  * More work on charmapping
  51  *
  52  * Revision 1.23  1996/06/04  10:19:01  adam
  53  * Minor changes - removed include of ctype.h.
  54  *
  55  * Revision 1.22  1996/06/03  10:15:27  quinn
  56  * Various character-mapping.
  57  *
  58  * Revision 1.21  1996/05/31  13:27:24  quinn
  59  * Character-conversion in phrases, too.
  60  *
  61  * Revision 1.19  1996/05/16  15:31:14  quinn
  62  * a7
  63  *
  64  * Revision 1.18  1996/05/09  07:28:56  quinn
  65  * Work towards phrases and multiple registers
  66  *
  67  * Revision 1.17  1996/05/01  13:46:37  adam
  68  * First work on multiple records in one file.
  69  * New option, -offset, to the "unread" command in the filter module.
  70  *
  71  * Revision 1.16  1996/01/17  14:57:54  adam
  72  * Prototype changed for reader functions in extract/retrieve. File
  73  *  is identified by 'void *' instead of 'int.
  74  *
  75  * Revision 1.15  1996/01/08  19:15:47  adam
  76  * New input filter that works!
  77  *
  78  * Revision 1.14  1995/12/15  12:36:11  adam
  79  * Retrieval calls data1_read_regx when subType is specified.
  80  *
  81  * Revision 1.13  1995/12/15  12:24:43  quinn
  82  * *** empty log message ***
  83  *
  84  * Revision 1.12  1995/12/15  12:20:28  quinn
  85  * *** empty log message ***
  86  *
  87  * Revision 1.11  1995/12/15  12:07:57  quinn
  88  * Changed extraction strategy.
  89  *
  90  * Revision 1.10  1995/12/14  11:10:48  quinn
  91  * Explain work
  92  *
  93  * Revision 1.9  1995/12/13  17:14:05  quinn
  94  * *** empty log message ***
  95  *
  96  * Revision 1.8  1995/12/13  15:33:18  quinn
  97  * *** empty log message ***
  98  *
  99  * Revision 1.7  1995/12/13  13:45:39  quinn
 100  * Changed data1 to use nmem.
 101  *
 102  * Revision 1.6  1995/12/04  14:22:30  adam
 103  * Extra arg to recType_byName.
 104  * Started work on new regular expression parsed input to
 105  * structured records.
 106  *
 107  * Revision 1.5  1995/11/28  14:18:37  quinn
 108  * Set output_format.
 109  *
 110  * Revision 1.4  1995/11/21  13:14:49  quinn
 111  * Fixed end-of-data-field problem (maybe).
 112  *
 113  * Revision 1.3  1995/11/15  19:13:09  adam
 114  * Work on record management.
 115  *
 116  */
 117
 118 #include <stdio.h>
 119 #include <assert.h>
 120 #include <sys/types.h>
 121 #ifndef WINDOWS
 122 #include <unistd.h>
 123 #endif
 124
 125 #include <log.h>
 126 #include <oid.h>
 127
 128 #include <recctrl.h>
 129 #include <charmap.h>
 130 #include "grsread.h"
 131
 132 #define GRS_MAX_WORD 512
 133
 134 static int seqno = 0;
 135
 136 static data1_node *read_grs_type (struct grs_read_info *p, const char *type)
 137 {
 138     static struct {
 139         char *type;
 140         data1_node *(*func)(struct grs_read_info *p);
 141     } tab[] = {
 142         { "sgml",  grs_read_sgml },
 143         { "regx",  grs_read_regx },
 144         { "marc",  grs_read_marc },
 145         { NULL, NULL }
 146     };
 147     const char *cp = strchr (type, '.');
 148     int i;
 149
 150     if (cp == NULL || cp == type)
 151     {
 152         cp = strlen(type) + type;
 153         *p->type = 0;
 154     }
 155     else
 156         strcpy (p->type, cp+1);
 157     for (i=0; tab[i].type; i++)
 158     {
 159         if (!memcmp (type, tab[i].type, cp-type))
 160             return (tab[i].func)(p);
 161     }
 162     return NULL;
 163 }
 164
 165 static void grs_init(void)
 166 {
 167 }
 168
 169 static void dumpkeys_word(data1_node *n, struct recExtractCtrl *p,
 170     data1_att *att)
 171 {
 172     const char *b = n->u.data.data;
 173     int remain;
 174     const char **map = 0;
 175
 176     remain = n->u.data.len - (b - n->u.data.data);
 177     if (remain > 0)
 178         map = (*p->map_chrs_input)(&b, remain);
 179
 180     while (map)
 181     {
 182         RecWord wrd;
 183         char buf[GRS_MAX_WORD+1];
 184         int i, remain;
 185
 186         /* Skip spaces */
 187         while (map && *map && **map == *CHR_SPACE)
 188         {
 189             remain = n->u.data.len - (b - n->u.data.data);
 190             if (remain > 0)
 191                 map = (*p->map_chrs_input)(&b, remain);
 192             else
 193                 map = 0;
 194         }
 195         if (!map)
 196             break;
 197         i = 0;
 198         while (map && *map && **map != *CHR_SPACE)
 199         {
 200             const char *cp = *map;
 201
 202             while (i < GRS_MAX_WORD && *cp)
 203                 buf[i++] = *(cp++);
 204             remain = n->u.data.len - (b - n->u.data.data);
 205             if (remain > 0)
 206                 map = (*p->map_chrs_input)(&b, remain);
 207             else
 208                 map = 0;
 209         }
 210         if (!i)
 211             return;
 212         buf[i] = '\0';
 213         (*p->init)(&wrd);      /* set defaults */
 214         wrd.which = Word_String;
 215         wrd.seqno = seqno++;
 216         wrd.u.string = buf;
 217         wrd.attrSet = att->parent->ordinal;
 218         wrd.attrUse = att->locals->local;
 219         (*p->add)(&wrd);
 220     }
 221 }
 222
 223 static void dumpkeys_phrase(data1_node *n, struct recExtractCtrl *p,
 224     data1_att *att)
 225 {
 226     const char *b = n->u.data.data;
 227     char buf[GRS_MAX_WORD+1];
 228     const char **map = 0;
 229     RecWord wrd;
 230     int i = 0, remain;
 231
 232     remain = n->u.data.len - (b - n->u.data.data);
 233     if (remain > 0)
 234         map = (*p->map_chrs_input)(&b, remain);
 235
 236     while (remain > 0 && i < GRS_MAX_WORD)
 237     {
 238         while (map && *map && **map == *CHR_SPACE)
 239         {
 240             remain = n->u.data.len - (b - n->u.data.data);
 241             if (remain > 0)
 242                 map = (*p->map_chrs_input)(&b, remain);
 243             else
 244                 map = 0;
 245         }
 246         if (!map)
 247             break;
 248
 249         if (i && i < GRS_MAX_WORD)
 250             buf[i++] = *CHR_SPACE;
 251         while (map && *map && **map != *CHR_SPACE)
 252         {
 253             const char *cp = *map;
 254
 255             if (i >= GRS_MAX_WORD)
 256                 break;
 257             while (i < GRS_MAX_WORD && *cp)
 258                 buf[i++] = *(cp++);
 259             remain = n->u.data.len - (b - n->u.data.data);
 260             if (remain > 0)
 261                 map = (*p->map_chrs_input)(&b, remain);
 262             else
 263                 map = 0;
 264         }
 265     }
 266     if (!i)
 267         return;
 268     buf[i] = '\0';
 269     (*p->init)(&wrd);
 270     wrd.which = Word_Phrase;
 271     wrd.seqno = seqno++;
 272     wrd.u.string = buf;
 273     wrd.attrSet = att->parent->ordinal;
 274     wrd.attrUse = att->locals->local;
 275     (*p->add)(&wrd);
 276 }
 277
 278 static int dumpkeys(data1_node *n, struct recExtractCtrl *p, int level)
 279 {
 280     for (; n; n = n->next)
 281     {
 282         if (p->flagShowRecords) /* display element description to user */
 283         {
 284             if (n->which == DATA1N_root)
 285             {
 286                 printf("%*s", level * 4, "");
 287                 printf("Record type: '%s'\n", n->u.root.absyn->name);
 288             }
 289             else if (n->which == DATA1N_tag)
 290             {
 291                 data1_element *e;
 292
 293                 printf("%*s", level * 4, "");
 294                 if (!(e = n->u.tag.element))
 295                     printf("Local tag: '%s'\n", n->u.tag.tag);
 296                 else
 297                 {
 298                     printf("Elm: '%s' ", e->name);
 299                     if (e->tag)
 300                     {
 301                         data1_tag *t = e->tag;
 302
 303                         printf("TagNam: '%s' ", t->names->name);
 304                         printf("(");
 305                         if (t->tagset)
 306                             printf("%s[%d],", t->tagset->name, t->tagset->type);
 307                         else
 308                             printf("?,");
 309                         if (t->which == DATA1T_numeric)
 310                             printf("%d)", t->value.numeric);
 311                         else
 312                             printf("'%s')", t->value.string);
 313                     }
 314                     printf("\n");
 315                 }
 316             }
 317         }
 318
 319         if (n->child)
 320             if (dumpkeys(n->child, p, level + 1) < 0)
 321                 return -1;
 322
 323         if (n->which == DATA1N_data)
 324         {
 325             data1_node *par = get_parent_tag(n);
 326             data1_termlist *tlist = 0;
 327
 328             if (p->flagShowRecords)
 329             {
 330                 printf("%*s", level * 4, "");
 331                 printf("Data: ");
 332                 if (n->u.data.len > 20)
 333                     printf("'%.20s...'\n", n->u.data.data);
 334                 else if (n->u.data.len > 0)
 335                     printf("'%.*s'\n", n->u.data.len, n->u.data.data);
 336                 else
 337                     printf("NULL\n");
 338             }
 339
 340             assert(par);
 341
 342             /*
 343              * cycle up towards the root until we find a tag with an att..
 344              * this has the effect of indexing locally defined tags with
 345              * the attribute of their ancestor in the record.
 346              */
 347
 348             while (!par->u.tag.element)
 349                 if (!par->parent || !(par = get_parent_tag(par->parent)))
 350                     break;
 351             if (!par)
 352                 tlist = 0;
 353             else if (par->u.tag.element->termlists)
 354                 tlist = par->u.tag.element->termlists;
 355             else
 356                 continue;
 357
 358             for (; tlist; tlist = tlist->next)
 359             {
 360                 if (p->flagShowRecords)
 361                 {
 362                     printf("%*sIdx: [", (level + 1) * 4, "");
 363                     switch (tlist->structure)
 364                     {
 365                         case DATA1S_word: printf("w"); break;
 366                         case DATA1S_phrase: printf("p"); break;
 367                         default: printf("?"); break;
 368                     }
 369                     printf("] ");
 370                     printf("%s:%s [%d]\n", tlist->att->parent->name,
 371                         tlist->att->name, tlist->att->value);
 372                 }
 373                 else switch (tlist->structure)
 374                 {
 375                     case DATA1S_word:
 376                         dumpkeys_word(n, p, tlist->att); break;
 377                     case DATA1S_phrase:
 378                         dumpkeys_phrase(n, p, tlist->att); break;
 379                     default:
 380                         logf(LOG_FATAL, "Bad structure type in dumpkeys");
 381                         abort();
 382                 }
 383             }
 384         }
 385         if (p->flagShowRecords && n->which == DATA1N_root)
 386         {
 387             printf("%*s-------------\n\n", level * 4, "");
 388         }
 389     }
 390     return 0;
 391 }
 392
 393 static int grs_extract(struct recExtractCtrl *p)
 394 {
 395     data1_node *n;
 396     NMEM mem = nmem_create();
 397     struct grs_read_info gri;
 398     seqno = 0;
 399
 400     gri.readf = p->readf;
 401     gri.seekf = p->seekf;
 402     gri.tellf = p->tellf;
 403     gri.endf = p->endf;
 404     gri.fh = p->fh;
 405     gri.offset = p->offset;
 406     gri.mem = mem;
 407
 408     n = read_grs_type (&gri, p->subType);
 409     if (!n)
 410         return -1;
 411     if (dumpkeys(n, p, 0) < 0)
 412     {
 413         data1_free_tree(n);
 414         return -2;
 415     }
 416     data1_free_tree(n);
 417     nmem_destroy(mem);
 418     return 0;
 419 }
 420
 421 /*
 422  * Return: -1: Nothing done. 0: Ok. >0: Bib-1 diagnostic.
 423  */
 424 static int process_comp(data1_node *n, Z_RecordComposition *c)
 425 {
 426     data1_esetname *eset;
 427     Z_Espec1 *espec = 0;
 428     Z_ElementSpec *p;
 429
 430     switch (c->which)
 431     {
 432         case Z_RecordComp_simple:
 433             if (c->u.simple->which != Z_ElementSetNames_generic)
 434                 return 26; /* only generic form supported. Fix this later */
 435             if (!(eset = data1_getesetbyname(n->u.root.absyn,
 436                 c->u.simple->u.generic)))
 437             {
 438                 logf(LOG_LOG, "Unknown esetname '%s'", c->u.simple->u.generic);
 439                 return 25; /* invalid esetname */
 440             }
 441             logf(LOG_DEBUG, "Esetname '%s' in simple compspec",
 442                 c->u.simple->u.generic);
 443             espec = eset->spec;
 444             break;
 445         case Z_RecordComp_complex:
 446             if (c->u.complex->generic)
 447             {
 448                 /* insert check for schema */
 449                 if ((p = c->u.complex->generic->elementSpec))
 450                     switch (p->which)
 451                     {
 452                         case Z_ElementSpec_elementSetName:
 453                             if (!(eset = data1_getesetbyname(n->u.root.absyn,
 454                                 p->u.elementSetName)))
 455                             {
 456                                 logf(LOG_LOG, "Unknown esetname '%s'",
 457                                     p->u.elementSetName);
 458                                 return 25; /* invalid esetname */
 459                             }
 460                             logf(LOG_DEBUG, "Esetname '%s' in complex compspec",
 461                                 p->u.elementSetName);
 462                             espec = eset->spec;
 463                             break;
 464                         case Z_ElementSpec_externalSpec:
 465                             if (p->u.externalSpec->which == Z_External_espec1)
 466                             {
 467                                 logf(LOG_DEBUG, "Got Espec-1");
 468                                 espec = p->u.externalSpec-> u.espec1;
 469                             }
 470                             else
 471                             {
 472                                 logf(LOG_LOG, "Unknown external espec.");
 473                                 return 25; /* bad. what is proper diagnostic? */
 474                             }
 475                             break;
 476                     }
 477             }
 478             else
 479                 return 26; /* fix */
 480     }
 481     if (espec)
 482         return data1_doespec1(n, espec);
 483     else
 484         return -1;
 485 }
 486
 487 static int grs_retrieve(struct recRetrieveCtrl *p)
 488 {
 489     data1_node *node = 0, *onode = 0;
 490     data1_node *new;
 491     data1_maptab *map;
 492     int res, selected = 0;
 493     NMEM mem = nmem_create();
 494     struct grs_read_info gri;
 495
 496     gri.readf = p->readf;
 497     gri.seekf = p->seekf;
 498     gri.tellf = p->tellf;
 499     gri.endf = NULL;
 500     gri.fh = p->fh;
 501     gri.offset = 0;
 502     gri.mem = mem;
 503
 504     node = read_grs_type (&gri, p->subType);
 505 /* node = data1_read_record(p->readf, p->fh, mem); */
 506     if (!node)
 507     {
 508         p->diagnostic = 2;
 509         return 0;
 510     }
 511     if (p->score >= 0 && (new = data1_insert_taggeddata(node, node, "rank",
 512         mem)))
 513     {
 514         new->u.data.what = DATA1I_num;
 515         new->u.data.data = new->u.data.lbuf;
 516         sprintf(new->u.data.data, "%d", p->score);
 517         new->u.data.len = strlen(new->u.data.data);
 518     }
 519     if ((new = data1_insert_taggeddata(node, node, "localControlNumber", mem)))
 520     {
 521         new->u.data.what = DATA1I_text;
 522         new->u.data.data = new->u.data.lbuf;
 523         sprintf(new->u.data.data, "%d", p->localno);
 524         new->u.data.len = strlen(new->u.data.data);
 525     }
 526     if (p->input_format == VAL_GRS1 && node->u.root.absyn &&
 527         node->u.root.absyn->reference != VAL_NONE)
 528     {
 529         oident oe;
 530         Odr_oid *oid;
 531
 532         oe.proto = PROTO_Z3950;
 533         oe.oclass = CLASS_SCHEMA;
 534         oe.value = node->u.root.absyn->reference;
 535
 536         if ((oid = oid_getoidbyent(&oe)))
 537         {
 538             char tmp[128];
 539             char *p = tmp;
 540             int *ii;
 541
 542             for (ii = oid; *ii >= 0; ii++)
 543             {
 544                 if (p != tmp)
 545                     *(p++) = '.';
 546                 sprintf(p, "%d", *ii);
 547                 p += strlen(p);
 548             }
 549             *(p++) = '\0';
 550
 551             if ((new = data1_insert_taggeddata(node, node, "schemaIdentifier",
 552                 mem)))
 553             {
 554                 new->u.data.what = DATA1I_oid;
 555                 new->u.data.data = nmem_malloc(mem, p - tmp);
 556                 memcpy(new->u.data.data, tmp, p - tmp);
 557                 new->u.data.len = p - tmp;
 558             }
 559         }
 560     }
 561
 562     /*
 563      * Does the requested format match a known schema-mapping? (this reflects
 564      * the overlap of schema and formatting which is inherent in the MARC
 565      * family)
 566      * NOTE: This should look at the schema-specification in the compspec
 567      * as well.
 568      */
 569     for (map = node->u.root.absyn->maptabs; map; map = map->next)
 570         if (map->target_absyn_ref == p->input_format)
 571         {
 572             onode = node;
 573             if (!(node = data1_map_record(onode, map, mem)))
 574             {
 575                 p->diagnostic = 14;
 576                 return 0;
 577             }
 578
 579             break;
 580         }
 581
 582     if (p->comp && (res = process_comp(node, p->comp)) > 0)
 583     {
 584         p->diagnostic = res;
 585         if (onode)
 586             data1_free_tree(onode);
 587         data1_free_tree(node);
 588         nmem_destroy(mem);
 589         return 0;
 590     }
 591     else if (p->comp && !res)
 592         selected = 1;
 593
 594     switch (p->output_format = (p->input_format != VAL_NONE ?
 595         p->input_format : VAL_SUTRS))
 596     {
 597         data1_marctab *marctab;
 598         int dummy;
 599
 600         case VAL_GRS1:
 601             dummy = 0;
 602             if (!(p->rec_buf = data1_nodetogr(node, selected, p->odr, &dummy)))
 603                 p->diagnostic = 2; /* this should be better specified */
 604             else
 605                 p->rec_len = -1;
 606             break;
 607         case VAL_EXPLAIN:
 608             if (!(p->rec_buf = data1_nodetoexplain(node, selected, p->odr)))
 609                 p->diagnostic = 2; /* this should be better specified */
 610             else
 611                 p->rec_len = -1;
 612             break;
 613         case VAL_SUMMARY:
 614             if (!(p->rec_buf = data1_nodetosummary(node, selected, p->odr)))
 615                 p->diagnostic = 2;
 616             else
 617                 p->rec_len = -1;
 618             break;
 619         case VAL_SUTRS:
 620             if (!(p->rec_buf = data1_nodetobuf(node, selected,
 621                 (int*)&p->rec_len)))
 622             {
 623                 p->diagnostic = 2;
 624                 break;
 625             }
 626             break;
 627         case VAL_SOIF:
 628             if (!(p->rec_buf = data1_nodetosoif(node, selected,
 629                 (int*)&p->rec_len)))
 630             {
 631                 p->diagnostic = 2;
 632                 break;
 633             }
 634             break;
 635         default:
 636             for (marctab = node->u.root.absyn->marc; marctab;
 637                 marctab = marctab->next)
 638                 if (marctab->reference == p->input_format)
 639                     break;
 640             if (!marctab)
 641             {
 642                 p->diagnostic = 227;
 643                 break;
 644             }
 645             if (!(p->rec_buf = data1_nodetomarc(marctab, node, selected,
 646                 (int*)&p->rec_len)))
 647             {
 648                 p->diagnostic = 2;
 649                 break;
 650             }
 651     }
 652     if (node)
 653         data1_free_tree(node);
 654     if (onode)
 655         data1_free_tree(onode);
 656     nmem_destroy(mem);
 657     return 0;
 658 }
 659
 660 static struct recType grs_type =
 661 {
 662     "grs",
 663     grs_init,
 664     grs_extract,
 665     grs_retrieve
 666 };
 667
 668 RecType recTypeGrs = &grs_type;