recctrl/recgrs.c

   1 /* $Id: recgrs.c,v 1.68 2002-10-08 22:17:44 adam Exp $
   2    Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002
   3    Index Data Aps
   4
   5 This file is part of the Zebra server.
   6
   7 Zebra is free software; you can redistribute it and/or modify it under
   8 the terms of the GNU General Public License as published by the Free
   9 Software Foundation; either version 2, or (at your option) any later
  10 version.
  11
  12 Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
  13 WARRANTY; without even the implied warranty of MERCHANTABILITY or
  14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15 for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with Zebra; see the file LICENSE.zebra.  If not, write to the
  19 Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
  20 02111-1307, USA.
  21 */
  22
  23 #include <stdio.h>
  24 #include <assert.h>
  25 #include <sys/types.h>
  26 #ifndef WIN32
  27 #include <unistd.h>
  28 #endif
  29
  30 #include <yaz/log.h>
  31 #include <yaz/oid.h>
  32
  33 #include <recctrl.h>
  34 #include "grsread.h"
  35
  36 #define GRS_MAX_WORD 512
  37
  38 struct grs_handler {
  39     RecTypeGrs type;
  40     void *clientData;
  41     int initFlag;
  42     struct grs_handler *next;
  43 };
  44
  45 struct grs_handlers {
  46     struct grs_handler *handlers;
  47 };
  48
  49 static int read_grs_type (struct grs_handlers *h,
  50                           struct grs_read_info *p, const char *type,
  51                           data1_node **root)
  52 {
  53     struct grs_handler *gh = h->handlers;
  54     const char *cp = strchr (type, '.');
  55
  56     if (cp == NULL || cp == type)
  57     {
  58         cp = strlen(type) + type;
  59         *p->type = 0;
  60     }
  61     else
  62         strcpy (p->type, cp+1);
  63     for (gh = h->handlers; gh; gh = gh->next)
  64     {
  65         if (!memcmp (type, gh->type->type, cp-type))
  66         {
  67             if (!gh->initFlag)
  68             {
  69                 gh->initFlag = 1;
  70                 gh->clientData = (*gh->type->init)();
  71             }
  72             p->clientData = gh->clientData;
  73             *root = (gh->type->read)(p);
  74             gh->clientData = p->clientData;
  75             return 0;
  76         }
  77     }
  78     return 1;
  79 }
  80
  81 static void grs_add_handler (struct grs_handlers *h, RecTypeGrs t)
  82 {
  83     struct grs_handler *gh = (struct grs_handler *) xmalloc (sizeof(*gh));
  84     gh->next = h->handlers;
  85     h->handlers = gh;
  86     gh->initFlag = 0;
  87     gh->clientData = 0;
  88     gh->type = t;
  89 }
  90
  91 static void *grs_init(RecType recType)
  92 {
  93     struct grs_handlers *h = (struct grs_handlers *) xmalloc (sizeof(*h));
  94     h->handlers = 0;
  95
  96     grs_add_handler (h, recTypeGrs_sgml);
  97     grs_add_handler (h, recTypeGrs_regx);
  98 #if HAVE_TCL_H
  99     grs_add_handler (h, recTypeGrs_tcl);
 100 #endif
 101     grs_add_handler (h, recTypeGrs_marc);
 102 #if HAVE_EXPAT_H
 103     grs_add_handler (h, recTypeGrs_xml);
 104 #endif
 105     return h;
 106 }
 107
 108 static void grs_destroy(void *clientData)
 109 {
 110     struct grs_handlers *h = (struct grs_handlers *) clientData;
 111     struct grs_handler *gh = h->handlers, *gh_next;
 112     while (gh)
 113     {
 114         gh_next = gh->next;
 115         if (gh->initFlag)
 116             (*gh->type->destroy)(gh->clientData);
 117         xfree (gh);
 118         gh = gh_next;
 119     }
 120     xfree (h);
 121 }
 122
 123 /* use
 124      1   start element (tag)
 125      2   end element
 126      3   start attr (and attr-exact)
 127      4   end attr
 128
 129   1016   cdata
 130   1015   attr data
 131 */
 132
 133 static void index_xpath (data1_node *n, struct recExtractCtrl *p,
 134                          int level, RecWord *wrd, int use)
 135 {
 136     int i;
 137     char tag_path_full[1024];
 138     size_t flen = 0;
 139     data1_node *nn;
 140
 141     switch (n->which)
 142     {
 143     case DATA1N_data:
 144         wrd->reg_type = 'w';
 145         wrd->string = n->u.data.data;
 146         wrd->length = n->u.data.len;
 147         wrd->attrSet = VAL_IDXPATH,
 148         wrd->attrUse = use;
 149         if (p->flagShowRecords)
 150         {
 151             printf("%*s data=", (level + 1) * 4, "");
 152             for (i = 0; i<wrd->length && i < 8; i++)
 153                 fputc (wrd->string[i], stdout);
 154             printf("\n");
 155         }
 156         else
 157         {
 158             (*p->tokenAdd)(wrd);
 159         }
 160         break;
 161     case DATA1N_tag:
 162         for (nn = n; nn; nn = nn->parent)
 163         {
 164             if (nn->which == DATA1N_tag)
 165             {
 166                 size_t tlen = strlen(nn->u.tag.tag);
 167                 if (tlen + flen > (sizeof(tag_path_full)-2))
 168                     return;
 169                 memcpy (tag_path_full + flen, nn->u.tag.tag, tlen);
 170                 flen += tlen;
 171                 tag_path_full[flen++] = '/';
 172             }
 173             else if (nn->which == DATA1N_root)
 174                 break;
 175         }
 176         wrd->reg_type = '0';
 177         wrd->string = tag_path_full;
 178         wrd->length = flen;
 179         wrd->attrSet = VAL_IDXPATH;
 180         wrd->attrUse = use;
 181         if (p->flagShowRecords)
 182         {
 183             printf("%*s tag=", (level + 1) * 4, "");
 184             for (i = 0; i<wrd->length && i < 40; i++)
 185                 fputc (wrd->string[i], stdout);
 186             if (i == 40)
 187                 printf (" ..");
 188             printf("\n");
 189         }
 190         else
 191         {
 192             data1_xattr *xp;
 193             (*p->tokenAdd)(wrd);   /* index element pag (AKA tag path) */
 194             if (use == 1)
 195             {
 196                 for (xp = n->u.tag.attributes; xp; xp = xp->next)
 197                 {
 198                     char comb[512];
 199                     /* attribute  (no value) */
 200                     wrd->reg_type = '0';
 201                     wrd->attrUse = 3;
 202                     wrd->string = xp->name;
 203                     wrd->length = strlen(xp->name);
 204
 205                     wrd->seqno--;
 206                     (*p->tokenAdd)(wrd);
 207
 208                     if (xp->value &&
 209                         strlen(xp->name) + strlen(xp->value) < sizeof(comb)-2)
 210                     {
 211                         /* attribute value exact */
 212                         strcpy (comb, xp->name);
 213                         strcat (comb, "=");
 214                         strcat (comb, xp->value);
 215
 216                         wrd->attrUse = 3;
 217                         wrd->reg_type = '0';
 218                         wrd->string = comb;
 219                         wrd->length = strlen(comb);
 220                         wrd->seqno--;
 221
 222                         (*p->tokenAdd)(wrd);
 223                     }
 224                 }
 225                 for (xp = n->u.tag.attributes; xp; xp = xp->next)
 226                 {
 227                     char attr_tag_path_full[1024];
 228                     int int_len = flen;
 229
 230                     sprintf (attr_tag_path_full, "@%s/%.*s",
 231                              xp->name, int_len, tag_path_full);
 232
 233                     wrd->reg_type = '0';
 234                     wrd->attrUse = 1;
 235                     wrd->string = attr_tag_path_full;
 236                     wrd->length = strlen(attr_tag_path_full);
 237                     (*p->tokenAdd)(wrd);
 238
 239                     if (xp->value)
 240                     {
 241                         wrd->attrUse = 1015;
 242                         wrd->reg_type = 'w';
 243                         wrd->string = xp->value;
 244                         wrd->length = strlen(xp->value);
 245                         (*p->tokenAdd)(wrd);
 246                     }
 247
 248                     wrd->reg_type = '0';
 249                     wrd->attrUse = 2;
 250                     wrd->string = attr_tag_path_full;
 251                     wrd->length = strlen(attr_tag_path_full);
 252                     (*p->tokenAdd)(wrd);
 253                 }
 254             }
 255         }
 256     }
 257 }
 258
 259 static void index_termlist (data1_node *par, data1_node *n,
 260                             struct recExtractCtrl *p, int level, RecWord *wrd)
 261 {
 262     data1_termlist *tlist = 0;
 263     data1_datatype dtype = DATA1K_string;
 264     /*
 265      * cycle up towards the root until we find a tag with an att..
 266      * this has the effect of indexing locally defined tags with
 267      * the attribute of their ancestor in the record.
 268      */
 269
 270     while (!par->u.tag.element)
 271         if (!par->parent || !(par=get_parent_tag(p->dh, par->parent)))
 272             break;
 273     if (!par || !(tlist = par->u.tag.element->termlists))
 274         return;
 275     if (par->u.tag.element->tag)
 276         dtype = par->u.tag.element->tag->kind;
 277
 278     for (; tlist; tlist = tlist->next)
 279     {
 280         char xattr[512];
 281         /* consider source */
 282         wrd->string = 0;
 283
 284         if (!strcmp (tlist->source, "data") && n->which == DATA1N_data)
 285         {
 286             wrd->string = n->u.data.data;
 287             wrd->length = n->u.data.len;
 288         }
 289         else if (!strcmp (tlist->source, "tag") && n->which == DATA1N_tag)
 290         {
 291             wrd->string = n->u.tag.tag;
 292             wrd->length = strlen(n->u.tag.tag);
 293         }
 294         else if (sscanf (tlist->source, "attr(%511[^)])", xattr) == 1 &&
 295             n->which == DATA1N_tag)
 296         {
 297             data1_xattr *p = n->u.tag.attributes;
 298             while (p && strcmp (p->name, xattr))
 299                 p = p->next;
 300             if (p)
 301             {
 302                 wrd->string = p->value;
 303                 wrd->length = strlen(p->value);
 304             }
 305         }
 306         if (wrd->string)
 307         {
 308             if (p->flagShowRecords)
 309             {
 310                 int i;
 311                 printf("%*sIdx: [%s]", (level + 1) * 4, "",
 312                        tlist->structure);
 313                 printf("%s:%s [%d] %s",
 314                        tlist->att->parent->name,
 315                        tlist->att->name, tlist->att->value,
 316                        tlist->source);
 317                 printf (" data=\"");
 318                 for (i = 0; i<wrd->length && i < 8; i++)
 319                     fputc (wrd->string[i], stdout);
 320                 fputc ('"', stdout);
 321                 if (wrd->length > 8)
 322                     printf (" ...");
 323                 fputc ('\n', stdout);
 324             }
 325             else
 326             {
 327                 wrd->reg_type = *tlist->structure;
 328                 wrd->attrSet = (int) (tlist->att->parent->reference);
 329                 wrd->attrUse = tlist->att->locals->local;
 330                 (*p->tokenAdd)(wrd);
 331             }
 332         }
 333     }
 334 }
 335
 336 static int dumpkeys(data1_node *n, struct recExtractCtrl *p, int level,
 337                     RecWord *wrd)
 338 {
 339     for (; n; n = n->next)
 340     {
 341         if (p->flagShowRecords) /* display element description to user */
 342         {
 343             if (n->which == DATA1N_root)
 344             {
 345                 printf("%*s", level * 4, "");
 346                 printf("Record type: '%s'\n", n->u.root.type);
 347             }
 348             else if (n->which == DATA1N_tag)
 349             {
 350                 data1_element *e;
 351
 352                 printf("%*s", level * 4, "");
 353                 if (!(e = n->u.tag.element))
 354                     printf("Local tag: '%s'\n", n->u.tag.tag);
 355                 else
 356                 {
 357                     printf("Elm: '%s' ", e->name);
 358                     if (e->tag)
 359                     {
 360                         data1_tag *t = e->tag;
 361
 362                         printf("TagNam: '%s' ", t->names->name);
 363                         printf("(");
 364                         if (t->tagset)
 365                             printf("%s[%d],", t->tagset->name, t->tagset->type);
 366                         else
 367                             printf("?,");
 368                         if (t->which == DATA1T_numeric)
 369                             printf("%d)", t->value.numeric);
 370                         else
 371                             printf("'%s')", t->value.string);
 372                     }
 373                     printf("\n");
 374                 }
 375             }
 376         }
 377
 378         if (n->which == DATA1N_tag)
 379         {
 380             index_termlist (n, n, p, level, wrd);
 381             /* index start tag */
 382             assert (n->root->u.root.absyn);
 383
 384             if (!n->root->u.root.absyn)
 385                 index_xpath (n, p, level, wrd, 1);
 386             else if (n->root->u.root.absyn->enable_xpath_indexing)
 387                 index_xpath (n, p, level, wrd, 1);
 388         }
 389
 390         if (n->child)
 391             if (dumpkeys(n->child, p, level + 1, wrd) < 0)
 392                 return -1;
 393
 394
 395         if (n->which == DATA1N_data)
 396         {
 397             data1_node *par = get_parent_tag(p->dh, n);
 398
 399             if (p->flagShowRecords)
 400             {
 401                 printf("%*s", level * 4, "");
 402                 printf("Data: ");
 403                 if (n->u.data.len > 256)
 404                     printf("'%.240s ... %.6s'\n", n->u.data.data,
 405                            n->u.data.data + n->u.data.len-6);
 406                 else if (n->u.data.len > 0)
 407                     printf("'%.*s'\n", n->u.data.len, n->u.data.data);
 408                 else
 409                     printf("NULL\n");
 410             }
 411
 412             if (par)
 413                 index_termlist (par, n, p, level, wrd);
 414             if (!n->root->u.root.absyn)
 415                 index_xpath (n, p, level, wrd, 1016);
 416             else if (n->root->u.root.absyn->enable_xpath_indexing)
 417                 index_xpath (n, p, level, wrd, 1016);
 418         }
 419
 420         if (n->which == DATA1N_tag)
 421         {
 422             /* index end tag */
 423             if (!n->root->u.root.absyn)
 424                 index_xpath (n, p, level, wrd, 2);
 425             else if (n->root->u.root.absyn->enable_xpath_indexing)
 426                 index_xpath (n, p, level, wrd, 2);
 427         }
 428
 429         if (p->flagShowRecords && n->which == DATA1N_root)
 430         {
 431             printf("%*s-------------\n\n", level * 4, "");
 432         }
 433     }
 434     return 0;
 435 }
 436
 437 int grs_extract_tree(struct recExtractCtrl *p, data1_node *n)
 438 {
 439     oident oe;
 440     int oidtmp[OID_SIZE];
 441     RecWord wrd;
 442
 443     oe.proto = PROTO_Z3950;
 444     oe.oclass = CLASS_SCHEMA;
 445     if (n->u.root.absyn)
 446     {
 447         oe.value = n->u.root.absyn->reference;
 448
 449         if ((oid_ent_to_oid (&oe, oidtmp)))
 450             (*p->schemaAdd)(p, oidtmp);
 451     }
 452     (*p->init)(p, &wrd);
 453
 454     return dumpkeys(n, p, 0, &wrd);
 455 }
 456
 457 static int grs_extract_sub(struct grs_handlers *h, struct recExtractCtrl *p,
 458                            NMEM mem)
 459 {
 460     data1_node *n;
 461     struct grs_read_info gri;
 462     oident oe;
 463     int oidtmp[OID_SIZE];
 464     RecWord wrd;
 465
 466     gri.readf = p->readf;
 467     gri.seekf = p->seekf;
 468     gri.tellf = p->tellf;
 469     gri.endf = p->endf;
 470     gri.fh = p->fh;
 471     gri.offset = p->offset;
 472     gri.mem = mem;
 473     gri.dh = p->dh;
 474
 475     if (read_grs_type (h, &gri, p->subType, &n))
 476         return RECCTRL_EXTRACT_ERROR_NO_SUCH_FILTER;
 477     if (!n)
 478         return RECCTRL_EXTRACT_EOF;
 479     oe.proto = PROTO_Z3950;
 480     oe.oclass = CLASS_SCHEMA;
 481 #if 0
 482     if (!n->u.root.absyn)
 483         return RECCTRL_EXTRACT_ERROR;
 484 #endif
 485     if (n->u.root.absyn)
 486     {
 487         oe.value = n->u.root.absyn->reference;
 488         if ((oid_ent_to_oid (&oe, oidtmp)))
 489             (*p->schemaAdd)(p, oidtmp);
 490     }
 491
 492     /* ensure our data1 tree is UTF-8 */
 493     data1_iconv (p->dh, mem, n, "UTF-8", data1_get_encoding(p->dh, n));
 494
 495 #if 0
 496     data1_pr_tree (p->dh, n, stdout);
 497 #endif
 498
 499     (*p->init)(p, &wrd);
 500     if (dumpkeys(n, p, 0, &wrd) < 0)
 501     {
 502         data1_free_tree(p->dh, n);
 503         return RECCTRL_EXTRACT_ERROR_GENERIC;
 504     }
 505     data1_free_tree(p->dh, n);
 506     return RECCTRL_EXTRACT_OK;
 507 }
 508
 509 static int grs_extract(void *clientData, struct recExtractCtrl *p)
 510 {
 511     int ret;
 512     NMEM mem = nmem_create ();
 513     struct grs_handlers *h = (struct grs_handlers *) clientData;
 514
 515     ret = grs_extract_sub(h, p, mem);
 516     nmem_destroy(mem);
 517     return ret;
 518 }
 519
 520 /*
 521  * Return: -1: Nothing done. 0: Ok. >0: Bib-1 diagnostic.
 522  */
 523 static int process_comp(data1_handle dh, data1_node *n, Z_RecordComposition *c)
 524 {
 525     data1_esetname *eset;
 526     Z_Espec1 *espec = 0;
 527     Z_ElementSpec *p;
 528
 529     switch (c->which)
 530     {
 531     case Z_RecordComp_simple:
 532         if (c->u.simple->which != Z_ElementSetNames_generic)
 533             return 26; /* only generic form supported. Fix this later */
 534         if (!(eset = data1_getesetbyname(dh, n->u.root.absyn,
 535                                          c->u.simple->u.generic)))
 536         {
 537             logf(LOG_LOG, "Unknown esetname '%s'", c->u.simple->u.generic);
 538             return 25; /* invalid esetname */
 539         }
 540         logf(LOG_DEBUG, "Esetname '%s' in simple compspec",
 541              c->u.simple->u.generic);
 542         espec = eset->spec;
 543         break;
 544     case Z_RecordComp_complex:
 545         if (c->u.complex->generic)
 546         {
 547             /* insert check for schema */
 548             if ((p = c->u.complex->generic->elementSpec))
 549             {
 550                 switch (p->which)
 551                 {
 552                 case Z_ElementSpec_elementSetName:
 553                     if (!(eset =
 554                           data1_getesetbyname(dh, n->u.root.absyn,
 555                                               p->u.elementSetName)))
 556                     {
 557                         logf(LOG_LOG, "Unknown esetname '%s'",
 558                              p->u.elementSetName);
 559                         return 25; /* invalid esetname */
 560                     }
 561                     logf(LOG_DEBUG, "Esetname '%s' in complex compspec",
 562                          p->u.elementSetName);
 563                     espec = eset->spec;
 564                     break;
 565                 case Z_ElementSpec_externalSpec:
 566                     if (p->u.externalSpec->which == Z_External_espec1)
 567                     {
 568                         logf(LOG_DEBUG, "Got Espec-1");
 569                         espec = p->u.externalSpec-> u.espec1;
 570                     }
 571                     else
 572                     {
 573                         logf(LOG_LOG, "Unknown external espec.");
 574                         return 25; /* bad. what is proper diagnostic? */
 575                     }
 576                     break;
 577                 }
 578             }
 579         }
 580         else
 581             return 26; /* fix */
 582     }
 583     if (espec)
 584     {
 585         logf (LOG_DEBUG, "Element: Espec-1 match");
 586         return data1_doespec1(dh, n, espec);
 587     }
 588     else
 589     {
 590         logf (LOG_DEBUG, "Element: all match");
 591         return -1;
 592     }
 593 }
 594
 595 /* Add Zebra info in separate namespace ...
 596         <root
 597          ...
 598          <metadata xmlns="http://www.indexdata.dk/zebra/">
 599           <size>359</size>
 600           <localnumber>447</localnumber>
 601           <filename>records/genera.xml</filename>
 602          </metadata>
 603         </root>
 604 */
 605
 606 static void zebra_xml_metadata (struct recRetrieveCtrl *p, data1_node *top,
 607                                 NMEM mem)
 608 {
 609     const char *idzebra_ns[3];
 610     const char *i2 = "\n  ";
 611     const char *i4 = "\n    ";
 612     data1_node *n;
 613
 614     idzebra_ns[0] = "xmlns";
 615     idzebra_ns[1] = "http://www.indexdata.dk/zebra/";
 616     idzebra_ns[2] = 0;
 617
 618     data1_mk_text (p->dh, mem, i2, top);
 619
 620     n = data1_mk_tag (p->dh, mem, "idzebra", idzebra_ns, top);
 621
 622     data1_mk_text (p->dh, mem, "\n", top);
 623
 624     data1_mk_text (p->dh, mem, i4, n);
 625
 626     data1_mk_tag_data_int (p->dh, n, "size", p->recordSize, mem);
 627
 628     if (p->score != -1)
 629     {
 630         data1_mk_text (p->dh, mem, i4, n);
 631         data1_mk_tag_data_int (p->dh, n, "score", p->score, mem);
 632     }
 633     data1_mk_text (p->dh, mem, i4, n);
 634     data1_mk_tag_data_int (p->dh, n, "localnumber", p->localno, mem);
 635     if (p->fname)
 636     {
 637         data1_mk_text (p->dh, mem, i4, n);
 638         data1_mk_tag_data_text(p->dh, n, "filename", p->fname, mem);
 639     }
 640     data1_mk_text (p->dh, mem, i2, n);
 641 }
 642
 643 static int grs_retrieve(void *clientData, struct recRetrieveCtrl *p)
 644 {
 645     data1_node *node = 0, *onode = 0, *top;
 646     data1_node *dnew;
 647     data1_maptab *map;
 648     int res, selected = 0;
 649     NMEM mem;
 650     struct grs_read_info gri;
 651     char *tagname;
 652     struct grs_handlers *h = (struct grs_handlers *) clientData;
 653     int requested_schema = VAL_NONE;
 654     data1_marctab *marctab;
 655     int dummy;
 656
 657     mem = nmem_create();
 658     gri.readf = p->readf;
 659     gri.seekf = p->seekf;
 660     gri.tellf = p->tellf;
 661     gri.endf = NULL;
 662     gri.fh = p->fh;
 663     gri.offset = 0;
 664     gri.mem = mem;
 665     gri.dh = p->dh;
 666
 667     logf (LOG_DEBUG, "grs_retrieve");
 668     if (read_grs_type (h, &gri, p->subType, &node))
 669     {
 670         p->diagnostic = 14;
 671         nmem_destroy (mem);
 672         return 0;
 673     }
 674     if (!node)
 675     {
 676         p->diagnostic = 14;
 677         nmem_destroy (mem);
 678         return 0;
 679     }
 680     /* ensure our data1 tree is UTF-8 */
 681     data1_iconv (p->dh, mem, node, "UTF-8", data1_get_encoding(p->dh, node));
 682
 683 #if 0
 684     data1_pr_tree (p->dh, node, stdout);
 685 #endif
 686     top = data1_get_root_tag (p->dh, node);
 687
 688     logf (LOG_DEBUG, "grs_retrieve: size");
 689     if ((dnew = data1_mk_tag_data_wd(p->dh, top, "size", mem)))
 690     {
 691         dnew->u.data.what = DATA1I_text;
 692         dnew->u.data.data = dnew->lbuf;
 693         sprintf(dnew->u.data.data, "%d", p->recordSize);
 694         dnew->u.data.len = strlen(dnew->u.data.data);
 695     }
 696
 697     tagname = res_get_def(p->res, "tagrank", "rank");
 698     if (strcmp(tagname, "0") && p->score >= 0 &&
 699         (dnew = data1_mk_tag_data_wd(p->dh, top, tagname, mem)))
 700     {
 701         logf (LOG_DEBUG, "grs_retrieve: %s", tagname);
 702         dnew->u.data.what = DATA1I_num;
 703         dnew->u.data.data = dnew->lbuf;
 704         sprintf(dnew->u.data.data, "%d", p->score);
 705         dnew->u.data.len = strlen(dnew->u.data.data);
 706     }
 707
 708     tagname = res_get_def(p->res, "tagsysno", "localControlNumber");
 709     if (strcmp(tagname, "0") && p->localno > 0 &&
 710          (dnew = data1_mk_tag_data_wd(p->dh, top, tagname, mem)))
 711     {
 712         logf (LOG_DEBUG, "grs_retrieve: %s", tagname);
 713         dnew->u.data.what = DATA1I_text;
 714         dnew->u.data.data = dnew->lbuf;
 715
 716         sprintf(dnew->u.data.data, "%d", p->localno);
 717         dnew->u.data.len = strlen(dnew->u.data.data);
 718     }
 719 #if 0
 720     data1_pr_tree (p->dh, node, stdout);
 721 #endif
 722     if (p->comp && p->comp->which == Z_RecordComp_complex &&
 723         p->comp->u.complex->generic &&
 724         p->comp->u.complex->generic->schema)
 725     {
 726         oident *oe = oid_getentbyoid (p->comp->u.complex->generic->schema);
 727         if (oe)
 728             requested_schema = oe->value;
 729     }
 730
 731     /* If schema has been specified, map if possible, then check that
 732      * we got the right one
 733      */
 734     if (requested_schema != VAL_NONE)
 735     {
 736         logf (LOG_DEBUG, "grs_retrieve: schema mapping");
 737         for (map = node->u.root.absyn->maptabs; map; map = map->next)
 738         {
 739             if (map->target_absyn_ref == requested_schema)
 740             {
 741                 onode = node;
 742                 if (!(node = data1_map_record(p->dh, onode, map, mem)))
 743                 {
 744                     p->diagnostic = 14;
 745                     nmem_destroy (mem);
 746                     return 0;
 747                 }
 748                 break;
 749             }
 750         }
 751         if (node->u.root.absyn &&
 752             requested_schema != node->u.root.absyn->reference)
 753         {
 754             p->diagnostic = 238;
 755             nmem_destroy (mem);
 756             return 0;
 757         }
 758     }
 759     /*
 760      * Does the requested format match a known syntax-mapping? (this reflects
 761      * the overlap of schema and formatting which is inherent in the MARC
 762      * family)
 763      */
 764     yaz_log (LOG_DEBUG, "grs_retrieve: syntax mapping");
 765     if (node->u.root.absyn)
 766         for (map = node->u.root.absyn->maptabs; map; map = map->next)
 767         {
 768             if (map->target_absyn_ref == p->input_format)
 769             {
 770                 onode = node;
 771                 if (!(node = data1_map_record(p->dh, onode, map, mem)))
 772                 {
 773                     p->diagnostic = 14;
 774                     nmem_destroy (mem);
 775                     return 0;
 776                 }
 777                 break;
 778             }
 779         }
 780     yaz_log (LOG_DEBUG, "grs_retrieve: schemaIdentifier");
 781     if (node->u.root.absyn &&
 782         node->u.root.absyn->reference != VAL_NONE &&
 783         p->input_format == VAL_GRS1)
 784     {
 785         oident oe;
 786         Odr_oid *oid;
 787         int oidtmp[OID_SIZE];
 788
 789         oe.proto = PROTO_Z3950;
 790         oe.oclass = CLASS_SCHEMA;
 791         oe.value = node->u.root.absyn->reference;
 792
 793         if ((oid = oid_ent_to_oid (&oe, oidtmp)))
 794         {
 795             char tmp[128];
 796             data1_handle dh = p->dh;
 797             char *p = tmp;
 798             int *ii;
 799
 800             for (ii = oid; *ii >= 0; ii++)
 801             {
 802                 if (p != tmp)
 803                         *(p++) = '.';
 804                 sprintf(p, "%d", *ii);
 805                 p += strlen(p);
 806             }
 807             if ((dnew = data1_mk_tag_data_wd(dh, top,
 808                                              "schemaIdentifier", mem)))
 809             {
 810                 dnew->u.data.what = DATA1I_oid;
 811                 dnew->u.data.data = (char *) nmem_malloc(mem, p - tmp);
 812                 memcpy(dnew->u.data.data, tmp, p - tmp);
 813                 dnew->u.data.len = p - tmp;
 814             }
 815         }
 816     }
 817
 818     logf (LOG_DEBUG, "grs_retrieve: element spec");
 819     if (p->comp && (res = process_comp(p->dh, node, p->comp)) > 0)
 820     {
 821         p->diagnostic = res;
 822         if (onode)
 823             data1_free_tree(p->dh, onode);
 824         data1_free_tree(p->dh, node);
 825         nmem_destroy(mem);
 826         return 0;
 827     }
 828     else if (p->comp && !res)
 829         selected = 1;
 830
 831 #if 0
 832     data1_pr_tree (p->dh, node, stdout);
 833 #endif
 834     logf (LOG_DEBUG, "grs_retrieve: transfer syntax mapping");
 835     switch (p->output_format = (p->input_format != VAL_NONE ?
 836                                 p->input_format : VAL_SUTRS))
 837     {
 838     case VAL_TEXT_XML:
 839         zebra_xml_metadata (p, top, mem);
 840
 841 #if 0
 842         data1_pr_tree (p->dh, node, stdout);
 843 #endif
 844
 845         if (p->encoding)
 846             data1_iconv (p->dh, mem, node, p->encoding, "UTF-8");
 847
 848         if (!(p->rec_buf = data1_nodetoidsgml(p->dh, node, selected,
 849                                               &p->rec_len)))
 850             p->diagnostic = 238;
 851         else
 852         {
 853             char *new_buf = (char*) odr_malloc (p->odr, p->rec_len);
 854             memcpy (new_buf, p->rec_buf, p->rec_len);
 855             p->rec_buf = new_buf;
 856         }
 857         break;
 858     case VAL_GRS1:
 859         dummy = 0;
 860         if (!(p->rec_buf = data1_nodetogr(p->dh, node, selected,
 861                                           p->odr, &dummy)))
 862             p->diagnostic = 238; /* not available in requested syntax */
 863         else
 864             p->rec_len = (size_t) (-1);
 865         break;
 866     case VAL_EXPLAIN:
 867         if (!(p->rec_buf = data1_nodetoexplain(p->dh, node, selected,
 868                                                p->odr)))
 869             p->diagnostic = 238;
 870         else
 871             p->rec_len = (size_t) (-1);
 872         break;
 873     case VAL_SUMMARY:
 874         if (!(p->rec_buf = data1_nodetosummary(p->dh, node, selected,
 875                                                p->odr)))
 876             p->diagnostic = 238;
 877         else
 878             p->rec_len = (size_t) (-1);
 879         break;
 880     case VAL_SUTRS:
 881         if (p->encoding)
 882             data1_iconv (p->dh, mem, node, p->encoding, "UTF-8");
 883         if (!(p->rec_buf = data1_nodetobuf(p->dh, node, selected,
 884                                            &p->rec_len)))
 885             p->diagnostic = 238;
 886         else
 887         {
 888             char *new_buf = (char*) odr_malloc (p->odr, p->rec_len);
 889             memcpy (new_buf, p->rec_buf, p->rec_len);
 890             p->rec_buf = new_buf;
 891         }
 892         break;
 893     case VAL_SOIF:
 894         if (!(p->rec_buf = data1_nodetosoif(p->dh, node, selected,
 895                                             &p->rec_len)))
 896             p->diagnostic = 238;
 897         else
 898         {
 899             char *new_buf = (char*) odr_malloc (p->odr, p->rec_len);
 900             memcpy (new_buf, p->rec_buf, p->rec_len);
 901             p->rec_buf = new_buf;
 902         }
 903         break;
 904     default:
 905         if (!node->u.root.absyn)
 906         {
 907             p->diagnostic = 238;
 908             break;
 909         }
 910         for (marctab = node->u.root.absyn->marc; marctab;
 911              marctab = marctab->next)
 912             if (marctab->reference == p->input_format)
 913                 break;
 914         if (!marctab)
 915         {
 916             p->diagnostic = 238;
 917             break;
 918         }
 919         if (p->encoding)
 920             data1_iconv (p->dh, mem, node, p->encoding, "UTF-8");
 921         if (!(p->rec_buf = data1_nodetomarc(p->dh, marctab, node,
 922                                         selected, &p->rec_len)))
 923             p->diagnostic = 238;
 924         else
 925         {
 926             char *new_buf = (char*) odr_malloc (p->odr, p->rec_len);
 927             memcpy (new_buf, p->rec_buf, p->rec_len);
 928                 p->rec_buf = new_buf;
 929         }
 930     }
 931     if (node)
 932         data1_free_tree(p->dh, node);
 933     if (onode)
 934         data1_free_tree(p->dh, onode);
 935     nmem_destroy(mem);
 936     return 0;
 937 }
 938
 939 static struct recType grs_type =
 940 {
 941     "grs",
 942     grs_init,
 943     grs_destroy,
 944     grs_extract,
 945     grs_retrieve
 946 };
 947
 948 RecType recTypeGrs = &grs_type;