Towards GPL
[idzebra-moved-to-github.git] / recctrl / recgrs.c
index 2302567..c41906f 100644 (file)
-/*
- * Copyright (C) 1994-2001, Index Data
- * All rights reserved.
- *
- * $Log: recgrs.c,v $
- * Revision 1.40  2001-03-29 21:31:31  adam
- * Fixed "record begin" for Tcl filter.
- *
- * Revision 1.39  2000/12/05 19:09:15  adam
- * Fixed problem where indexer could crash if abstract syntax was undefined.
- *
- * Revision 1.38  2000/12/05 14:44:58  adam
- * Fixed minor bug that could cause zmbol to break it data were emitted
- * with not parent tags.
- *
- * Revision 1.37  2000/12/05 12:22:53  adam
- * Termlist source implemented (so that we can index values of XML/SGML
- * attributes).
- *
- * Revision 1.36  2000/12/05 10:01:44  adam
- * Fixed bug regarding user-defined attribute sets.
- *
- * Revision 1.35  2000/11/29 15:21:31  adam
- * Fixed problem with passwd db.
- *
- * Revision 1.34  2000/02/25 13:24:49  adam
- * Fixed bug regarding pointer conversion that showed up on OSF V5.
- *
- * Revision 1.33  1999/11/30 13:48:04  adam
- * Improved installation. Updated for inclusion of YAZ header files.
- *
- * Revision 1.32  1999/09/07 07:19:21  adam
- * Work on character mapping. Implemented replace rules.
- *
- * Revision 1.31  1999/07/14 10:56:43  adam
- * Fixed potential memory leak.
- *
- * Revision 1.30  1999/07/06 12:26:41  adam
- * Retrieval handler obeys schema and handles XML transfer syntax.
- *
- * Revision 1.29  1999/05/26 07:49:14  adam
- * C++ compilation.
- *
- * Revision 1.28  1999/05/21 12:00:17  adam
- * Better diagnostics for extraction process.
- *
- * Revision 1.27  1999/05/20 12:57:18  adam
- * Implemented TCL filter. Updated recctrl system.
- *
- * Revision 1.26  1999/03/02 16:15:44  quinn
- * Added "tagsysno" and "tagrank" directives to zebra.cfg.
- *
- * Revision 1.25  1999/02/18 15:01:26  adam
- * Minor changes.
- *
- * Revision 1.24  1999/02/02 14:51:28  adam
- * Updated WIN32 code specific sections. Changed header.
- *
- * Revision 1.23  1998/10/18 07:51:10  adam
- * Changed one logf call.
- *
- * Revision 1.22  1998/10/16 08:14:37  adam
- * Updated record control system.
- *
- * Revision 1.21  1998/07/01 09:16:10  adam
- * Element localno only added when it's greater than 0.
- *
- * Revision 1.20  1998/05/20 10:12:26  adam
- * Implemented automatic EXPLAIN database maintenance.
- * Modified Zebra to work with ASN.1 compiled version of YAZ.
- *
- * Revision 1.19  1998/03/11 11:19:05  adam
- * Changed the way sequence numbers are generated.
- *
- * Revision 1.18  1998/03/05 08:41:31  adam
- * Minor changes.
- *
- * Revision 1.17  1998/02/10 12:03:06  adam
- * Implemented Sort.
- *
- * Revision 1.16  1998/01/29 13:38:17  adam
- * Fixed problem with mapping to record with unknown schema.
- *
- * Revision 1.15  1998/01/26 10:37:57  adam
- * Better diagnostics.
- *
- * Revision 1.14  1997/11/06 11:41:01  adam
- * Implemented "begin variant" for the sgml.regx filter.
- *
- * Revision 1.13  1997/10/31 12:35:44  adam
- * Added a few log statements.
- *
- * Revision 1.12  1997/10/29 12:02:22  adam
- * Using oid_ent_to_oid used instead of the non thread-safe oid_getoidbyent.
- *
- * Revision 1.11  1997/10/27 14:34:00  adam
- * Work on generic character mapping depending on "structure" field
- * in abstract syntax file.
- *
- * Revision 1.10  1997/09/18 08:59:21  adam
- * Extra generic handle for the character mapping routines.
- *
- * Revision 1.9  1997/09/17 12:19:21  adam
- * Zebra version corresponds to YAZ version 1.4.
- * Changed Zebra server so that it doesn't depend on global common_resource.
- *
- * Revision 1.8  1997/09/09 13:38:14  adam
- * Partial port to WIN95/NT.
- *
- * Revision 1.7  1997/09/05 15:30:10  adam
- * Changed prototype for chr_map_input - added const.
- * Added support for C++, headers uses extern "C" for public definitions.
- *
- * Revision 1.6  1997/09/04 13:54:40  adam
- * Added MARC filter - type grs.marc.<syntax> where syntax refers
- * to abstract syntax. New method tellf in retrieve/extract method.
- *
- * Revision 1.5  1997/07/15 16:29:03  adam
- * Initialized dummy variable to keep checker gcc happy.
- *
- * Revision 1.4  1997/04/30 08:56:08  quinn
- * null
- *
- * Revision 1.2  1996/10/11  16:06:43  quinn
- * Revision 1.3  1997/02/24 10:41:50  adam
- * Cleanup of code and commented out the "end element-end-record" code.
- *
- * Revision 1.2  1996/10/11 16:06:43  quinn
- * Fixed arguments to nodetogr
- *
- * Revision 1.1  1996/10/11  10:57:25  adam
- * New module recctrl. Used to manage records (extract/retrieval).
- *
- * Revision 1.29  1996/10/08 10:30:21  quinn
- * Fixed type mismatch
- *
- * Revision 1.28  1996/10/07  16:06:40  quinn
- * Added SOIF support
- *
- * Revision 1.27  1996/06/11  10:54:12  quinn
- * Relevance work
- *
- * Revision 1.26  1996/06/06  12:08:45  quinn
- * Added showRecord function
- *
- * Revision 1.25  1996/06/04  14:18:53  quinn
- * Charmap work
- *
- * Revision 1.24  1996/06/04  13:27:54  quinn
- * More work on charmapping
- *
- * Revision 1.23  1996/06/04  10:19:01  adam
- * Minor changes - removed include of ctype.h.
- *
- * Revision 1.22  1996/06/03  10:15:27  quinn
- * Various character-mapping.
- *
- * Revision 1.21  1996/05/31  13:27:24  quinn
- * Character-conversion in phrases, too.
- *
- * Revision 1.19  1996/05/16  15:31:14  quinn
- * a7
- *
- * Revision 1.18  1996/05/09  07:28:56  quinn
- * Work towards phrases and multiple registers
- *
- * Revision 1.17  1996/05/01  13:46:37  adam
- * First work on multiple records in one file.
- * New option, -offset, to the "unread" command in the filter module.
- *
- * Revision 1.16  1996/01/17  14:57:54  adam
- * Prototype changed for reader functions in extract/retrieve. File
- *  is identified by 'void *' instead of 'int.
- *
- * Revision 1.15  1996/01/08  19:15:47  adam
- * New input filter that works!
- *
- * Revision 1.14  1995/12/15  12:36:11  adam
- * Retrieval calls data1_read_regx when subType is specified.
- *
- * Revision 1.13  1995/12/15  12:24:43  quinn
- * *** empty log message ***
- *
- * Revision 1.12  1995/12/15  12:20:28  quinn
- * *** empty log message ***
- *
- * Revision 1.11  1995/12/15  12:07:57  quinn
- * Changed extraction strategy.
- *
- * Revision 1.10  1995/12/14  11:10:48  quinn
- * Explain work
- *
- * Revision 1.9  1995/12/13  17:14:05  quinn
- * *** empty log message ***
- *
- * Revision 1.8  1995/12/13  15:33:18  quinn
- * *** empty log message ***
- *
- * Revision 1.7  1995/12/13  13:45:39  quinn
- * Changed data1 to use nmem.
- *
- * Revision 1.6  1995/12/04  14:22:30  adam
- * Extra arg to recType_byName.
- * Started work on new regular expression parsed input to
- * structured records.
- *
- * Revision 1.5  1995/11/28  14:18:37  quinn
- * Set output_format.
- *
- * Revision 1.4  1995/11/21  13:14:49  quinn
- * Fixed end-of-data-field problem (maybe).
- *
- * Revision 1.3  1995/11/15  19:13:09  adam
- * Work on record management.
- *
- */
+/* $Id: recgrs.c,v 1.59 2002-08-02 19:26:56 adam Exp $
+   Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002
+   Index Data Aps
+
+This file is part of the Zebra server.
+
+Zebra is free software; you can redistribute it and/or modify it under
+the terms of the GNU General Public License as published by the Free
+Software Foundation; either version 2, or (at your option) any later
+version.
+
+Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
+WARRANTY; without even the implied warranty of MERCHANTABILITY or
+FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+for more details.
+
+You should have received a copy of the GNU General Public License
+along with Zebra; see the file LICENSE.zebra.  If not, write to the
+Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
+02111-1307, USA.
+*/
+
+
 
 #include <stdio.h>
 #include <assert.h>
@@ -275,7 +82,7 @@ static int read_grs_type (struct grs_handlers *h,
 
 static void grs_add_handler (struct grs_handlers *h, RecTypeGrs t)
 {
-    struct grs_handler *gh = (struct grs_handler *) malloc (sizeof(*gh));
+    struct grs_handler *gh = (struct grs_handler *) xmalloc (sizeof(*gh));
     gh->next = h->handlers;
     h->handlers = gh;
     gh->initFlag = 0;
@@ -285,7 +92,7 @@ static void grs_add_handler (struct grs_handlers *h, RecTypeGrs t)
 
 static void *grs_init(RecType recType)
 {
-    struct grs_handlers *h = (struct grs_handlers *) malloc (sizeof(*h));
+    struct grs_handlers *h = (struct grs_handlers *) xmalloc (sizeof(*h));
     h->handlers = 0;
 
     grs_add_handler (h, recTypeGrs_sgml);
@@ -294,6 +101,9 @@ static void *grs_init(RecType recType)
     grs_add_handler (h, recTypeGrs_tcl);
 #endif
     grs_add_handler (h, recTypeGrs_marc);
+#if YAZ_HAVE_EXPAT
+    grs_add_handler (h, recTypeGrs_xml);
+#endif
     return h;
 }
 
@@ -306,14 +116,147 @@ static void grs_destroy(void *clientData)
        gh_next = gh->next;
        if (gh->initFlag)
            (*gh->type->destroy)(gh->clientData);
-       free (gh);
+       xfree (gh);
        gh = gh_next;
     }
-    free (h);
+    xfree (h);
 }
 
-static void index_tag (data1_node *par, data1_node *n,
-                      struct recExtractCtrl *p, int level, RecWord *wrd)
+/* use
+     1   start element (tag)
+     2   end element
+     3   start attr (and attr-exact)
+     4   end attr
+
+  1016   cdata
+  1015   attr data
+*/
+
+static void index_xpath (data1_node *n, struct recExtractCtrl *p,
+                         int level, RecWord *wrd, int use)
+{
+    int i;
+    char tag_path_full[1024];
+    size_t flen = 0;
+    data1_node *nn;
+
+    switch (n->which)
+    {
+    case DATA1N_data:
+        wrd->reg_type = 'w';
+        wrd->string = n->u.data.data;
+        wrd->length = n->u.data.len;
+        wrd->attrSet = VAL_IDXPATH,
+        wrd->attrUse = use;
+        if (p->flagShowRecords)
+        {
+            printf("%*s data=", (level + 1) * 4, "");
+            for (i = 0; i<wrd->length && i < 8; i++)
+                fputc (wrd->string[i], stdout);
+            printf("\n");
+        }
+        else
+        {
+            (*p->tokenAdd)(wrd);
+        }
+        break;
+    case DATA1N_tag:
+        for (nn = n; nn; nn = nn->parent)
+        {
+            if (nn->which == DATA1N_tag)
+            {
+                size_t tlen = strlen(nn->u.tag.tag);
+                if (tlen + flen > (sizeof(tag_path_full)-2))
+                    return;
+                memcpy (tag_path_full + flen, nn->u.tag.tag, tlen);
+                flen += tlen;
+                tag_path_full[flen++] = '/';
+            }
+            else if (nn->which == DATA1N_root)
+                break;
+        }
+        wrd->reg_type = '0';
+        wrd->string = tag_path_full;
+        wrd->length = flen;
+        wrd->attrSet = VAL_IDXPATH;
+        wrd->attrUse = use;
+        if (p->flagShowRecords)
+        {
+            printf("%*s tag=", (level + 1) * 4, "");
+            for (i = 0; i<wrd->length && i < 40; i++)
+                fputc (wrd->string[i], stdout);
+            if (i == 40)
+                printf (" ..");
+            printf("\n");
+        }
+        else
+        {
+            data1_xattr *xp;
+            (*p->tokenAdd)(wrd);   /* index element pag (AKA tag path) */
+            if (use == 1)
+            {
+                for (xp = n->u.tag.attributes; xp; xp = xp->next)
+                {
+                    char comb[512];
+                    /* attribute  (no value) */
+                    wrd->reg_type = '0';
+                    wrd->attrUse = 3;
+                    wrd->string = xp->name;
+                    wrd->length = strlen(xp->name);
+                    
+                    wrd->seqno--;
+                    (*p->tokenAdd)(wrd);
+
+                    if (xp->value &&
+                        strlen(xp->name) + strlen(xp->value) < sizeof(comb)-2)
+                    {
+                        /* attribute value exact */
+                        strcpy (comb, xp->name);
+                        strcat (comb, "=");
+                        strcat (comb, xp->value);
+                        
+                        wrd->attrUse = 3;
+                        wrd->reg_type = '0';
+                        wrd->string = comb;
+                        wrd->length = strlen(comb);
+                        wrd->seqno--;
+                        
+                        (*p->tokenAdd)(wrd);
+                    }
+                }                
+                for (xp = n->u.tag.attributes; xp; xp = xp->next)
+                {
+                    char attr_tag_path_full[1024];
+                    
+                    sprintf (attr_tag_path_full, "@%s/%.*s",
+                             xp->name, flen, tag_path_full);
+
+                    wrd->reg_type = '0';
+                    wrd->attrUse = 1;
+                    wrd->string = attr_tag_path_full;
+                    wrd->length = strlen(attr_tag_path_full);
+                    (*p->tokenAdd)(wrd);
+                    
+                    wrd->attrUse = 1015;
+                    wrd->reg_type = 'w';
+                    wrd->string = xp->value;
+                    wrd->length = strlen(xp->value);
+                    
+                    (*p->tokenAdd)(wrd);
+                    
+                    wrd->reg_type = '0';
+                    wrd->attrUse = 2;
+                    wrd->string = attr_tag_path_full;
+                    wrd->length = strlen(attr_tag_path_full);
+                    (*p->tokenAdd)(wrd);
+                }
+            }
+        }
+    }
+}
+
+static void index_termlist (data1_node *par, data1_node *n,
+                            struct recExtractCtrl *p, int level, RecWord *wrd)
 {
     data1_termlist *tlist = 0;
     data1_datatype dtype = DATA1K_string;
@@ -342,6 +285,11 @@ static void index_tag (data1_node *par, data1_node *n,
            wrd->string = n->u.data.data;
            wrd->length = n->u.data.len;
        }
+       else if (!strcmp (tlist->source, "tag") && n->which == DATA1N_tag)
+        {
+           wrd->string = n->u.tag.tag;
+           wrd->length = strlen(n->u.tag.tag);
+       }
        else if (sscanf (tlist->source, "attr(%511[^)])", xattr) == 1 &&
            n->which == DATA1N_tag)
        {
@@ -384,10 +332,9 @@ static void index_tag (data1_node *par, data1_node *n,
     }
 }
 
-static int dumpkeys(data1_node *n, struct recExtractCtrl *p, int level)
+static int dumpkeys(data1_node *n, struct recExtractCtrl *p, int level,
+                    RecWord *wrd)
 {
-    RecWord wrd;
-    (*p->init)(p, &wrd);      /* set defaults */
     for (; n; n = n->next)
     {
        if (p->flagShowRecords) /* display element description to user */
@@ -395,7 +342,7 @@ static int dumpkeys(data1_node *n, struct recExtractCtrl *p, int level)
            if (n->which == DATA1N_root)
            {
                printf("%*s", level * 4, "");
-               printf("Record type: '%s'\n", n->u.root.absyn->name);
+                printf("Record type: '%s'\n", n->u.root.type);
            }
            else if (n->which == DATA1N_tag)
            {
@@ -427,15 +374,19 @@ static int dumpkeys(data1_node *n, struct recExtractCtrl *p, int level)
            }
        }
 
-       if (n->child)
-           if (dumpkeys(n->child, p, level + 1) < 0)
-               return -1;
-
        if (n->which == DATA1N_tag)
        {
-           index_tag (n, n, p, level, &wrd);
+            index_termlist (n, n, p, level, wrd);
+            /* index start tag */
+            if (!n->root->u.root.absyn)
+                index_xpath (n, p, level, wrd, 1);
        }
 
+       if (n->child)
+           if (dumpkeys(n->child, p, level + 1, wrd) < 0)
+               return -1;
+
+
        if (n->which == DATA1N_data)
        {
            data1_node *par = get_parent_tag(p->dh, n);
@@ -454,8 +405,20 @@ static int dumpkeys(data1_node *n, struct recExtractCtrl *p, int level)
            }
 
            if (par)
-               index_tag (par, n, p, level, &wrd);
+               index_termlist (par, n, p, level, wrd);
+            if (!n->root->u.root.absyn)
+                index_xpath (n, p, level, wrd, 1016);
+
        }
+
+       if (n->which == DATA1N_tag)
+       {
+            /* index end tag */
+            if (!n->root->u.root.absyn)
+                index_xpath (n, p, level, wrd, 2);
+       }
+
+
        if (p->flagShowRecords && n->which == DATA1N_root)
        {
            printf("%*s-------------\n\n", level * 4, "");
@@ -468,15 +431,20 @@ int grs_extract_tree(struct recExtractCtrl *p, data1_node *n)
 {
     oident oe;
     int oidtmp[OID_SIZE];
+    RecWord wrd;
 
     oe.proto = PROTO_Z3950;
     oe.oclass = CLASS_SCHEMA;
-    oe.value = n->u.root.absyn->reference;
-
-    if ((oid_ent_to_oid (&oe, oidtmp)))
-       (*p->schemaAdd)(p, oidtmp);
+    if (n->u.root.absyn)
+    {
+        oe.value = n->u.root.absyn->reference;
+        
+        if ((oid_ent_to_oid (&oe, oidtmp)))
+            (*p->schemaAdd)(p, oidtmp);
+    }
+    (*p->init)(p, &wrd);
 
-    return dumpkeys(n, p, 0);
+    return dumpkeys(n, p, 0, &wrd);
 }
 
 static int grs_extract_sub(struct grs_handlers *h, struct recExtractCtrl *p,
@@ -486,6 +454,7 @@ static int grs_extract_sub(struct grs_handlers *h, struct recExtractCtrl *p,
     struct grs_read_info gri;
     oident oe;
     int oidtmp[OID_SIZE];
+    RecWord wrd;
 
     gri.readf = p->readf;
     gri.seekf = p->seekf;
@@ -502,13 +471,26 @@ static int grs_extract_sub(struct grs_handlers *h, struct recExtractCtrl *p,
         return RECCTRL_EXTRACT_EOF;
     oe.proto = PROTO_Z3950;
     oe.oclass = CLASS_SCHEMA;
+#if 0
     if (!n->u.root.absyn)
         return RECCTRL_EXTRACT_ERROR;
-    oe.value = n->u.root.absyn->reference;
-    if ((oid_ent_to_oid (&oe, oidtmp)))
-       (*p->schemaAdd)(p, oidtmp);
+#endif
+    if (n->u.root.absyn)
+    {
+        oe.value = n->u.root.absyn->reference;
+        if ((oid_ent_to_oid (&oe, oidtmp)))
+            (*p->schemaAdd)(p, oidtmp);
+    }
+
+    /* ensure our data1 tree is UTF-8 */
+    data1_iconv (p->dh, mem, n, "UTF-8", data1_get_encoding(p->dh, n));
+
+#if 0
+    data1_pr_tree (p->dh, n, stdout);
+#endif
 
-    if (dumpkeys(n, p, 0) < 0)
+    (*p->init)(p, &wrd);
+    if (dumpkeys(n, p, 0, &wrd) < 0)
     {
        data1_free_tree(p->dh, n);
        return RECCTRL_EXTRACT_ERROR;
@@ -603,9 +585,33 @@ static int process_comp(data1_handle dh, data1_node *n, Z_RecordComposition *c)
     }
 }
 
+static void add_idzebra_info (struct recRetrieveCtrl *p, data1_node *top,
+                              NMEM mem)
+{
+    const char *idzebra_ns[7];
+
+    idzebra_ns[0] = "xmlns:idzebra";
+    idzebra_ns[1] = "http://www.indexdata.dk/zebra/";
+    idzebra_ns[2] = 0;
+
+    data1_tag_add_attr (p->dh, mem, top, idzebra_ns);
+
+    data1_mk_tag_data_int (p->dh, top, "idzebra:size", p->recordSize,
+                           mem);
+    if (p->score != -1)
+        data1_mk_tag_data_int (p->dh, top, "idzebra:score",
+                               p->score, mem);
+    
+    data1_mk_tag_data_int (p->dh, top, "idzebra:localnumber", p->localno,
+                           mem);
+    if (p->fname)
+        data1_mk_tag_data_text(p->dh, top, "idzebra:filename",
+                               p->fname, mem);
+}
+
 static int grs_retrieve(void *clientData, struct recRetrieveCtrl *p)
 {
-    data1_node *node = 0, *onode = 0;
+    data1_node *node = 0, *onode = 0, *top;
     data1_node *dnew;
     data1_maptab *map;
     int res, selected = 0;
@@ -614,6 +620,8 @@ static int grs_retrieve(void *clientData, struct recRetrieveCtrl *p)
     char *tagname;
     struct grs_handlers *h = (struct grs_handlers *) clientData;
     int requested_schema = VAL_NONE;
+    data1_marctab *marctab;
+    int dummy;
     
     mem = nmem_create();
     gri.readf = p->readf;
@@ -638,12 +646,16 @@ static int grs_retrieve(void *clientData, struct recRetrieveCtrl *p)
         nmem_destroy (mem);
        return 0;
     }
+    /* ensure our data1 tree is UTF-8 */
+    data1_iconv (p->dh, mem, node, "UTF-8", data1_get_encoding(p->dh, node));
+
 #if 0
     data1_pr_tree (p->dh, node, stdout);
 #endif
+    top = data1_get_root_tag (p->dh, node);
+
     logf (LOG_DEBUG, "grs_retrieve: size");
-    if ((dnew = data1_insert_taggeddata(p->dh, node, node,
-                                      "size", mem)))
+    if ((dnew = data1_mk_tag_data_wd(p->dh, top, "size", mem)))
     {
        dnew->u.data.what = DATA1I_text;
        dnew->u.data.data = dnew->lbuf;
@@ -653,7 +665,7 @@ static int grs_retrieve(void *clientData, struct recRetrieveCtrl *p)
 
     tagname = res_get_def(p->res, "tagrank", "rank");
     if (strcmp(tagname, "0") && p->score >= 0 &&
-       (dnew = data1_insert_taggeddata(p->dh, node, node, tagname, mem)))
+       (dnew = data1_mk_tag_data_wd(p->dh, top, tagname, mem)))
     {
         logf (LOG_DEBUG, "grs_retrieve: %s", tagname);
        dnew->u.data.what = DATA1I_num;
@@ -664,15 +676,18 @@ static int grs_retrieve(void *clientData, struct recRetrieveCtrl *p)
 
     tagname = res_get_def(p->res, "tagsysno", "localControlNumber");
     if (strcmp(tagname, "0") && p->localno > 0 &&
-        (dnew = data1_insert_taggeddata(p->dh, node, node, tagname, mem)))
+        (dnew = data1_mk_tag_data_wd(p->dh, top, tagname, mem)))
     {
         logf (LOG_DEBUG, "grs_retrieve: %s", tagname);
        dnew->u.data.what = DATA1I_text;
        dnew->u.data.data = dnew->lbuf;
+
        sprintf(dnew->u.data.data, "%d", p->localno);
        dnew->u.data.len = strlen(dnew->u.data.data);
     }
-
+#if 0
+    data1_pr_tree (p->dh, node, stdout);
+#endif
     if (p->comp && p->comp->which == Z_RecordComp_complex &&
        p->comp->u.complex->generic &&
        p->comp->u.complex->generic->schema)
@@ -715,22 +730,23 @@ static int grs_retrieve(void *clientData, struct recRetrieveCtrl *p)
      * the overlap of schema and formatting which is inherent in the MARC
      * family)
      */
-    logf (LOG_DEBUG, "grs_retrieve: syntax mapping");
-    for (map = node->u.root.absyn->maptabs; map; map = map->next)
-    {
-       if (map->target_absyn_ref == p->input_format)
-       {
-           onode = node;
-           if (!(node = data1_map_record(p->dh, onode, map, mem)))
-           {
-               p->diagnostic = 14;
-                nmem_destroy (mem);
-               return 0;
-           }
-           break;
-       }
-    }
-    logf (LOG_DEBUG, "grs_retrieve: schemaIdentifier");
+    yaz_log (LOG_DEBUG, "grs_retrieve: syntax mapping");
+    if (node->u.root.absyn)
+        for (map = node->u.root.absyn->maptabs; map; map = map->next)
+        {
+            if (map->target_absyn_ref == p->input_format)
+            {
+                onode = node;
+                if (!(node = data1_map_record(p->dh, onode, map, mem)))
+                {
+                    p->diagnostic = 14;
+                    nmem_destroy (mem);
+                    return 0;
+                }
+                break;
+            }
+        }
+    yaz_log (LOG_DEBUG, "grs_retrieve: schemaIdentifier");
     if (node->u.root.absyn &&
        node->u.root.absyn->reference != VAL_NONE &&
        p->input_format == VAL_GRS1)
@@ -759,8 +775,8 @@ static int grs_retrieve(void *clientData, struct recRetrieveCtrl *p)
            }
            *(p++) = '\0';
                
-           if ((dnew = data1_insert_taggeddata(dh, node, node,
-                                               "schemaIdentifier", mem)))
+           if ((dnew = data1_mk_tag_data_wd(dh, node, 
+                                             "schemaIdentifier", mem)))
            {
                dnew->u.data.what = DATA1I_oid;
                dnew->u.data.data = (char *) nmem_malloc(mem, p - tmp);
@@ -783,15 +799,19 @@ static int grs_retrieve(void *clientData, struct recRetrieveCtrl *p)
     else if (p->comp && !res)
        selected = 1;
 
+#if 0
     data1_pr_tree (p->dh, node, stdout);
+#endif
     logf (LOG_DEBUG, "grs_retrieve: transfer syntax mapping");
     switch (p->output_format = (p->input_format != VAL_NONE ?
                                p->input_format : VAL_SUTRS))
     {
-       data1_marctab *marctab;
-        int dummy;
-       
     case VAL_TEXT_XML:
+        add_idzebra_info (p, top, mem);
+
+        if (p->encoding)
+            data1_iconv (p->dh, mem, node, p->encoding, "UTF-8");
+
        if (!(p->rec_buf = data1_nodetoidsgml(p->dh, node, selected,
                                              &p->rec_len)))
            p->diagnostic = 238;
@@ -825,6 +845,8 @@ static int grs_retrieve(void *clientData, struct recRetrieveCtrl *p)
            p->rec_len = (size_t) (-1);
        break;
     case VAL_SUTRS:
+        if (p->encoding)
+            data1_iconv (p->dh, mem, node, p->encoding, "UTF-8");
        if (!(p->rec_buf = data1_nodetobuf(p->dh, node, selected,
                                           &p->rec_len)))
            p->diagnostic = 238;
@@ -861,6 +883,8 @@ static int grs_retrieve(void *clientData, struct recRetrieveCtrl *p)
            p->diagnostic = 238;
            break;
        }
+        if (p->encoding)
+            data1_iconv (p->dh, mem, node, p->encoding, "UTF-8");
        if (!(p->rec_buf = data1_nodetomarc(p->dh, marctab, node,
                                        selected, &p->rec_len)))
            p->diagnostic = 238;