WIN32/Unix installation sections
[idzebra-moved-to-github.git] / index / zebraapi.c
index 2ed3b39..74fa36c 100644 (file)
@@ -1,5 +1,5 @@
-/* $Id: zebraapi.c,v 1.84 2003-02-25 21:46:52 adam Exp $
-   Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002
+/* $Id: zebraapi.c,v 1.90 2003-03-05 00:08:04 adam Exp $
+   Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002,2003
    Index Data Aps
 
 This file is part of the Zebra server.
@@ -33,8 +33,11 @@ Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
 #endif
 
 #include <yaz/diagbib1.h>
+#include <yaz/pquery.h>
+#include <yaz/sortspec.h>
 #include "index.h"
 #include <charmap.h>
+#include "zebraapi.h"
 
 /* simple asserts to validate the most essential input args */
 #define ASSERTZH assert(zh && zh->service)
@@ -103,6 +106,7 @@ ZebraHandle zebra_open (ZebraService zs)
     zh->basenames = 0;
 
     zh->trans_no = 0;
+    zh->trans_w_no = 0;
 
     zh->lock_normal = 0;
     zh->lock_shadow = 0;
@@ -219,6 +223,8 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
 
     reg->keys.buf_max = 0;
     reg->keys.buf = 0;
+    reg->sortKeys.buf = 0;
+    reg->sortKeys.buf_max = 0;
 
     reg->records = 0;
     reg->dict = 0;
@@ -234,6 +240,7 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
     reg->key_file_no = 0;
     
     zebraRankInstall (reg, rank1_class);
+    zebraRankInstall (reg, rankzv_class);
 
     recordCompression = res_get_def (res, "recordCompression", "none");
     if (!strcmp (recordCompression, "none"))
@@ -398,10 +405,12 @@ static void zebra_register_close (ZebraService zs, struct zebra_register *reg)
     bfs_destroy (reg->bfs);
     data1_destroy (reg->dh);
 
+    xfree (reg->sortKeys.buf);
+    xfree (reg->keys.buf);
+
     xfree (reg->key_buf);
     xfree (reg->name);
     xfree (reg);
-    yaz_log(LOG_DEBUG, "zebra_register_close 2");
 }
 
 void zebra_stop(ZebraService zs)
@@ -430,6 +439,7 @@ void zebra_close (ZebraHandle zh)
 {
     ZebraService zs;
     struct zebra_session **sp;
+    int i;
 
     if (!zh)
         return;
@@ -442,13 +452,16 @@ void zebra_close (ZebraHandle zh)
         return ;
     resultSetDestroy (zh, -1, 0, 0);
 
-
     if (zh->reg)
         zebra_register_close (zh->service, zh->reg);
     zebra_close_res (zh);
 
     xfree (zh->record_encoding);
 
+    for (i = 0; i < zh->num_basenames; i++)
+        xfree (zh->basenames[i]);
+    xfree (zh->basenames);
+
     if (zh->iconv_to_utf8 != 0)
         yaz_iconv_close (zh->iconv_to_utf8);
     if (zh->iconv_from_utf8 != 0)
@@ -921,7 +934,7 @@ void zebra_admin_import_begin (ZebraHandle zh, const char *database,
     zh->errCode=0;
     if (zebra_select_database(zh, database))
         return;
-    zebra_begin_trans (zh);
+    zebra_begin_trans (zh, 1);
     xfree (zh->admin_databaseName);
     zh->admin_databaseName = xstrdup(database);
 }
@@ -1023,7 +1036,7 @@ void zebra_admin_create (ZebraHandle zh, const char *database)
 
     if (zebra_select_database (zh, database))
         return;
-    zebra_begin_trans (zh);
+    zebra_begin_trans (zh, 1);
 
     zs = zh->service;
     /* announce database */
@@ -1101,228 +1114,255 @@ void zebra_get_state (ZebraHandle zh, char *val, int *seqno)
 
 int zebra_begin_read (ZebraHandle zh)
 {
-    int dirty = 0;
-    char val;
-    int seqno;
-    ASSERTZH;
-
-    assert (zh->res);
-
-    (zh->trans_no)++;
-
-    if (zh->trans_no != 1)
-    {
-        zebra_flush_reg (zh);
-        return 0;
-    }
-    zh->errCode=0;
-#if HAVE_SYS_TIMES_H
-    times (&zh->tms1);
-#endif
-    if (!zh->res)
-    {
-        (zh->trans_no)--;
-        zh->errCode = 109;
-        return -1;
-    }
-    if (!zh->lock_normal || !zh->lock_shadow)
-    {
-        (zh->trans_no)--;
-        zh->errCode = 2;
-       return -1;
-    }
-    zebra_get_state (zh, &val, &seqno);
-    if (val == 'd')
-        val = 'o';
-
-    if (!zh->reg)
-        dirty = 1;
-    else if (seqno != zh->reg->seqno)
-    {
-        yaz_log (LOG_LOG, "reopen seqno cur/old %d/%d",
-                 seqno, zh->reg->seqno);
-        dirty = 1;
-    }
-    else if (zh->reg->last_val != val)
-    {
-        yaz_log (LOG_LOG, "reopen last cur/old %d/%d",
-                 val, zh->reg->last_val);
-        dirty = 1;
-    }
-    if (!dirty)
-        return 0;
-
-    if (val == 'c')
-        zebra_lock_r (zh->lock_shadow);
-    else
-        zebra_lock_r (zh->lock_normal);
-    
-    if (zh->reg)
-        zebra_register_close (zh->service, zh->reg);
-    zh->reg = zebra_register_open (zh->service, zh->reg_name,
-                                   0, val == 'c' ? 1 : 0,
-                                   zh->res, zh->path_reg);
-    if (!zh->reg)
-    {
-        zh->errCode = 109;
-        return -1;
-    }
-    zh->reg->last_val = val;
-    zh->reg->seqno = seqno;
-
-    return 0;
+    return zebra_begin_trans(zh, 0);
 }
 
 void zebra_end_read (ZebraHandle zh)
 {
-    ASSERTZH;
-    (zh->trans_no)--;
-
-    if (zh->trans_no != 0)
-        return;
-#if HAVE_SYS_TIMES_H
-    times (&zh->tms2);
-    logf (LOG_LOG, "user/system: %ld/%ld",
-                    (long) (zh->tms2.tms_utime - zh->tms1.tms_utime),
-                    (long) (zh->tms2.tms_stime - zh->tms1.tms_stime));
-
-#endif
-
-    zebra_unlock (zh->lock_normal);
-    zebra_unlock (zh->lock_shadow);
+    zebra_end_trans(zh);
 }
 
-void zebra_begin_trans (ZebraHandle zh)
+int zebra_begin_trans (ZebraHandle zh, int rw)
 {
-    int pass;
-    int seqno = 0;
-    char val = '?';
-    const char *rval = 0;
     ASSERTZHRES;
-
     assert (zh->res);
-
-    (zh->trans_no++);
-    if (zh->trans_no != 1)
+    if (rw)
     {
-        return;
-    }
-    zh->errCode=0;
-    
-    yaz_log (LOG_LOG, "zebra_begin_trans");
-
-    zh->records_inserted = 0;
-    zh->records_updated = 0;
-    zh->records_deleted = 0;
-    zh->records_processed = 0;
+        int pass;
+        int seqno = 0;
+        char val = '?';
+        const char *rval = 0;
+        
+        (zh->trans_no++);
+        if (zh->trans_w_no)
+            return 0;
+        if (zh->trans_no != 1)
+        {
+            zh->errCode = 2;
+            zh->errString = "write trans not allowed within read trans";
+            return -1;
+        }
+        zh->trans_w_no = zh->trans_no;
 
+        zh->errCode=0;
+        
+        yaz_log (LOG_LOG, "zebra_begin_trans");
+        
+        zh->records_inserted = 0;
+        zh->records_updated = 0;
+        zh->records_deleted = 0;
+        zh->records_processed = 0;
+        
 #if HAVE_SYS_TIMES_H
-    times (&zh->tms1);
+        times (&zh->tms1);
 #endif
-    
-    /* lock */
-    if (zh->shadow_enable)
-        rval = res_get (zh->res, "shadow");
-
-    for (pass = 0; pass < 2; pass++)
-    {
-        if (rval)
-        {
-            zebra_lock_r (zh->lock_normal);
-            zebra_lock_w (zh->lock_shadow);
-        }
-        else
-        {
-            zebra_lock_w (zh->lock_normal);
-            zebra_lock_w (zh->lock_shadow);
-        }
+        /* lock */
+        if (zh->shadow_enable)
+            rval = res_get (zh->res, "shadow");
         
-        zebra_get_state (zh, &val, &seqno);
-        if (val == 'c')
-        {
-            yaz_log (LOG_LOG, "previous transaction didn't finish commit");
-            zebra_unlock (zh->lock_shadow);
-            zebra_unlock (zh->lock_normal);
-            zebra_commit (zh);
-            continue;
-        }
-        else if (val == 'd')
+        for (pass = 0; pass < 2; pass++)
         {
             if (rval)
             {
-                BFiles bfs = bfs_create (res_get (zh->res, "shadow"),
-                                         zh->path_reg);
-                yaz_log (LOG_LOG, "previous transaction didn't reach commit");
-                bf_commitClean (bfs, rval);
-                bfs_destroy (bfs);
+                zebra_lock_r (zh->lock_normal);
+                zebra_lock_w (zh->lock_shadow);
             }
             else
             {
-                yaz_log (LOG_WARN, "your previous transaction didn't finish");
+                zebra_lock_w (zh->lock_normal);
+                zebra_lock_w (zh->lock_shadow);
+            }
+            
+            zebra_get_state (zh, &val, &seqno);
+            if (val == 'c')
+            {
+                yaz_log (LOG_LOG, "previous transaction didn't finish commit");
+                zebra_unlock (zh->lock_shadow);
+                zebra_unlock (zh->lock_normal);
+                zebra_commit (zh);
+                continue;
+            }
+            else if (val == 'd')
+            {
+                if (rval)
+                {
+                    BFiles bfs = bfs_create (res_get (zh->res, "shadow"),
+                                             zh->path_reg);
+                    yaz_log (LOG_LOG, "previous transaction didn't reach commit");
+                    bf_commitClean (bfs, rval);
+                    bfs_destroy (bfs);
             }
+                else
+                {
+                    yaz_log (LOG_WARN, "your previous transaction didn't finish");
+                }
+            }
+            break;
         }
-        break;
+        if (pass == 2)
+        {
+            yaz_log (LOG_FATAL, "zebra_begin_trans couldn't finish commit");
+            abort();
+            return -1;
+        }
+        zebra_set_state (zh, 'd', seqno);
+        
+        zh->reg = zebra_register_open (zh->service, zh->reg_name,
+                                       1, rval ? 1 : 0, zh->res,
+                                       zh->path_reg);
+        
+        zh->reg->seqno = seqno;
     }
-    if (pass == 2)
+    else
     {
-        yaz_log (LOG_FATAL, "zebra_begin_trans couldn't finish commit");
-        abort();
-        return;
+        int dirty = 0;
+        char val;
+        int seqno;
+        
+        (zh->trans_no)++;
+        
+        if (zh->trans_no != 1)
+        {
+            zebra_flush_reg (zh);
+            return 0;
+        }
+        zh->errCode=0;
+#if HAVE_SYS_TIMES_H
+        times (&zh->tms1);
+#endif
+        if (!zh->res)
+        {
+            (zh->trans_no)--;
+            zh->errCode = 109;
+            return -1;
+        }
+        if (!zh->lock_normal || !zh->lock_shadow)
+        {
+            (zh->trans_no)--;
+            zh->errCode = 2;
+            return -1;
+        }
+        zebra_get_state (zh, &val, &seqno);
+        if (val == 'd')
+            val = 'o';
+        
+        if (!zh->reg)
+            dirty = 1;
+        else if (seqno != zh->reg->seqno)
+        {
+            yaz_log (LOG_LOG, "reopen seqno cur/old %d/%d",
+                     seqno, zh->reg->seqno);
+            dirty = 1;
+        }
+        else if (zh->reg->last_val != val)
+        {
+            yaz_log (LOG_LOG, "reopen last cur/old %d/%d",
+                     val, zh->reg->last_val);
+            dirty = 1;
+        }
+        if (!dirty)
+            return 0;
+        
+        if (val == 'c')
+            zebra_lock_r (zh->lock_shadow);
+        else
+            zebra_lock_r (zh->lock_normal);
+        
+        if (zh->reg)
+            zebra_register_close (zh->service, zh->reg);
+        zh->reg = zebra_register_open (zh->service, zh->reg_name,
+                                       0, val == 'c' ? 1 : 0,
+                                       zh->res, zh->path_reg);
+        if (!zh->reg)
+        {
+            zh->errCode = 109;
+            return -1;
+        }
+        zh->reg->last_val = val;
+        zh->reg->seqno = seqno;
     }
-    zebra_set_state (zh, 'd', seqno);
-
-    zh->reg = zebra_register_open (zh->service, zh->reg_name,
-                                   1, rval ? 1 : 0, zh->res,
-                                   zh->path_reg);
+    return 0;
+}
 
-    zh->reg->seqno = seqno;
+void zebra_end_trans (ZebraHandle zh) {
+  ZebraTransactionStatus dummy;
+  zebra_end_transaction(zh, &dummy);
 }
 
-void zebra_end_trans (ZebraHandle zh)
+void zebra_end_transaction (ZebraHandle zh, ZebraTransactionStatus *status)
 {
     char val;
     int seqno;
     const char *rval;
-    ASSERTZH;
-
-    zh->trans_no--;
-    if (zh->trans_no != 0)
-        return;
-    yaz_log (LOG_LOG, "zebra_end_trans");
-    rval = res_get (zh->res, "shadow");
-
-    zebraExplain_runNumberIncrement (zh->reg->zei, 1);
-
-    zebra_flush_reg (zh);
 
-    zebra_register_close (zh->service, zh->reg);
-    zh->reg = 0;
+    ASSERTZH;
 
-    yaz_log (LOG_LOG, "Records: %7d i/u/d %d/%d/%d", 
-             zh->records_processed, zh->records_inserted,
-             zh->records_updated, zh->records_deleted);
+    status->processed = 0;
+    status->inserted  = 0;
+    status->updated   = 0;
+    status->deleted   = 0;
+    status->utime     = 0;
+    status->stime     = 0;
 
-    zebra_get_state (zh, &val, &seqno);
-    if (val != 'd')
+    if (zh->trans_no != zh->trans_w_no)
     {
-        BFiles bfs = bfs_create (rval, zh->path_reg);
-        yaz_log (LOG_LOG, "deleting shadow stuff val=%c", val);
-        bf_commitClean (bfs, rval);
-        bfs_destroy (bfs);
-    }
-    if (!rval)
-        seqno++;
-    zebra_set_state (zh, 'o', seqno);
+        zh->trans_no--;
+        if (zh->trans_no != 0)
+            return;
 
-    zebra_unlock (zh->lock_shadow);
-    zebra_unlock (zh->lock_normal);
+        /* release read lock */
 
+        zebra_unlock (zh->lock_normal);
+        zebra_unlock (zh->lock_shadow);
+    }
+    else
+    {   /* release write lock */
+        zh->trans_no--;
+        zh->trans_w_no = 0;
+        
+        yaz_log (LOG_LOG, "zebra_end_trans");
+        rval = res_get (zh->res, "shadow");
+        
+        zebraExplain_runNumberIncrement (zh->reg->zei, 1);
+        
+        zebra_flush_reg (zh);
+        
+        zebra_register_close (zh->service, zh->reg);
+        zh->reg = 0;
+        
+        yaz_log (LOG_LOG, "Records: %7d i/u/d %d/%d/%d", 
+                 zh->records_processed, zh->records_inserted,
+                 zh->records_updated, zh->records_deleted);
+        
+        status->processed = zh->records_processed;
+        status->inserted = zh->records_inserted;
+        status->updated = zh->records_updated;
+        status->deleted = zh->records_deleted;
+        
+        zebra_get_state (zh, &val, &seqno);
+        if (val != 'd')
+        {
+            BFiles bfs = bfs_create (rval, zh->path_reg);
+            yaz_log (LOG_LOG, "deleting shadow stuff val=%c", val);
+            bf_commitClean (bfs, rval);
+            bfs_destroy (bfs);
+        }
+        if (!rval)
+            seqno++;
+        zebra_set_state (zh, 'o', seqno);
+        
+        zebra_unlock (zh->lock_shadow);
+        zebra_unlock (zh->lock_normal);
+        
+    }
 #if HAVE_SYS_TIMES_H
     times (&zh->tms2);
     logf (LOG_LOG, "user/system: %ld/%ld",
-                    (long) (zh->tms2.tms_utime - zh->tms1.tms_utime),
-                    (long) (zh->tms2.tms_stime - zh->tms1.tms_stime));
-
+          (long) (zh->tms2.tms_utime - zh->tms1.tms_utime),
+          (long) (zh->tms2.tms_stime - zh->tms1.tms_stime));
+    
+    status->utime = (long) (zh->tms2.tms_utime - zh->tms1.tms_utime);
+    status->stime = (long) (zh->tms2.tms_stime - zh->tms1.tms_stime);
 #endif
 }
 
@@ -1452,7 +1492,7 @@ int zebra_record_insert (ZebraHandle zh, const char *buf, int len)
     int olderr;
     ASSERTZH;
     zh->errCode=0;
-    zebra_begin_trans (zh);
+    zebra_begin_trans (zh, 1);
     if (zh->errCode)
       return 0; /* bad sysno */
     extract_rec_in_mem (zh, "grs.sgml",
@@ -1537,3 +1577,323 @@ const char *zebra_get_resource(ZebraHandle zh,
     zh->errCode=0;
     return res_get_def( zh->res, name, (char *)defaultvalue);
 }
+
+/* moved from zebra_api_ext.c by pop */
+
+int zebra_trans_no (ZebraHandle zh) {
+  return (zh->trans_no);
+}
+
+
+
+int zebra_get_shadow_enable (ZebraHandle zh) {
+  return (zh->shadow_enable);
+}
+
+void zebra_set_shadow_enable (ZebraHandle zh, int value) {
+  zh->shadow_enable = value;
+}
+
+void init_recordGroup (struct recordGroup *rg) {
+    rg->groupName = NULL;
+    rg->databaseName = NULL;
+    rg->path = NULL;
+    rg->recordId = NULL;
+    rg->recordType = NULL;
+    rg->flagStoreData = -1;
+    rg->flagStoreKeys = -1; 
+    rg->flagRw = 1;
+    rg->databaseNamePath = 0;
+    rg->explainDatabase = 0; 
+    rg->fileVerboseLimit = 100000; 
+    rg->followLinks = -1;
+} 
+
+
+/* This is from extract.c... it seems useful, when extract_rec_in mem is 
+   called... and in general... Should be moved to somewhere else */
+void res_get_recordGroup (ZebraHandle zh,
+                         struct recordGroup *rGroup,
+                         const char *ext) {
+  char gprefix[128];
+  char ext_res[128]; 
+    
+  if (!rGroup->groupName || !*rGroup->groupName)
+    *gprefix = '\0';
+  else 
+    sprintf (gprefix, "%s.", rGroup->groupName);
+  
+  /* determine file type - depending on extension */
+  if (!rGroup->recordType) {
+    sprintf (ext_res, "%srecordType.%s", gprefix, ext);
+    if (!(rGroup->recordType = res_get (zh->res, ext_res))) {
+      sprintf (ext_res, "%srecordType", gprefix);
+      rGroup->recordType = res_get (zh->res, ext_res);
+    }
+  }
+  /* determine match criteria */
+  if (!rGroup->recordId) { 
+    sprintf (ext_res, "%srecordId.%s", gprefix, ext);
+    if (!(rGroup->recordId = res_get (zh->res, ext_res))) {
+      sprintf (ext_res, "%srecordId", gprefix);
+      rGroup->recordId = res_get (zh->res, ext_res);
+    }
+  } 
+  
+  /* determine database name */
+  if (!rGroup->databaseName) {
+    sprintf (ext_res, "%sdatabase.%s", gprefix, ext);
+    if (!(rGroup->databaseName = res_get (zh->res, ext_res))) { 
+      sprintf (ext_res, "%sdatabase", gprefix);
+      rGroup->databaseName = res_get (zh->res, ext_res);
+    }
+  }
+  if (!rGroup->databaseName)
+    rGroup->databaseName = "Default";
+
+  /* determine if explain database */
+  sprintf (ext_res, "%sexplainDatabase", gprefix);
+  rGroup->explainDatabase =
+    atoi (res_get_def (zh->res, ext_res, "0"));
+
+  /* storeData */
+  if (rGroup->flagStoreData == -1) {
+    const char *sval;
+    sprintf (ext_res, "%sstoreData.%s", gprefix, ext);
+    if (!(sval = res_get (zh->res, ext_res))) {
+      sprintf (ext_res, "%sstoreData", gprefix);
+      sval = res_get (zh->res, ext_res);
+    }
+    if (sval)
+      rGroup->flagStoreData = atoi (sval);
+  }
+  if (rGroup->flagStoreData == -1)  rGroup->flagStoreData = 0;
+
+  /* storeKeys */
+  if (rGroup->flagStoreKeys == -1)  {
+    const char *sval;
+    
+    sprintf (ext_res, "%sstoreKeys.%s", gprefix, ext);
+    sval = res_get (zh->res, ext_res);
+    if (!sval) {
+      sprintf (ext_res, "%sstoreKeys", gprefix);
+      sval = res_get (zh->res, ext_res);
+    }
+    if (!sval)  sval = res_get (zh->res, "storeKeys");
+    if (sval) rGroup->flagStoreKeys = atoi (sval);
+  }
+  if (rGroup->flagStoreKeys == -1) rGroup->flagStoreKeys = 0;
+  
+} 
+
+
+/* almost the same as zebra_records_retrieve ... but how did it work? 
+   I mean for multiple records ??? CHECK ??? */
+void api_records_retrieve (ZebraHandle zh, ODR stream,
+                          const char *setname, Z_RecordComposition *comp,
+                          oid_value input_format, int num_recs,
+                          ZebraRetrievalRecord *recs)
+{
+    ZebraPosSet poset;
+    int i, *pos_array;
+
+    if (!zh->res)
+    {
+        zh->errCode = 30;
+        zh->errString = odr_strdup (stream, setname);
+        return;
+    }
+    
+    zh->errCode = 0; 
+
+    if (zebra_begin_read (zh))
+       return;
+
+    pos_array = (int *) xmalloc (num_recs * sizeof(*pos_array));
+    for (i = 0; i<num_recs; i++)
+       pos_array[i] = recs[i].position;
+    poset = zebraPosSetCreate (zh, setname, num_recs, pos_array);
+    if (!poset)
+    {
+        logf (LOG_DEBUG, "zebraPosSetCreate error");
+        zh->errCode = 30;
+        zh->errString = nmem_strdup (stream->mem, setname);
+    }
+    else
+    {
+       for (i = 0; i<num_recs; i++)
+       {
+           if (poset[i].term)
+           {
+               recs[i].errCode = 0;
+               recs[i].format = VAL_SUTRS;
+               recs[i].len = strlen(poset[i].term);
+               recs[i].buf = poset[i].term;
+               recs[i].base = poset[i].db;
+               recs[i].sysno = 0;
+           
+           }
+           else if (poset[i].sysno)
+           {
+             /* changed here ??? CHECK ??? */
+             char *b;
+               recs[i].errCode =
+                   zebra_record_fetch (zh, poset[i].sysno, poset[i].score,
+                                       stream, input_format, comp,
+                                       &recs[i].format, 
+                                       &b,
+                                       &recs[i].len,
+                                       &recs[i].base);
+               recs[i].buf = (char *) odr_malloc(stream,recs[i].len);
+               memcpy(recs[i].buf, b, recs[i].len);
+               recs[i].errString = 0; /* Hmmm !!! we should get this */ 
+               recs[i].sysno = poset[i].sysno;
+               recs[i].score = poset[i].score;
+           }
+           else
+           {
+               char num_str[20];
+
+               sprintf (num_str, "%d", pos_array[i]);  
+               zh->errCode = 13;
+                zh->errString = odr_strdup (stream, num_str);
+                break;
+           }
+
+       }
+       zebraPosSetDestroy (zh, poset, num_recs);
+    }
+    zebra_end_read (zh);
+    xfree (pos_array);
+}
+
+
+/* ---------------------------------------------------------------------------
+  Record insert(=update), delete 
+
+  If sysno is provided, then it's used to identify the reocord.
+  If not, and match_criteria is provided, then sysno is guessed
+  If not, and a record is provided, then sysno is got from there
+*/
+
+int zebra_update_record (ZebraHandle zh, 
+                        struct recordGroup *rGroup,
+                        const char *recordType,
+                        int sysno, const char *match, const char *fname,
+                        const char *buf, int buf_size)
+
+{
+    int res;
+
+    if (buf_size < 1) buf_size = strlen(buf);
+
+    zebra_begin_trans(zh, 1);
+    res=bufferExtractRecord (zh, buf, buf_size, rGroup, 
+                            0, // delete_flag 
+                            0, // test_mode,
+                            recordType,
+                            &sysno,   
+                            match, fname);     
+    zebra_end_trans(zh); 
+    return sysno; 
+}
+
+int zebra_delete_record (ZebraHandle zh, 
+                        struct recordGroup *rGroup, 
+                        const char *recordType,
+                        int sysno, const char *match, const char *fname,
+                        const char *buf, int buf_size)
+{
+    int res;
+
+    if (buf_size < 1) buf_size = strlen(buf);
+
+    zebra_begin_trans(zh, 1);
+    res=bufferExtractRecord (zh, buf, buf_size, rGroup, 
+                            1, // delete_flag
+                            0, // test_mode, 
+                            recordType,
+                            &sysno,
+                            match,fname);    
+    zebra_end_trans(zh);
+    return sysno;   
+}
+
+/* ---------------------------------------------------------------------------
+  Searching 
+
+  zebra_search_RPN is the same as zebra_search_rpn, except that read locking
+  is not mandatory. (it's repeatable now, also in zebraapi.c)
+*/
+
+void zebra_search_RPN (ZebraHandle zh, ODR decode, ODR stream,
+                      Z_RPNQuery *query, const char *setname, int *hits)
+{
+    zh->hits = 0;
+    *hits = 0;
+
+    if (zebra_begin_read (zh))
+       return;
+    resultSetAddRPN (zh, decode, stream, query, 
+                     zh->num_basenames, zh->basenames, setname);
+
+    zebra_end_read (zh);
+
+    *hits = zh->hits;
+}
+
+int zebra_search_PQF (ZebraHandle zh, 
+                     ODR odr_input, ODR odr_output, 
+                     const char *pqf_query,
+                     const char *setname)
+    
+{
+    int hits;
+    Z_RPNQuery *query;
+    query = p_query_rpn (odr_input, PROTO_Z3950, pqf_query);
+    
+    if (!query) {
+        logf (LOG_WARN, "bad query %s\n", pqf_query);
+        odr_reset (odr_input);
+        return(0);
+    }
+    zebra_search_RPN (zh, odr_input, odr_output, query, setname, &hits);
+    
+    odr_reset (odr_input);
+    odr_reset (odr_output);
+    
+    return(hits);
+}
+
+/* ---------------------------------------------------------------------------
+  Sort - a simplified interface, with optional read locks.
+*/
+int sort (ZebraHandle zh, 
+         ODR stream,
+         const char *sort_spec,
+         const char *output_setname,
+         const char **input_setnames
+    ) 
+{
+    int num_input_setnames = 0;
+    int sort_status = 0;
+    Z_SortKeySpecList *sort_sequence = yaz_sort_spec (stream, sort_spec);
+    if (!sort_sequence) {
+        logf(LOG_WARN,"invalid sort specs '%s'", sort_spec);
+        zh->errCode = 207;
+    return (-1);
+    }
+    
+    /* we can do this, since the perl typemap code for char** will 
+       put a NULL at the end of list */
+    while (input_setnames[num_input_setnames]) num_input_setnames++;
+
+    if (zebra_begin_read (zh))
+        return -1;
+    
+    resultSetSort (zh, stream->mem, num_input_setnames, input_setnames,
+                   output_setname, sort_sequence, &sort_status);
+    
+    zebra_end_read(zh);
+    return (sort_status);
+}