Forgot to invalidate result sets when changing from ro to rw
[idzebra-moved-to-github.git] / index / zebraapi.c
index e3b7f8e..ff1d277 100644 (file)
@@ -1,5 +1,5 @@
-/* $Id: zebraapi.c,v 1.87 2003-03-04 23:05:30 pop Exp $
-   Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002
+/* $Id: zebraapi.c,v 1.104 2003-06-17 13:53:27 adam Exp $
+   Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002,2003
    Index Data Aps
 
 This file is part of the Zebra server.
@@ -33,6 +33,8 @@ Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
 #endif
 
 #include <yaz/diagbib1.h>
+#include <yaz/pquery.h>
+#include <yaz/sortspec.h>
 #include "index.h"
 #include <charmap.h>
 #include "zebraapi.h"
@@ -42,6 +44,14 @@ Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
 #define ASSERTZHRES assert(zh && zh->service && zh->res)
 #define ASSERTZS assert(zs)
 
+/* A simple log macro */
+/* don't break with older yazen that lack log_app2 */
+#ifdef LOG_APP2
+#define LOG_API LOG_APP2
+#else
+#define LOG_API LOG_DEBUG
+#endif
+
 static Res zebra_open_res (ZebraHandle zh);
 static void zebra_close_res (ZebraHandle zh);
 
@@ -50,6 +60,7 @@ static void zebra_chdir (ZebraService zs)
 {
     const char *dir ;
     ASSERTZS;
+    yaz_log(LOG_API,"zebra_chdir");
     dir = res_get (zs->global_res, "chdir");
     if (!dir)
        return;
@@ -64,6 +75,7 @@ static void zebra_chdir (ZebraService zs)
 static void zebra_flush_reg (ZebraHandle zh)
 {
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_flush_reg");
     zh->errCode=0;
     zebraExplain_flush (zh->reg->zei, zh);
     
@@ -83,6 +95,7 @@ ZebraHandle zebra_open (ZebraService zs)
     ZebraHandle zh;
     const char *default_encoding;
     ASSERTZS;
+    yaz_log(LOG_API,"zebra_open");
 
     if (!zs)
         return 0;
@@ -104,6 +117,7 @@ ZebraHandle zebra_open (ZebraService zs)
     zh->basenames = 0;
 
     zh->trans_no = 0;
+    zh->trans_w_no = 0;
 
     zh->lock_normal = 0;
     zh->lock_shadow = 0;
@@ -140,7 +154,7 @@ ZebraService zebra_start (const char *configName)
 {
     Res res;
 
-    yaz_log (LOG_LOG, "zebra_start %s", configName);
+    yaz_log(LOG_API|LOG_LOG,"zebra_start %s",configName);
 
     if ((res = res_open (configName, 0)))
     {
@@ -193,9 +207,9 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
 
     assert (res);
 
-    yaz_log (LOG_DEBUG, "zebra_register_open rw = %d useshadow=%d p=%p",
-             rw, useshadow, reg);
-
+    yaz_log (LOG_LOG|LOG_API, "zebra_register_open rw = %d useshadow=%d p=%p,n=%s,rp=%s",
+             rw, useshadow, reg, name, reg_path);
+    
     reg->dh = data1_createx (DATA1_FLAG_XML);
     if (!reg->dh)
         return 0;
@@ -238,6 +252,7 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
     
     zebraRankInstall (reg, rank1_class);
     zebraRankInstall (reg, rankzv_class);
+    zebraRankInstall (reg, rankliv_class);
 
     recordCompression = res_get_def (res, "recordCompression", "none");
     if (!strcmp (recordCompression, "none"))
@@ -353,6 +368,7 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
 void zebra_admin_shutdown (ZebraHandle zh)
 {
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_admin_shutdown");
     zh->errCode=0;
 
     zebra_mutex_cond_lock (&zh->service->session_lock);
@@ -364,6 +380,7 @@ void zebra_admin_start (ZebraHandle zh)
 {
     ZebraService zs;
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_admin_start");
     zh->errCode=0;
     zs = zh->service;
     zebra_mutex_cond_lock (&zs->session_lock);
@@ -373,7 +390,7 @@ void zebra_admin_start (ZebraHandle zh)
 static void zebra_register_close (ZebraService zs, struct zebra_register *reg)
 {
     ASSERTZS;
-    yaz_log(LOG_DEBUG, "zebra_register_close p=%p", reg);
+    yaz_log(LOG_LOG|LOG_API, "zebra_register_close p=%p", reg);
     reg->stop_flag = 0;
     zebra_chdir (zs);
     if (reg->records)
@@ -414,7 +431,7 @@ void zebra_stop(ZebraService zs)
 {
     if (!zs)
         return ;
-    yaz_log (LOG_LOG, "zebra_stop");
+    yaz_log (LOG_LOG|LOG_API, "zebra_stop");
 
     while (zs->sessions)
     {
@@ -438,6 +455,7 @@ void zebra_close (ZebraHandle zh)
     struct zebra_session **sp;
     int i;
 
+    yaz_log(LOG_API,"zebra_close");
     if (!zh)
         return;
     ASSERTZH;
@@ -631,6 +649,7 @@ void map_basenames (ZebraHandle zh, ODR stream,
     struct map_baseinfo *p = &info;
     int i;
     ASSERTZH;
+    yaz_log(LOG_API,"map_basenames ");
     zh->errCode=0;
 
     info.zh = zh;
@@ -659,6 +678,7 @@ void map_basenames (ZebraHandle zh, ODR stream,
 int zebra_select_database (ZebraHandle zh, const char *basename)
 {
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_select_database %s",basename);
     zh->errCode=0;
     return zebra_select_databases (zh, 1, &basename);
 }
@@ -671,6 +691,8 @@ int zebra_select_databases (ZebraHandle zh, int num_bases,
     int len = 0;
     char *new_reg = 0;
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_select_databases n=%d [0]=%s",
+                   num_bases,basenames[0]);
     zh->errCode=0;
     
     if (num_bases < 1)
@@ -740,17 +762,21 @@ int zebra_select_databases (ZebraHandle zh, int num_bases,
     return 0;
 }
 
-void zebra_search_rpn (ZebraHandle zh, ODR decode, ODR stream,
+void zebra_search_RPN (ZebraHandle zh,
                       Z_RPNQuery *query, const char *setname, int *hits)
 {
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_search_rpn");
     zh->errCode=0;
     zh->hits = 0;
     *hits = 0;
 
     if (zebra_begin_read (zh))
        return;
-    resultSetAddRPN (zh, decode, stream, query, 
+
+    zebra_livcode_transform(zh, query);
+
+    resultSetAddRPN (zh, query, 
                      zh->num_basenames, zh->basenames, setname);
 
     zebra_end_read (zh);
@@ -766,6 +792,7 @@ void zebra_records_retrieve (ZebraHandle zh, ODR stream,
     ZebraPosSet poset;
     int i, *pos_array;
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_records_retrieve n=%d",num_recs);
     zh->errCode=0;
 
     if (!zh->res)
@@ -834,6 +861,7 @@ void zebra_scan (ZebraHandle zh, ODR stream, Z_AttributesPlusTerm *zapt,
                 int *is_partial)
 {
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_scan");
     zh->errCode=0;
     if (zebra_begin_read (zh))
     {
@@ -843,7 +871,7 @@ void zebra_scan (ZebraHandle zh, ODR stream, Z_AttributesPlusTerm *zapt,
     }
     rpn_scan (zh, stream, zapt, attributeset,
              zh->num_basenames, zh->basenames, position,
-             num_entries, entries, is_partial);
+             num_entries, entries, is_partial, 0, 0);
     zebra_end_read (zh);
 }
 
@@ -853,6 +881,7 @@ void zebra_sort (ZebraHandle zh, ODR stream,
                 int *sort_status)
 {
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_sort");
     zh->errCode=0;
     if (zebra_begin_read (zh))
        return;
@@ -867,6 +896,7 @@ int zebra_deleleResultSet(ZebraHandle zh, int function,
 {
     int i, status;
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_deleleResultSet n=%d",num_setnames);
     zh->errCode=0;
     if (zebra_begin_read(zh))
        return Z_DeleteStatus_systemProblemAtTarget;
@@ -890,28 +920,37 @@ int zebra_deleleResultSet(ZebraHandle zh, int function,
 int zebra_errCode (ZebraHandle zh)
 {
     if (zh)
+    {
+        yaz_log(LOG_API,"zebra_errCode: %d",zh->errCode);
         return zh->errCode;
+    }
+    yaz_log(LOG_API,"zebra_errCode: o");
     return 0; 
 }
 
 const char *zebra_errString (ZebraHandle zh)
 {
+    const char *e="";
     if (zh)
-        return diagbib1_str (zh->errCode);
-    return "";
+        e= diagbib1_str (zh->errCode);
+    yaz_log(LOG_API,"zebra_errString: %s",e);
+    return e;
 }
 
 char *zebra_errAdd (ZebraHandle zh)
 {
+    char *a="";
     if (zh)
-        return zh->errString;
-    return "";
+        a= zh->errString;
+    yaz_log(LOG_API,"zebra_errAdd: %s",a);
+    return a;
 }
 
 int zebra_auth (ZebraHandle zh, const char *user, const char *pass)
 {
     ZebraService zs;
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_auth u=%s p=%s",user,pass);
     zh->errCode=0;
     zs= zh->service;
     if (!zs->passwd_db || !passwd_db_auth (zs->passwd_db, user, pass))
@@ -928,10 +967,12 @@ void zebra_admin_import_begin (ZebraHandle zh, const char *database,
                                const char *record_type)
 {
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_admin_import_begin db=%s rt=%s", 
+                    database, record_type);
     zh->errCode=0;
     if (zebra_select_database(zh, database))
         return;
-    zebra_begin_trans (zh);
+    zebra_begin_trans (zh, 1);
     xfree (zh->admin_databaseName);
     zh->admin_databaseName = xstrdup(database);
 }
@@ -939,6 +980,7 @@ void zebra_admin_import_begin (ZebraHandle zh, const char *database,
 void zebra_admin_import_end (ZebraHandle zh)
 {
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_admin_import_end");
     zh->errCode=0;
     zebra_end_trans (zh);
 }
@@ -948,6 +990,7 @@ void zebra_admin_import_segment (ZebraHandle zh, Z_Segment *segment)
     int sysno;
     int i;
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_admin_import_segment");
     zh->errCode=0;
     for (i = 0; i<segment->num_segmentRecords; i++)
     {
@@ -992,6 +1035,8 @@ int zebra_admin_exchange_record (ZebraHandle zh,
     char *rinfo = 0;
     char recid_z[256];
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_admin_exchange_record db=%s ac=%d",
+                   database, action);
     zh->errCode=0;
 
     if (!recid_buf || recid_len <= 0 || recid_len >= sizeof(recid_z))
@@ -1025,15 +1070,17 @@ int zebra_admin_exchange_record (ZebraHandle zh,
     return 0;
 }
 
-void zebra_admin_create (ZebraHandle zh, const char *database)
+void zebra_create_database (ZebraHandle zh, const char *database)
 {
     ZebraService zs;
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_admin_create");
     zh->errCode=0;
 
     if (zebra_select_database (zh, database))
         return;
-    zebra_begin_trans (zh);
+    if (zebra_begin_trans (zh, 1))
+        return;
 
     zs = zh->service;
     /* announce database */
@@ -1052,6 +1099,7 @@ int zebra_string_norm (ZebraHandle zh, unsigned reg_id,
 {
     WRBUF wrbuf;
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_string_norm ");
     zh->errCode=0;
     if (!zh->reg->zebra_maps)
        return -1;
@@ -1075,6 +1123,7 @@ void zebra_set_state (ZebraHandle zh, int val, int seqno)
     long p = getpid();
     FILE *f;
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_set_state v=%d seq=%s", val, seqno);
     zh->errCode=0;
 
     sprintf (state_fname, "state.%s.LCK", zh->reg_name);
@@ -1094,6 +1143,7 @@ void zebra_get_state (ZebraHandle zh, char *val, int *seqno)
     FILE *f;
 
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_get_state ");
     zh->errCode=0;
     sprintf (state_fname, "state.%s.LCK", zh->reg_name);
     fname = zebra_mk_fname (res_get(zh->res, "lockDir"), state_fname);
@@ -1111,195 +1161,220 @@ void zebra_get_state (ZebraHandle zh, char *val, int *seqno)
 
 int zebra_begin_read (ZebraHandle zh)
 {
-    int dirty = 0;
-    char val;
-    int seqno;
-    ASSERTZH;
-
-    assert (zh->res);
-
-    (zh->trans_no)++;
-
-    if (zh->trans_no != 1)
-    {
-        zebra_flush_reg (zh);
-        return 0;
-    }
-    zh->errCode=0;
-#if HAVE_SYS_TIMES_H
-    times (&zh->tms1);
-#endif
-    if (!zh->res)
-    {
-        (zh->trans_no)--;
-        zh->errCode = 109;
-        return -1;
-    }
-    if (!zh->lock_normal || !zh->lock_shadow)
-    {
-        (zh->trans_no)--;
-        zh->errCode = 2;
-       return -1;
-    }
-    zebra_get_state (zh, &val, &seqno);
-    if (val == 'd')
-        val = 'o';
-
-    if (!zh->reg)
-        dirty = 1;
-    else if (seqno != zh->reg->seqno)
-    {
-        yaz_log (LOG_LOG, "reopen seqno cur/old %d/%d",
-                 seqno, zh->reg->seqno);
-        dirty = 1;
-    }
-    else if (zh->reg->last_val != val)
-    {
-        yaz_log (LOG_LOG, "reopen last cur/old %d/%d",
-                 val, zh->reg->last_val);
-        dirty = 1;
-    }
-    if (!dirty)
-        return 0;
-
-    if (val == 'c')
-        zebra_lock_r (zh->lock_shadow);
-    else
-        zebra_lock_r (zh->lock_normal);
-    
-    if (zh->reg)
-        zebra_register_close (zh->service, zh->reg);
-    zh->reg = zebra_register_open (zh->service, zh->reg_name,
-                                   0, val == 'c' ? 1 : 0,
-                                   zh->res, zh->path_reg);
-    if (!zh->reg)
-    {
-        zh->errCode = 109;
-        return -1;
-    }
-    zh->reg->last_val = val;
-    zh->reg->seqno = seqno;
-
-    return 0;
+    return zebra_begin_trans(zh, 0);
 }
 
 void zebra_end_read (ZebraHandle zh)
 {
-    ASSERTZH;
-    (zh->trans_no)--;
-
-    if (zh->trans_no != 0)
-        return;
-#if HAVE_SYS_TIMES_H
-    times (&zh->tms2);
-    logf (LOG_LOG, "user/system: %ld/%ld",
-                    (long) (zh->tms2.tms_utime - zh->tms1.tms_utime),
-                    (long) (zh->tms2.tms_stime - zh->tms1.tms_stime));
-
-#endif
-
-    zebra_unlock (zh->lock_normal);
-    zebra_unlock (zh->lock_shadow);
+    zebra_end_trans(zh);
 }
 
-void zebra_begin_trans (ZebraHandle zh)
+int zebra_begin_trans (ZebraHandle zh, int rw)
 {
-    int pass;
-    int seqno = 0;
-    char val = '?';
-    const char *rval = 0;
+    yaz_log(LOG_LOG, "zebra_begin_trans rw=%d trans=%d", rw, zh->trans_no);
+    if (!zh->res)
+    {
+        zh->errCode = 2;
+        zh->errString = "zebra_begin_trans: no database selected";
+        return -1;
+    }
     ASSERTZHRES;
-
+    yaz_log(LOG_API,"zebra_begin_trans rw=%d",rw);
     assert (zh->res);
-
-    (zh->trans_no++);
-    if (zh->trans_no != 1)
+    if (rw)
     {
-        return;
-    }
-    zh->errCode=0;
-    
-    yaz_log (LOG_LOG, "zebra_begin_trans");
-
-    zh->records_inserted = 0;
-    zh->records_updated = 0;
-    zh->records_deleted = 0;
-    zh->records_processed = 0;
+        int pass;
+        int seqno = 0;
+        char val = '?';
+        const char *rval = 0;
+        
+        (zh->trans_no++);
+        if (zh->trans_w_no)
+            return 0;
+        if (zh->trans_no != 1)
+        {
+            zh->errCode = 2;
+            zh->errString = "zebra_begin_trans: write trans not allowed within read trans";
+            return -1;
+        }
+        if (zh->reg)
+       {
+            resultSetInvalidate (zh);
+            zebra_register_close (zh->service, zh->reg);
+       }
+        zh->trans_w_no = zh->trans_no;
 
+        zh->errCode=0;
+        
+        zh->records_inserted = 0;
+        zh->records_updated = 0;
+        zh->records_deleted = 0;
+        zh->records_processed = 0;
+        
 #if HAVE_SYS_TIMES_H
-    times (&zh->tms1);
+        times (&zh->tms1);
 #endif
-    
-    /* lock */
-    if (zh->shadow_enable)
-        rval = res_get (zh->res, "shadow");
-
-    for (pass = 0; pass < 2; pass++)
-    {
-        if (rval)
-        {
-            zebra_lock_r (zh->lock_normal);
-            zebra_lock_w (zh->lock_shadow);
-        }
-        else
-        {
-            zebra_lock_w (zh->lock_normal);
-            zebra_lock_w (zh->lock_shadow);
-        }
+        /* lock */
+        if (zh->shadow_enable)
+            rval = res_get (zh->res, "shadow");
         
-        zebra_get_state (zh, &val, &seqno);
-        if (val == 'c')
-        {
-            yaz_log (LOG_LOG, "previous transaction didn't finish commit");
-            zebra_unlock (zh->lock_shadow);
-            zebra_unlock (zh->lock_normal);
-            zebra_commit (zh);
-            continue;
-        }
-        else if (val == 'd')
+        for (pass = 0; pass < 2; pass++)
         {
             if (rval)
             {
-                BFiles bfs = bfs_create (res_get (zh->res, "shadow"),
-                                         zh->path_reg);
-                yaz_log (LOG_LOG, "previous transaction didn't reach commit");
-                bf_commitClean (bfs, rval);
-                bfs_destroy (bfs);
+                zebra_lock_r (zh->lock_normal);
+                zebra_lock_w (zh->lock_shadow);
             }
             else
             {
-                yaz_log (LOG_WARN, "your previous transaction didn't finish");
+                zebra_lock_w (zh->lock_normal);
+                zebra_lock_w (zh->lock_shadow);
+            }
+            
+            zebra_get_state (zh, &val, &seqno);
+            if (val == 'c')
+            {
+                yaz_log (LOG_LOG, "previous transaction didn't finish commit");
+                zebra_unlock (zh->lock_shadow);
+                zebra_unlock (zh->lock_normal);
+                zebra_commit (zh);
+                continue;
+            }
+            else if (val == 'd')
+            {
+                if (rval)
+                {
+                    BFiles bfs = bfs_create (res_get (zh->res, "shadow"),
+                                             zh->path_reg);
+                    yaz_log (LOG_LOG, "previous transaction didn't reach commit");
+                    bf_commitClean (bfs, rval);
+                    bfs_destroy (bfs);
+            }
+                else
+                {
+                    yaz_log (LOG_WARN, "your previous transaction didn't finish");
+                }
             }
+            break;
+        }
+        if (pass == 2)
+        {
+            yaz_log (LOG_FATAL, "zebra_begin_trans couldn't finish commit");
+            abort();
+            return -1;
+        }
+        zebra_set_state (zh, 'd', seqno);
+        
+        zh->reg = zebra_register_open (zh->service, zh->reg_name,
+                                       1, rval ? 1 : 0, zh->res,
+                                       zh->path_reg);
+        if (zh->reg)
+            zh->reg->seqno = seqno;
+        else
+        {
+            zebra_set_state (zh, 'o', seqno);
+            
+            zebra_unlock (zh->lock_shadow);
+            zebra_unlock (zh->lock_normal);
+
+            zh->trans_no--;
+            zh->trans_w_no = 0;
+
+            zh->errCode = 2;
+            zh->errString = "zebra_begin_trans: cannot open register";
+            yaz_log(LOG_FATAL, zh->errString);
+            return -1;
         }
-        break;
     }
-    if (pass == 2)
+    else
     {
-        yaz_log (LOG_FATAL, "zebra_begin_trans couldn't finish commit");
-        abort();
-        return;
+        int dirty = 0;
+        char val;
+        int seqno;
+        
+        (zh->trans_no)++;
+        
+        if (zh->trans_no != 1)
+        {
+            zebra_flush_reg (zh);
+            return 0;
+        }
+        zh->errCode=0;
+#if HAVE_SYS_TIMES_H
+        times (&zh->tms1);
+#endif
+        if (!zh->res)
+        {
+            (zh->trans_no)--;
+            zh->errCode = 109;
+            return -1;
+        }
+        if (!zh->lock_normal || !zh->lock_shadow)
+        {
+            (zh->trans_no)--;
+            zh->errCode = 2;
+            return -1;
+        }
+        zebra_get_state (zh, &val, &seqno);
+        if (val == 'd')
+            val = 'o';
+        
+        if (!zh->reg)
+            dirty = 1;
+        else if (seqno != zh->reg->seqno)
+        {
+            yaz_log (LOG_LOG, "reopen seqno cur/old %d/%d",
+                     seqno, zh->reg->seqno);
+            dirty = 1;
+        }
+        else if (zh->reg->last_val != val)
+        {
+            yaz_log (LOG_LOG, "reopen last cur/old %d/%d",
+                     val, zh->reg->last_val);
+            dirty = 1;
+        }
+        if (!dirty)
+            return 0;
+        
+        if (val == 'c')
+            zebra_lock_r (zh->lock_shadow);
+        else
+            zebra_lock_r (zh->lock_normal);
+        
+        if (zh->reg)
+            zebra_register_close (zh->service, zh->reg);
+        zh->reg = zebra_register_open (zh->service, zh->reg_name,
+                                       0, val == 'c' ? 1 : 0,
+                                       zh->res, zh->path_reg);
+        if (!zh->reg)
+        {
+            zebra_unlock (zh->lock_normal);
+            zebra_unlock (zh->lock_shadow);
+            zh->trans_no--;
+            zh->errCode = 109;
+            return -1;
+        }
+        zh->reg->last_val = val;
+        zh->reg->seqno = seqno;
     }
-    zebra_set_state (zh, 'd', seqno);
-
-    zh->reg = zebra_register_open (zh->service, zh->reg_name,
-                                   1, rval ? 1 : 0, zh->res,
-                                   zh->path_reg);
-
-    zh->reg->seqno = seqno;
+    return 0;
 }
 
-void zebra_end_trans (ZebraHandle zh) {
-  ZebraTransactionStatus dummy;
-  zebra_end_transaction(zh, &dummy);
+int zebra_end_trans (ZebraHandle zh)
+{
+    ZebraTransactionStatus dummy;
+    yaz_log(LOG_API,"zebra_end_trans");
+    return zebra_end_transaction(zh, &dummy);
 }
 
-void zebra_end_transaction (ZebraHandle zh, ZebraTransactionStatus *status)
+int zebra_end_transaction (ZebraHandle zh, ZebraTransactionStatus *status)
 {
     char val;
     int seqno;
     const char *rval;
 
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_end_transaction");
 
     status->processed = 0;
     status->inserted  = 0;
@@ -1308,61 +1383,82 @@ void zebra_end_transaction (ZebraHandle zh, ZebraTransactionStatus *status)
     status->utime     = 0;
     status->stime     = 0;
 
-    zh->trans_no--;
-    if (zh->trans_no != 0)
-        return;
-    yaz_log (LOG_LOG, "zebra_end_trans");
-    rval = res_get (zh->res, "shadow");
-
-    zebraExplain_runNumberIncrement (zh->reg->zei, 1);
-
-    zebra_flush_reg (zh);
-
-    zebra_register_close (zh->service, zh->reg);
-    zh->reg = 0;
-
-    yaz_log (LOG_LOG, "Records: %7d i/u/d %d/%d/%d", 
-             zh->records_processed, zh->records_inserted,
-             zh->records_updated, zh->records_deleted);
-
-    status->processed = zh->records_processed;
-    status->inserted = zh->records_inserted;
-    status->updated = zh->records_updated;
-    status->deleted = zh->records_deleted;
-
-    zebra_get_state (zh, &val, &seqno);
-    if (val != 'd')
+    if (!zh->res || !zh->reg)
     {
-        BFiles bfs = bfs_create (rval, zh->path_reg);
-        yaz_log (LOG_LOG, "deleting shadow stuff val=%c", val);
-        bf_commitClean (bfs, rval);
-        bfs_destroy (bfs);
+        zh->errCode = 2;
+        zh->errString = "zebra_end_trans: no open transaction";
+        return -1;
     }
-    if (!rval)
-        seqno++;
-    zebra_set_state (zh, 'o', seqno);
+    if (zh->trans_no != zh->trans_w_no)
+    {
+        zh->trans_no--;
+        if (zh->trans_no != 0)
+            return 0;
 
-    zebra_unlock (zh->lock_shadow);
-    zebra_unlock (zh->lock_normal);
+        /* release read lock */
 
+        zebra_unlock (zh->lock_normal);
+        zebra_unlock (zh->lock_shadow);
+    }
+    else
+    {   /* release write lock */
+        zh->trans_no--;
+        zh->trans_w_no = 0;
+        
+        yaz_log (LOG_LOG, "zebra_end_trans");
+        rval = res_get (zh->res, "shadow");
+        
+        zebraExplain_runNumberIncrement (zh->reg->zei, 1);
+        
+        zebra_flush_reg (zh);
+        
+        resultSetInvalidate (zh);
+
+        zebra_register_close (zh->service, zh->reg);
+        zh->reg = 0;
+        
+        yaz_log (LOG_LOG, "Records: %7d i/u/d %d/%d/%d", 
+                 zh->records_processed, zh->records_inserted,
+                 zh->records_updated, zh->records_deleted);
+        
+        status->processed = zh->records_processed;
+        status->inserted = zh->records_inserted;
+        status->updated = zh->records_updated;
+        status->deleted = zh->records_deleted;
+        
+        zebra_get_state (zh, &val, &seqno);
+        if (val != 'd')
+        {
+            BFiles bfs = bfs_create (rval, zh->path_reg);
+            yaz_log (LOG_LOG, "deleting shadow stuff val=%c", val);
+            bf_commitClean (bfs, rval);
+            bfs_destroy (bfs);
+        }
+        if (!rval)
+            seqno++;
+        zebra_set_state (zh, 'o', seqno);
+        
+        zebra_unlock (zh->lock_shadow);
+        zebra_unlock (zh->lock_normal);
+        
+    }
 #if HAVE_SYS_TIMES_H
     times (&zh->tms2);
     logf (LOG_LOG, "user/system: %ld/%ld",
-                    (long) (zh->tms2.tms_utime - zh->tms1.tms_utime),
-                    (long) (zh->tms2.tms_stime - zh->tms1.tms_stime));
-
+          (long) (zh->tms2.tms_utime - zh->tms1.tms_utime),
+          (long) (zh->tms2.tms_stime - zh->tms1.tms_stime));
+    
     status->utime = (long) (zh->tms2.tms_utime - zh->tms1.tms_utime);
     status->stime = (long) (zh->tms2.tms_stime - zh->tms1.tms_stime);
 #endif
-
-    return;
+    return 0;
 }
 
 void zebra_repository_update (ZebraHandle zh)
 {
     ASSERTZH;
     zh->errCode=0;
-    logf (LOG_LOG, "updating %s", zh->rGroup.path);
+    logf (LOG_LOG|LOG_API, "updating %s", zh->rGroup.path);
     repositoryUpdate (zh);    
 }
 
@@ -1370,18 +1466,19 @@ void zebra_repository_delete (ZebraHandle zh)
 {
     ASSERTZH;
     zh->errCode=0;
-    logf (LOG_LOG, "deleting %s", zh->rGroup.path);
+    logf (LOG_LOG|LOG_API, "deleting %s", zh->rGroup.path);
     repositoryDelete (zh);
 }
 
 void zebra_repository_show (ZebraHandle zh)
 {
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_repository_show");
     zh->errCode=0;
     repositoryShow (zh);
 }
 
-int zebra_commit (ZebraHandle zh)
+static int zebra_commit_ex (ZebraHandle zh, int clean_only)
 {
     int seqno;
     char val;
@@ -1414,13 +1511,18 @@ int zebra_commit (ZebraHandle zh)
         bf_cache (bfs, rval);
     if (bf_commitExists (bfs))
     {
-        zebra_set_state (zh, 'c', seqno);
-
-        logf (LOG_LOG, "commit start");
-        bf_commitExec (bfs);
+        if (clean_only)
+            zebra_set_state (zh, 'd', seqno);
+        else
+        {
+            zebra_set_state (zh, 'c', seqno);
+            
+            logf (LOG_LOG, "commit start");
+            bf_commitExec (bfs);
 #ifndef WIN32
-        sync ();
+            sync ();
 #endif
+        }
         logf (LOG_LOG, "commit clean");
         bf_commitClean (bfs, rval);
         seqno++;
@@ -1437,11 +1539,24 @@ int zebra_commit (ZebraHandle zh)
     return 0;
 }
 
+int zebra_clean (ZebraHandle zh)
+{
+    yaz_log(LOG_API,"zebra_clean");
+    return zebra_commit_ex(zh, 1);
+}
+
+int zebra_commit (ZebraHandle zh)
+{
+    yaz_log(LOG_API,"zebra_commit");
+    return zebra_commit_ex(zh, 0);
+}
+
 int zebra_init (ZebraHandle zh)
 {
     const char *rval;
     BFiles bfs = 0;
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_init");
     zh->errCode=0;
 
     if (!zh->res)
@@ -1466,6 +1581,7 @@ int zebra_compact (ZebraHandle zh)
 {
     BFiles bfs;
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_compact");
     zh->errCode=0;
     if (!zh->res)
     {
@@ -1481,12 +1597,11 @@ int zebra_compact (ZebraHandle zh)
 int zebra_record_insert (ZebraHandle zh, const char *buf, int len)
 {
     int sysno = 0;
-    int olderr;
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_record_insert");
     zh->errCode=0;
-    zebra_begin_trans (zh);
-    if (zh->errCode)
-      return 0; /* bad sysno */
+    if (zebra_begin_trans (zh, 1))
+        return 0;
     extract_rec_in_mem (zh, "grs.sgml",
                         buf, len,
                         "Default",  /* database */
@@ -1496,16 +1611,15 @@ int zebra_record_insert (ZebraHandle zh, const char *buf, int len)
                         1 /* store_keys */,
                         1 /* store_data */,
                         0 /* match criteria */);
-    olderr=zh->errCode;
-    zebra_end_trans (zh);
-    if (olderr)
-      zh->errCode=olderr; 
+    if (zebra_end_trans (zh))
+        return 0;
     return sysno;
 }
 
 void zebra_set_group (ZebraHandle zh, struct recordGroup *rg)
 {
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_set_group");
     zh->errCode=0;
     memcpy (&zh->rGroup, rg, sizeof(*rg));
 }
@@ -1513,6 +1627,7 @@ void zebra_set_group (ZebraHandle zh, struct recordGroup *rg)
 void zebra_result (ZebraHandle zh, int *code, char **addinfo)
 {
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_result");
     *code = zh->errCode;
     *addinfo = zh->errString;
 }
@@ -1520,6 +1635,7 @@ void zebra_result (ZebraHandle zh, int *code, char **addinfo)
 void zebra_shadow_enable (ZebraHandle zh, int value)
 {
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_shadow_enable");
     zh->errCode=0;
     zh->shadow_enable = value;
 }
@@ -1527,6 +1643,7 @@ void zebra_shadow_enable (ZebraHandle zh, int value)
 int zebra_record_encoding (ZebraHandle zh, const char *encoding)
 {
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_record_encoding");
     zh->errCode=0;
     xfree (zh->record_encoding);
 
@@ -1558,35 +1675,45 @@ int zebra_record_encoding (ZebraHandle zh, const char *encoding)
 void zebra_set_resource(ZebraHandle zh, const char *name, const char *value)
 {
     ASSERTZH;
+    yaz_log(LOG_API,"zebra_set_resource %s:%s",name,value);
     zh->errCode=0;
     res_put(zh->res, name, value);
 }
 
 const char *zebra_get_resource(ZebraHandle zh,
-                               const char *name, const char *defaultvalue)
+                               const char *name, const char *defaultvalue)
 {
+    const char *v;
     ASSERTZH;
+    v= res_get_def( zh->res, name, (char *)defaultvalue);
     zh->errCode=0;
-    return res_get_def( zh->res, name, (char *)defaultvalue);
+    yaz_log(LOG_API,"zebra_get_resource %s:%s",name,v);
+    return v;
 }
 
 /* moved from zebra_api_ext.c by pop */
 
 int zebra_trans_no (ZebraHandle zh) {
+  ASSERTZH;
+  yaz_log(LOG_API,"zebra_trans_no");
   return (zh->trans_no);
 }
 
 
 
 int zebra_get_shadow_enable (ZebraHandle zh) {
-  return (zh->shadow_enable);
+    yaz_log(LOG_API,"zebra_get_shadow_enable");
+    return (zh->shadow_enable);
 }
 
 void zebra_set_shadow_enable (ZebraHandle zh, int value) {
-  zh->shadow_enable = value;
+    yaz_log(LOG_API,"zebra_set_shadow_enable %d",value);
+    zh->shadow_enable = value;
 }
 
 void init_recordGroup (struct recordGroup *rg) {
+    assert(rg);
+    yaz_log(LOG_API,"init_recordGroup");
     rg->groupName = NULL;
     rg->databaseName = NULL;
     rg->path = NULL;
@@ -1610,6 +1737,7 @@ void res_get_recordGroup (ZebraHandle zh,
   char gprefix[128];
   char ext_res[128]; 
     
+  yaz_log(LOG_API,"res_get_recordGroup e=%s",ext);
   if (!rGroup->groupName || !*rGroup->groupName)
     *gprefix = '\0';
   else 
@@ -1688,6 +1816,7 @@ void api_records_retrieve (ZebraHandle zh, ODR stream,
 {
     ZebraPosSet poset;
     int i, *pos_array;
+    yaz_log(LOG_API,"api_records_retrieve s=%s n=%d",setname,num_recs);
 
     if (!zh->res)
     {
@@ -1768,124 +1897,141 @@ void api_records_retrieve (ZebraHandle zh, ODR stream,
   If not, and a record is provided, then sysno is got from there
 */
 
+int zebra_insert_record (ZebraHandle zh, 
+                        struct recordGroup *rGroup,
+                        const char *recordType,
+                        int sysno, const char *match, const char *fname,
+                        const char *buf, int buf_size,
+                        int force_update) /* This one is ignored */
+{
+    int res;
+    yaz_log(LOG_API,"zebra_insert_record sysno=%d",sysno);
+
+    if (buf_size < 1) buf_size = strlen(buf);
+
+    zebra_begin_trans(zh, 1);
+    res=bufferExtractRecord (zh, buf, buf_size, rGroup, 
+                            0, /* delete_flag  */
+                            0, /* test_mode */
+                            recordType,
+                            &sysno,   
+                            match, fname,
+                            force_update, 
+                            0); /* allow_update */
+    zebra_end_trans(zh); 
+    if (res < 0) return (res);
+    return sysno; 
+}
+
 int zebra_update_record (ZebraHandle zh, 
                         struct recordGroup *rGroup,
                         const char *recordType,
                         int sysno, const char *match, const char *fname,
-                        const char *buf, int buf_size)
+                        const char *buf, int buf_size,
+                        int force_update)
 
 {
     int res;
+    yaz_log(LOG_API,"zebra_update_record sysno=%d",sysno);
 
     if (buf_size < 1) buf_size = strlen(buf);
 
-    zebra_begin_trans(zh);
+    zebra_begin_trans(zh, 1);
     res=bufferExtractRecord (zh, buf, buf_size, rGroup, 
-                            0, // delete_flag 
-                            0, // test_mode,
+                            0, /* delete_flag */
+                            0, /* test_mode */
                             recordType,
                             &sysno,   
-                            match, fname);     
+                            match, fname,
+                            force_update, 
+                            1); /* allow_update */
     zebra_end_trans(zh); 
     return sysno; 
 }
 
+
+
 int zebra_delete_record (ZebraHandle zh, 
                         struct recordGroup *rGroup, 
                         const char *recordType,
                         int sysno, const char *match, const char *fname,
-                        const char *buf, int buf_size)
+                        const char *buf, int buf_size,
+                        int force_update) 
 {
     int res;
+    yaz_log(LOG_API,"zebra_delete_record sysno=%d",sysno);
 
     if (buf_size < 1) buf_size = strlen(buf);
 
-    zebra_begin_trans(zh);
+    zebra_begin_trans(zh, 1);
     res=bufferExtractRecord (zh, buf, buf_size, rGroup, 
-                            1, // delete_flag
-                            0, // test_mode, 
+                            1, /* delete_flag */
+                            0, /* test_mode */
                             recordType,
                             &sysno,
-                            match,fname);    
+                            match,fname,
+                            force_update,
+                            1); /* allow_update */
     zebra_end_trans(zh);
     return sysno;   
 }
 
 /* ---------------------------------------------------------------------------
   Searching 
-
-  zebra_search_RPN is the same as zebra_search_rpn, except that read locking
-  is not mandatory. (it's repeatable now, also in zebraapi.c)
 */
 
-void zebra_search_RPN (ZebraHandle zh, ODR decode, ODR stream,
-                      Z_RPNQuery *query, const char *setname, int *hits)
-{
-    zh->hits = 0;
-    *hits = 0;
-
-    if (zebra_begin_read (zh))
-       return;
-    resultSetAddRPN (zh, decode, stream, query, 
-                     zh->num_basenames, zh->basenames, setname);
-
-    zebra_end_read (zh);
-
-    *hits = zh->hits;
-}
-
-int zebra_search_PQF (ZebraHandle zh, 
-                     ODR odr_input, ODR odr_output, 
-                     const char *pqf_query,
+int zebra_search_PQF (ZebraHandle zh, const char *pqf_query,
                      const char *setname)
-
 {
-  int hits;
-  Z_RPNQuery *query;
-  query = p_query_rpn (odr_input, PROTO_Z3950, pqf_query);
-
-  if (!query) {
-    logf (LOG_WARN, "bad query %s\n", pqf_query);
-    odr_reset (odr_input);
-    return(0);
-  }
-  zebra_search_RPN (zh, odr_input, odr_output, query, setname, &hits);
+    int hits = 0;
+    Z_RPNQuery *query;
+    ODR odr = odr_createmem(ODR_ENCODE);
+    yaz_log(LOG_API,"zebra_search_PQF s=%s q=%s",setname, pqf_query);
+    
+    query = p_query_rpn (odr, PROTO_Z3950, pqf_query);
+    
+    if (!query)
+        yaz_log (LOG_WARN, "bad query %s\n", pqf_query);
+    else
+        zebra_search_RPN (zh, query, setname, &hits);
+    
+    odr_destroy(odr);
 
-  odr_reset (odr_input);
-  odr_reset (odr_output);
-  
-  return(hits);
+    return hits;
 }
 
 /* ---------------------------------------------------------------------------
   Sort - a simplified interface, with optional read locks.
+  FIXME - This is a horrible name, will conflict with half the applications
 */
 int sort (ZebraHandle zh, 
          ODR stream,
          const char *sort_spec,
          const char *output_setname,
          const char **input_setnames
-         ) 
+    ) 
 {
-  int num_input_setnames = 0;
-  int sort_status = 0;
-  Z_SortKeySpecList *sort_sequence = yaz_sort_spec (stream, sort_spec);
-  if (!sort_sequence) {
-    logf(LOG_WARN,"invalid sort specs '%s'", sort_spec);
-    zh->errCode = 207;
+    int num_input_setnames = 0;
+    int sort_status = 0;
+    Z_SortKeySpecList *sort_sequence = yaz_sort_spec (stream, sort_spec);
+    yaz_log(LOG_API,"sort (FIXME) ");
+    if (!sort_sequence) {
+        logf(LOG_WARN,"invalid sort specs '%s'", sort_spec);
+        zh->errCode = 207;
     return (-1);
-  }
-  
-  /* we can do this, since the perl typemap code for char** will 
-     put a NULL at the end of list */
-  while (input_setnames[num_input_setnames]) num_input_setnames++;
+    }
+    
+    /* we can do this, since the perl typemap code for char** will 
+       put a NULL at the end of list */
+    while (input_setnames[num_input_setnames]) num_input_setnames++;
 
-  if (zebra_begin_read (zh))
-    return;
-  
-  resultSetSort (zh, stream->mem, num_input_setnames, input_setnames,
-                output_setname, sort_sequence, &sort_status);
-  
-  zebra_end_read(zh);
-  return (sort_status);
+    if (zebra_begin_read (zh))
+        return -1;
+    
+    resultSetSort (zh, stream->mem, num_input_setnames, input_setnames,
+                   output_setname, sort_sequence, &sort_status);
+    
+    zebra_end_read(zh);
+    return (sort_status);
 }