In zebra_commit_ex handle better the case where bfs cannot be created
[idzebra-moved-to-github.git] / index / zebraapi.c
index 9a24d0e..320d375 100644 (file)
@@ -1,4 +1,4 @@
-/* $Id: zebraapi.c,v 1.199 2005-12-09 11:33:32 adam Exp $
+/* $Id: zebraapi.c,v 1.213 2006-04-05 02:52:11 adam Exp $
    Copyright (C) 1995-2005
    Index Data ApS
 
@@ -36,6 +36,7 @@ Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
 #include <yaz/pquery.h>
 #include <yaz/sortspec.h>
 #include "index.h"
+#include "orddict.h"
 #include <charmap.h>
 #include <idzebra/api.h>
 
@@ -52,6 +53,15 @@ static int log_level_initialized = 0;
 static void zebra_open_res(ZebraHandle zh);
 static void zebra_close_res(ZebraHandle zh);
 
+static ZEBRA_RES zebra_check_handle(ZebraHandle zh)
+{
+    if (zh)
+        return ZEBRA_OK;
+    return ZEBRA_FAIL;
+}
+
+#define ZEBRA_CHECK_HANDLE(zh) if (zebra_check_handle(zh) != ZEBRA_OK) return ZEBRA_FAIL
+
 static void zebra_chdir (ZebraService zs)
 {
     const char *dir ;
@@ -68,14 +78,15 @@ static void zebra_chdir (ZebraService zs)
 #endif
 }
 
-static void zebra_flush_reg (ZebraHandle zh)
+static ZEBRA_RES zebra_flush_reg (ZebraHandle zh)
 {
-    ASSERTZH;
+    ZEBRA_CHECK_HANDLE(zh);
     yaz_log(log_level, "zebra_flush_reg");
     zebraExplain_flush (zh->reg->zei, zh);
     
     extract_flushWriteKeys (zh, 1 /* final */);
     zebra_index_merge (zh );
+    return ZEBRA_OK;
 }
 
 static struct zebra_register *zebra_register_open(ZebraService zs, 
@@ -83,7 +94,7 @@ static struct zebra_register *zebra_register_open(ZebraService zs,
                                                  int rw, int useshadow,
                                                  Res res,
                                                  const char *reg_path);
-static void zebra_register_close (ZebraService zs, struct zebra_register *reg);
+static void zebra_register_close(ZebraService zs, struct zebra_register *reg);
 
 ZebraHandle zebra_open(ZebraService zs, Res res)
 {
@@ -183,11 +194,18 @@ ZebraService zebra_start_res (const char *configName, Res def_res, Res over_res)
        const char *passwd_plain = 0;
        const char *passwd_encrypt = 0;
        const char *dbaccess = 0;
-        ZebraService zh = xmalloc(sizeof(*zh));
+        ZebraService zh = 0;
 
        if (configName)
-           res_read_file(res, configName);
-
+       {
+           ZEBRA_RES ret = res_read_file(res, configName);
+           if (ret != ZEBRA_OK)
+           {
+               res_close(res);
+               return 0;
+           }
+       }
+       zh = xmalloc(sizeof(*zh));
         zh->global_res = res;
         zh->sessions = 0;
         
@@ -272,6 +290,7 @@ struct zebra_register *zebra_register_open(ZebraService zs, const char *name,
     const char *recordCompression = 0;
     const char *profilePath;
     char cwd[1024];
+    ZEBRA_RES ret = ZEBRA_OK;
 
     ASSERTZS;
     
@@ -288,9 +307,10 @@ struct zebra_register *zebra_register_open(ZebraService zs, const char *name,
     yaz_log (YLOG_DEBUG, "zebra_register_open rw=%d useshadow=%d p=%p n=%s rp=%s",
              rw, useshadow, reg, name, reg_path ? reg_path : "(none)");
     
-    reg->dh = data1_createx (DATA1_FLAG_XML);
+    reg->dh = data1_create();
     if (!reg->dh)
     {
+       xfree(reg->name);
        xfree(reg);
         return 0;
     }
@@ -298,6 +318,7 @@ struct zebra_register *zebra_register_open(ZebraService zs, const char *name,
     if (!reg->bfs)
     {
         data1_destroy(reg->dh);
+       xfree(reg->name);
        xfree(reg);
         return 0;
     }
@@ -307,6 +328,7 @@ struct zebra_register *zebra_register_open(ZebraService zs, const char *name,
        {
            bfs_destroy(reg->bfs);
            data1_destroy(reg->dh);
+           xfree(reg->name);
            xfree(reg);
            return 0;
        }
@@ -320,7 +342,17 @@ struct zebra_register *zebra_register_open(ZebraService zs, const char *name,
     data1_set_tabroot (reg->dh, reg_path);
     reg->recTypes = recTypes_init (zs->record_classes, reg->dh);
 
-    reg->zebra_maps = zebra_maps_open (res, reg_path);
+    reg->zebra_maps =
+       zebra_maps_open(res, reg_path, profilePath);
+    if (!reg->zebra_maps)
+    {
+       recTypes_destroy(reg->recTypes);
+       bfs_destroy(reg->bfs);
+       data1_destroy(reg->dh);
+       xfree(reg->name);
+       xfree(reg);
+       return 0;
+    }
     reg->rank_classes = NULL;
 
     reg->key_buf = 0;
@@ -342,7 +374,6 @@ struct zebra_register *zebra_register_open(ZebraService zs, const char *name,
     reg->isamc = 0;
     reg->isamb = 0;
     reg->zei = 0;
-    reg->matchDict = 0;
     reg->key_file_no = 0;
     reg->ptr_i = 0;
     
@@ -356,10 +387,20 @@ struct zebra_register *zebra_register_open(ZebraService zs, const char *name,
     if (!strcmp (recordCompression, "bzip2"))
        record_compression = REC_COMPRESS_BZIP2;
 
+    if (1)
+    {
+       const char *index_fname = res_get_def(res, "index", "default.idx");
+       if (index_fname && *index_fname)
+       {
+           if (zebra_maps_read_file(reg->zebra_maps, index_fname) != ZEBRA_OK)
+               ret = ZEBRA_FAIL;
+       }
+    }
+
     if (!(reg->records = rec_open (reg->bfs, rw, record_compression)))
     {
        yaz_log (YLOG_WARN, "rec_open failed");
-       return 0;
+       ret = ZEBRA_FAIL;
     }
     if (rw)
     {
@@ -368,12 +409,12 @@ struct zebra_register *zebra_register_open(ZebraService zs, const char *name,
     if (!(reg->dict = dict_open_res (reg->bfs, FNAME_DICT, 40, rw, 0, res)))
     {
        yaz_log (YLOG_WARN, "dict_open failed");
-       return 0;
+       ret = ZEBRA_FAIL;
     }
     if (!(reg->sortIdx = sortIdx_open (reg->bfs, rw)))
     {
        yaz_log (YLOG_WARN, "sortIdx_open failed");
-       return 0;
+       ret = ZEBRA_FAIL;
     }
     if (res_get_match (res, "isam", "s", ISAM_DEFAULT))
     {
@@ -382,7 +423,7 @@ struct zebra_register *zebra_register_open(ZebraService zs, const char *name,
                                      key_isams_m(res, &isams_m))))
        {
            yaz_log (YLOG_WARN, "isams_open failed");
-           return 0;
+           ret = ZEBRA_FAIL;
        }
     }
     if (res_get_match (res, "isam", "c", ISAM_DEFAULT))
@@ -392,7 +433,7 @@ struct zebra_register *zebra_register_open(ZebraService zs, const char *name,
                                    rw, key_isamc_m(res, &isamc_m))))
        {
            yaz_log (YLOG_WARN, "isamc_open failed");
-           return 0;
+           ret = ZEBRA_FAIL;
        }
     }
     if (res_get_match (res, "isam", "b", ISAM_DEFAULT))
@@ -403,7 +444,7 @@ struct zebra_register *zebra_register_open(ZebraService zs, const char *name,
                                        rw, key_isamc_m(res, &isamc_m), 0)))
        {
            yaz_log (YLOG_WARN, "isamb_open failed");
-           return 0;
+           ret = ZEBRA_FAIL;
        }
     }
     if (res_get_match (res, "isam", "bc", ISAM_DEFAULT))
@@ -414,7 +455,7 @@ struct zebra_register *zebra_register_open(ZebraService zs, const char *name,
                                        rw, key_isamc_m(res, &isamc_m), 1)))
        {
            yaz_log (YLOG_WARN, "isamb_open failed");
-           return 0;
+           ret = ZEBRA_FAIL;
        }
     }
     if (res_get_match (res, "isam", "null", ISAM_DEFAULT))
@@ -425,25 +466,33 @@ struct zebra_register *zebra_register_open(ZebraService zs, const char *name,
                                        rw, key_isamc_m(res, &isamc_m), -1)))
        {
            yaz_log (YLOG_WARN, "isamb_open failed");
-           return 0;
+           ret = ZEBRA_FAIL;
+       }
+    }
+    if (ret == ZEBRA_OK)
+    {
+       reg->zei = zebraExplain_open(reg->records, reg->dh,
+                                    res, rw, reg,
+                                    explain_extract);
+       if (!reg->zei)
+       {
+           yaz_log (YLOG_WARN, "Cannot obtain EXPLAIN information");
+           ret = ZEBRA_FAIL;
        }
     }
-    reg->zei = zebraExplain_open (reg->records, reg->dh,
-                                  res, rw, reg,
-                                  explain_extract);
-    if (!reg->zei)
+    
+    if (ret != ZEBRA_OK)
     {
-       yaz_log (YLOG_WARN, "Cannot obtain EXPLAIN information");
+       zebra_register_close(zs, reg);
        return 0;
     }
-    reg->active = 2;
     yaz_log (YLOG_DEBUG, "zebra_register_open ok p=%p", reg);
     return reg;
 }
 
 ZEBRA_RES zebra_admin_shutdown (ZebraHandle zh)
 {
-    ASSERTZH;
+    ZEBRA_CHECK_HANDLE(zh);
     yaz_log(log_level, "zebra_admin_shutdown");
 
     zebra_mutex_cond_lock (&zh->service->session_lock);
@@ -455,7 +504,7 @@ ZEBRA_RES zebra_admin_shutdown (ZebraHandle zh)
 ZEBRA_RES zebra_admin_start (ZebraHandle zh)
 {
     ZebraService zs;
-    ASSERTZH;
+    ZEBRA_CHECK_HANDLE(zh);
     yaz_log(log_level, "zebra_admin_start");
     zs = zh->service;
     zebra_mutex_cond_lock (&zs->session_lock);
@@ -463,28 +512,26 @@ ZEBRA_RES zebra_admin_start (ZebraHandle zh)
     return ZEBRA_OK;
 }
 
-static void zebra_register_close (ZebraService zs, struct zebra_register *reg)
+static void zebra_register_close(ZebraService zs, struct zebra_register *reg)
 {
     ASSERTZS;
     assert(reg);
     yaz_log(YLOG_DEBUG, "zebra_register_close p=%p", reg);
     reg->stop_flag = 0;
     zebra_chdir (zs);
-    if (reg->records)
-    {
-        zebraExplain_close (reg->zei);
-        dict_close (reg->dict);
-        if (reg->matchDict)
-            dict_close (reg->matchDict);
-       sortIdx_close (reg->sortIdx);
-       if (reg->isams)
-           isams_close (reg->isams);
-        if (reg->isamc)
-            isamc_close (reg->isamc);
-        if (reg->isamb)
-            isamb_close (reg->isamb);
-        rec_close (&reg->records);
-    }
+    
+    zebraExplain_close (reg->zei);
+    dict_close (reg->dict);
+    if (reg->matchDict)
+       dict_close (reg->matchDict);
+    sortIdx_close (reg->sortIdx);
+    if (reg->isams)
+       isams_close (reg->isams);
+    if (reg->isamc)
+       isamc_close (reg->isamc);
+    if (reg->isamb)
+       isamb_close (reg->isamb);
+    rec_close (&reg->records);
 
     recTypes_destroy (reg->recTypes);
     zebra_maps_close (reg->zebra_maps);
@@ -534,9 +581,8 @@ ZEBRA_RES zebra_close (ZebraHandle zh)
     int i;
 
     yaz_log(log_level, "zebra_close");
-    if (!zh)
-        return ZEBRA_OK;
-    ASSERTZH;
+    ZEBRA_CHECK_HANDLE(zh);
+
     zh->errCode = 0;
     
     zs = zh->service;
@@ -544,7 +590,7 @@ ZEBRA_RES zebra_close (ZebraHandle zh)
     resultSetDestroy (zh, -1, 0, 0);
 
     if (zh->reg)
-        zebra_register_close (zh->service, zh->reg);
+        zebra_register_close(zh->service, zh->reg);
     zebra_close_res (zh);
     res_close(zh->session_res);
 
@@ -646,7 +692,7 @@ static void zebra_select_register (ZebraHandle zh, const char *new_reg)
         if (zh->reg)
         {
             resultSetInvalidate (zh);
-            zebra_register_close (zh->service, zh->reg);
+            zebra_register_close(zh->service, zh->reg);
             zh->reg = 0;
         }
         zebra_close_res(zh);
@@ -686,11 +732,11 @@ static void zebra_select_register (ZebraHandle zh, const char *new_reg)
             res_set (zh->res, "lockDir", zh->path_reg);
         sprintf (fname, "norm.%s.LCK", zh->reg_name);
         zh->lock_normal =
-            zebra_lock_create (res_get(zh->res, "lockDir"), fname, 0);
+            zebra_lock_create (res_get(zh->res, "lockDir"), fname);
         
         sprintf (fname, "shadow.%s.LCK", zh->reg_name);
         zh->lock_shadow =
-            zebra_lock_create (res_get(zh->res, "lockDir"), fname, 0);
+            zebra_lock_create (res_get(zh->res, "lockDir"), fname);
 
        if (!zh->lock_normal || !zh->lock_shadow)
        {
@@ -717,8 +763,6 @@ static void zebra_select_register (ZebraHandle zh, const char *new_reg)
     {
        if (res_get_int(zh->res, "staticrank", &zh->m_staticrank) == ZEBRA_OK)
            yaz_log(YLOG_LOG, "static rank set and is %d", zh->m_staticrank);
-       else
-           yaz_log(YLOG_LOG, "static rank unset");
     }
 }
 
@@ -805,7 +849,8 @@ void map_basenames (ZebraHandle zh, ODR stream,
 
 ZEBRA_RES zebra_select_database (ZebraHandle zh, const char *basename)
 {
-    ASSERTZH;
+    ZEBRA_CHECK_HANDLE(zh);
+
     yaz_log(log_level, "zebra_select_database %s",basename);
     assert(basename);
     return zebra_select_databases (zh, 1, &basename);
@@ -818,7 +863,8 @@ ZEBRA_RES zebra_select_databases (ZebraHandle zh, int num_bases,
     const char *cp;
     int len = 0;
     char *new_reg = 0;
-    ASSERTZH;
+
+    ZEBRA_CHECK_HANDLE(zh);
     assert(basenames);
 
     yaz_log(log_level, "zebra_select_databases n=%d [0]=%s",
@@ -930,7 +976,9 @@ ZEBRA_RES zebra_search_RPN(ZebraHandle zh, ODR o, Z_RPNQuery *query,
                           const char *setname, zint *hits)
 {
     ZEBRA_RES r;
-    ASSERTZH;
+    
+    ZEBRA_CHECK_HANDLE(zh);
+
     assert(o);
     assert(query);
     assert(hits);
@@ -959,7 +1007,8 @@ ZEBRA_RES zebra_records_retrieve(ZebraHandle zh, ODR stream,
     int i;
     ZEBRA_RES ret = ZEBRA_OK;
     zint *pos_array;
-    ASSERTZH;
+
+    ZEBRA_CHECK_HANDLE(zh);
     assert(stream);
     assert(setname);
     assert(recs);
@@ -1086,7 +1135,9 @@ ZEBRA_RES zebra_scan(ZebraHandle zh, ODR stream, Z_AttributesPlusTerm *zapt,
 {
     ZEBRA_RES res;
     RSET limit_rset = 0;
-    ASSERTZH;
+
+    ZEBRA_CHECK_HANDLE(zh);
+
     assert(stream);
     assert(zapt);
     assert(position);
@@ -1127,7 +1178,7 @@ ZEBRA_RES zebra_sort (ZebraHandle zh, ODR stream,
                      int *sort_status)
 {
     ZEBRA_RES res;
-    ASSERTZH;
+    ZEBRA_CHECK_HANDLE(zh);
     assert(stream);
     assert(num_input_setnames>0);
     assert(input_setnames);
@@ -1209,9 +1260,9 @@ ZEBRA_RES zebra_auth (ZebraHandle zh, const char *user, const char *pass)
     char u[40];
     ZebraService zs;
 
-    ASSERTZH;
+    ZEBRA_CHECK_HANDLE(zh);
 
-    zs= zh->service;
+    zs = zh->service;
     
     sprintf(u, "perm.%.30s", user ? user : "anonymous");
     p = res_get(zs->global_res, u);
@@ -1237,7 +1288,6 @@ ZEBRA_RES zebra_auth (ZebraHandle zh, const char *user, const char *pass)
 ZEBRA_RES zebra_admin_import_begin (ZebraHandle zh, const char *database,
                                const char *record_type)
 {
-    ASSERTZH;
     yaz_log(log_level, "zebra_admin_import_begin db=%s rt=%s", 
                     database, record_type);
     if (zebra_select_database(zh, database) == ZEBRA_FAIL)
@@ -1247,7 +1297,7 @@ ZEBRA_RES zebra_admin_import_begin (ZebraHandle zh, const char *database,
 
 ZEBRA_RES zebra_admin_import_end (ZebraHandle zh)
 {
-    ASSERTZH;
+    ZEBRA_CHECK_HANDLE(zh);
     yaz_log(log_level, "zebra_admin_import_end");
     return zebra_end_trans(zh);
 }
@@ -1257,7 +1307,7 @@ ZEBRA_RES zebra_admin_import_segment (ZebraHandle zh, Z_Segment *segment)
     ZEBRA_RES res = ZEBRA_OK;
     SYSNO sysno;
     int i;
-    ASSERTZH;
+    ZEBRA_CHECK_HANDLE(zh);
     yaz_log(log_level, "zebra_admin_import_segment");
 
     for (i = 0; i<segment->num_segmentRecords; i++)
@@ -1286,11 +1336,11 @@ ZEBRA_RES zebra_admin_import_segment (ZebraHandle zh, Z_Segment *segment)
     return res;
 }
 
-ZEBRA_RES zebra_admin_exchange_record (ZebraHandle zh,
-                                      const char *rec_buf,
-                                      size_t rec_len,
-                                      const char *recid_buf, size_t recid_len,
-                                      int action)
+ZEBRA_RES zebra_admin_exchange_record(ZebraHandle zh,
+                                     const char *rec_buf,
+                                     size_t rec_len,
+                                     const char *recid_buf, size_t recid_len,
+                                     int action)
     /* 1 = insert. Fail it already exists */
     /* 2 = replace. Fail it does not exist */
     /* 3 = delete. Fail if does not exist */
@@ -1300,7 +1350,8 @@ ZEBRA_RES zebra_admin_exchange_record (ZebraHandle zh,
     SYSNO sysno = 0;
     char *rinfo = 0;
     char recid_z[256];
-    ASSERTZH;
+    int db_ord;
+    ZEBRA_CHECK_HANDLE(zh);
     assert(action>0 && action <=4);
     assert(rec_buf);
 
@@ -1319,12 +1370,14 @@ ZEBRA_RES zebra_admin_exchange_record (ZebraHandle zh,
     if (zebra_begin_trans(zh, 1) == ZEBRA_FAIL)
        return ZEBRA_FAIL;
 
-    rinfo = dict_lookup (zh->reg->matchDict, recid_z);
+    db_ord = zebraExplain_get_database_ord(zh->reg->zei);
+    rinfo = dict_lookup_ord(zh->reg->matchDict, db_ord, recid_z);
     if (rinfo)
     {
         if (action == 1)  /* fail if insert */
         {
-           zebra_end_trans(zh);
+           if (zebra_end_trans(zh) != ZEBRA_OK)
+               yaz_log(YLOG_WARN, "zebra_end_trans failed");
            zebra_setError(zh, YAZ_BIB1_ES_IMMEDIATE_EXECUTION_FAILED,
                           "Cannot insert record: already exist");
            return ZEBRA_FAIL;
@@ -1336,7 +1389,8 @@ ZEBRA_RES zebra_admin_exchange_record (ZebraHandle zh,
     {
         if (action == 2 || action == 3) /* fail if delete or update */
         {
-           zebra_end_trans(zh);
+           if (zebra_end_trans(zh) != ZEBRA_OK)
+               yaz_log(YLOG_WARN, "zebra_end_trans failed");
            zebra_setError(zh, YAZ_BIB1_ES_IMMEDIATE_EXECUTION_FAILED,
                           "Cannot delete/update record: does not exist");
             return ZEBRA_FAIL;
@@ -1360,13 +1414,18 @@ ZEBRA_RES zebra_admin_exchange_record (ZebraHandle zh,
     }
     if (action == 1)
     {
-        dict_insert (zh->reg->matchDict, recid_z, sizeof(sysno), &sysno);
+        dict_insert_ord(zh->reg->matchDict, db_ord, recid_z,
+                       sizeof(sysno), &sysno);
     }
     else if (action == 3)
     {
-        dict_delete (zh->reg->matchDict, recid_z);
+        dict_delete_ord(zh->reg->matchDict, db_ord, recid_z);
+    }
+    if (zebra_end_trans(zh) != ZEBRA_OK)
+    {
+       yaz_log(YLOG_WARN, "zebra_end_trans failed");
+       res = ZEBRA_FAIL;
     }
-    zebra_end_trans(zh);
     return res;
 }
 
@@ -1402,8 +1461,9 @@ static int delete_SU_handle(void *handle, int ord)
 ZEBRA_RES zebra_drop_database(ZebraHandle zh, const char *db)
 {
     ZEBRA_RES ret = ZEBRA_OK;
-    ASSERTZH;
+
     yaz_log(log_level, "zebra_drop_database %s", db);
+    ZEBRA_CHECK_HANDLE(zh);
 
     if (zebra_select_database (zh, db) == ZEBRA_FAIL)
         return ZEBRA_FAIL;
@@ -1411,8 +1471,11 @@ ZEBRA_RES zebra_drop_database(ZebraHandle zh, const char *db)
         return ZEBRA_FAIL;
     if (zh->reg->isamb)
     {
+       int db_ord;
        zebraExplain_curDatabase (zh->reg->zei, db);
-       
+       db_ord = zebraExplain_get_database_ord(zh->reg->zei);
+       dict_delete_subtree_ord(zh->reg->matchDict, db_ord,
+                               0 /* handle */, 0 /* func */);
        zebraExplain_trav_ord(zh->reg->zei, zh, delete_SU_handle);
        zebraExplain_removeDatabase(zh->reg->zei, zh);
     }
@@ -1423,14 +1486,18 @@ ZEBRA_RES zebra_drop_database(ZebraHandle zh, const char *db)
                       "drop database only supported for isam:b");
        ret = ZEBRA_FAIL;
     }
-    zebra_end_trans (zh);
+    if (zebra_end_trans (zh) != ZEBRA_OK)
+    {
+       yaz_log(YLOG_WARN, "zebra_end_trans failed");
+       ret = ZEBRA_FAIL;
+    }
     return ret;
 }
 
 ZEBRA_RES zebra_create_database (ZebraHandle zh, const char *db)
 {
-    ASSERTZH;
     yaz_log(log_level, "zebra_create_database %s", db);
+    ZEBRA_CHECK_HANDLE(zh);
     assert(db);
 
     if (zebra_select_database (zh, db) == ZEBRA_FAIL)
@@ -1442,7 +1509,10 @@ ZEBRA_RES zebra_create_database (ZebraHandle zh, const char *db)
     if (zebraExplain_newDatabase (zh->reg->zei, db, 0 
                                   /* explainDatabase */))
     {
-        zebra_end_trans (zh);
+        if (zebra_end_trans (zh) != ZEBRA_OK)
+       {
+           yaz_log(YLOG_WARN, "zebra_end_trans failed");
+       }
        zebra_setError(zh, YAZ_BIB1_ES_IMMEDIATE_EXECUTION_FAILED, db);
        return ZEBRA_FAIL;
     }
@@ -1556,7 +1626,7 @@ static void read_res_for_transaction(ZebraHandle zh)
 
 ZEBRA_RES zebra_begin_trans(ZebraHandle zh, int rw)
 {
-    ASSERTZH;
+    ZEBRA_CHECK_HANDLE(zh);
     zebra_select_default_database(zh);
     if (!zh->res)
     {
@@ -1602,7 +1672,7 @@ ZEBRA_RES zebra_begin_trans(ZebraHandle zh, int rw)
         if (zh->reg)
        {
             resultSetInvalidate (zh);
-            zebra_register_close (zh->service, zh->reg);
+            zebra_register_close(zh->service, zh->reg);
        }
         zh->trans_w_no = zh->trans_no;
 
@@ -1649,7 +1719,7 @@ ZEBRA_RES zebra_begin_trans(ZebraHandle zh, int rw)
                     yaz_log (YLOG_WARN, "previous transaction didn't reach commit");
                     bf_commitClean (bfs, rval);
                     bfs_destroy (bfs);
-            }
+               }
                 else
                 {
                     yaz_log (YLOG_WARN, "your previous transaction didn't finish");
@@ -1685,6 +1755,7 @@ ZEBRA_RES zebra_begin_trans(ZebraHandle zh, int rw)
             yaz_log(YLOG_FATAL, "%s", zh->errString);
             return ZEBRA_FAIL;
         }
+       zebraExplain_curDatabase(zh->reg->zei, zh->basenames[0]);
     }
     else
     {
@@ -1696,8 +1767,7 @@ ZEBRA_RES zebra_begin_trans(ZebraHandle zh, int rw)
         
         if (zh->trans_no != 1)
         {
-            zebra_flush_reg (zh);
-            return ZEBRA_OK;
+            return zebra_flush_reg (zh);
         }
 #if HAVE_SYS_TIMES_H
         times (&zh->tms1);
@@ -1743,7 +1813,7 @@ ZEBRA_RES zebra_begin_trans(ZebraHandle zh, int rw)
         if (zh->reg)
        {
             resultSetInvalidate (zh);
-            zebra_register_close (zh->service, zh->reg);
+            zebra_register_close(zh->service, zh->reg);
        }
         zh->reg = zebra_register_open(zh->service, zh->reg_name,
                                       0, val == 'c' ? 1 : 0,
@@ -1766,8 +1836,9 @@ ZEBRA_RES zebra_begin_trans(ZebraHandle zh, int rw)
 ZEBRA_RES zebra_end_trans (ZebraHandle zh)
 {
     ZebraTransactionStatus dummy;
-    ASSERTZH;
+
     yaz_log(log_level, "zebra_end_trans");
+    ZEBRA_CHECK_HANDLE(zh);
     return zebra_end_transaction(zh, &dummy);
 }
 
@@ -1777,7 +1848,8 @@ ZEBRA_RES zebra_end_transaction (ZebraHandle zh, ZebraTransactionStatus *status)
     int seqno;
     const char *rval;
 
-    ASSERTZH;
+    ZEBRA_CHECK_HANDLE(zh);
+
     assert(status);
     yaz_log(log_level, "zebra_end_transaction");
 
@@ -1819,7 +1891,7 @@ ZEBRA_RES zebra_end_transaction (ZebraHandle zh, ZebraTransactionStatus *status)
         
         resultSetInvalidate (zh);
 
-        zebra_register_close (zh->service, zh->reg);
+        zebra_register_close(zh->service, zh->reg);
         zh->reg = 0;
         
         yaz_log (YLOG_LOG, "Records: "ZINT_FORMAT" i/u/d "
@@ -1912,7 +1984,12 @@ static ZEBRA_RES zebra_commit_ex(ZebraHandle zh, int clean_only)
     zebra_lock_r (zh->lock_shadow);
 
     bfs = bfs_create (res_get (zh->res, "register"), zh->path_reg);
-
+    if (!bfs)
+    {
+       zebra_unlock(zh->lock_shadow);
+       zebra_unlock(zh->lock_normal);
+        return ZEBRA_FAIL;
+    }
     zebra_get_state (zh, &val, &seqno);
 
     if (rval && *rval)
@@ -1931,43 +2008,51 @@ static ZEBRA_RES zebra_commit_ex(ZebraHandle zh, int clean_only)
             sync ();
 #endif
         }
-        yaz_log (YLOG_DEBUG, "commit clean");
-        bf_commitClean (bfs, rval);
         seqno++;
         zebra_set_state (zh, 'o', seqno);
+
+       zebra_unlock (zh->lock_shadow);
+       zebra_unlock (zh->lock_normal);
+
+       zebra_lock_w(zh->lock_shadow);
+        bf_commitClean (bfs, rval);
+       zebra_unlock (zh->lock_normal);
     }
     else
     {
+       zebra_unlock(zh->lock_shadow);
+       zebra_unlock(zh->lock_normal);
         yaz_log (log_level, "nothing to commit");
     }
     bfs_destroy (bfs);
 
-    zebra_unlock (zh->lock_shadow);
-    zebra_unlock (zh->lock_normal);
     return ZEBRA_OK;
 }
 
 ZEBRA_RES zebra_clean(ZebraHandle zh)
 {
-    ASSERTZH;
     yaz_log(log_level, "zebra_clean");
+    ZEBRA_CHECK_HANDLE(zh);
     return zebra_commit_ex(zh, 1);
 }
 
 ZEBRA_RES zebra_commit(ZebraHandle zh)
 {
-    ASSERTZH;
     yaz_log(log_level, "zebra_commit");
+    ZEBRA_CHECK_HANDLE(zh);
     return zebra_commit_ex(zh, 0);
 }
 
+
 ZEBRA_RES zebra_init(ZebraHandle zh)
 {
     const char *rval;
     BFiles bfs = 0;
-    ASSERTZH;
+
     yaz_log(log_level, "zebra_init");
 
+    ZEBRA_CHECK_HANDLE(zh);
+
     zebra_select_default_database(zh);
     if (!zh->res)
     {
@@ -1995,8 +2080,9 @@ ZEBRA_RES zebra_init(ZebraHandle zh)
 ZEBRA_RES zebra_compact(ZebraHandle zh)
 {
     BFiles bfs;
-    ASSERTZH;
+
     yaz_log(log_level, "zebra_compact");
+    ZEBRA_CHECK_HANDLE(zh);
     if (!zh->res)
     {
         zh->errCode = YAZ_BIB1_DATABASE_UNAVAILABLE;
@@ -2010,10 +2096,17 @@ ZEBRA_RES zebra_compact(ZebraHandle zh)
 
 void zebra_result(ZebraHandle zh, int *code, char **addinfo)
 {
-    ASSERTZH;
     yaz_log(log_level, "zebra_result");
-    *code = zh->errCode;
-    *addinfo = zh->errString;
+    if (zh)
+    {
+       *code = zh->errCode;
+       *addinfo = zh->errString;
+    }
+    else
+    {
+       *code = YAZ_BIB1_TEMPORARY_SYSTEM_ERROR;
+       *addinfo ="ZebraHandle is NULL";
+    }
 }
 
 void zebra_shadow_enable(ZebraHandle zh, int value)
@@ -2025,9 +2118,9 @@ void zebra_shadow_enable(ZebraHandle zh, int value)
 
 ZEBRA_RES zebra_octet_term_encoding(ZebraHandle zh, const char *encoding)
 {
-    ASSERTZH;
-    assert(encoding);
     yaz_log(log_level, "zebra_octet_term_encoding %s", encoding);
+    ZEBRA_CHECK_HANDLE(zh);
+    assert(encoding);
 
     if (zh->iconv_to_utf8 != 0)
         yaz_iconv_close(zh->iconv_to_utf8);
@@ -2048,8 +2141,8 @@ ZEBRA_RES zebra_octet_term_encoding(ZebraHandle zh, const char *encoding)
 
 ZEBRA_RES zebra_record_encoding (ZebraHandle zh, const char *encoding)
 {
-    ASSERTZH;
     yaz_log(log_level, "zebra_record_encoding");
+    ZEBRA_CHECK_HANDLE(zh);
     xfree(zh->record_encoding);
     zh->record_encoding = 0;
     if (encoding)
@@ -2059,10 +2152,10 @@ ZEBRA_RES zebra_record_encoding (ZebraHandle zh, const char *encoding)
 
 void zebra_set_resource(ZebraHandle zh, const char *name, const char *value)
 {
-    ASSERTZH;
     assert(name);
     assert(value);
     yaz_log(log_level, "zebra_set_resource %s:%s", name, value);
+    ASSERTZH;
     res_set(zh->res, name, value);
 }
 
@@ -2082,22 +2175,22 @@ const char *zebra_get_resource(ZebraHandle zh,
 
 int zebra_trans_no (ZebraHandle zh)
 {
-    ASSERTZH;
     yaz_log(log_level, "zebra_trans_no");
+    ASSERTZH;
     return zh->trans_no;
 }
 
 int zebra_get_shadow_enable (ZebraHandle zh)
 {
-    ASSERTZH;
     yaz_log(log_level, "zebra_get_shadow_enable");
+    ASSERTZH;
     return zh->shadow_enable;
 }
 
 void zebra_set_shadow_enable (ZebraHandle zh, int value)
 {
-    ASSERTZH;
     yaz_log(log_level, "zebra_set_shadow_enable %d",value);
+    ASSERTZH;
     zh->shadow_enable = value;
 }
 
@@ -2153,7 +2246,11 @@ ZEBRA_RES zebra_insert_record (ZebraHandle zh,
                                 match, fname,
                                 0, 
                                 0); /* allow_update */
-    zebra_end_trans(zh); 
+    if (zebra_end_trans(zh) != ZEBRA_OK)
+    {
+       yaz_log(YLOG_WARN, "zebra_end_trans failed");
+       res = ZEBRA_FAIL;
+    }
     return res; 
 }
 
@@ -2165,7 +2262,9 @@ ZEBRA_RES zebra_update_record (ZebraHandle zh,
                               int force_update)
 {
     ZEBRA_RES res;
-    ASSERTZH;
+
+    ZEBRA_CHECK_HANDLE(zh);
+
     assert(buf);
 
     yaz_log(log_level, "zebra_update_record");
@@ -2184,7 +2283,11 @@ ZEBRA_RES zebra_update_record (ZebraHandle zh,
                                 match, fname,
                                 force_update, 
                                 1); /* allow_update */
-    zebra_end_trans(zh); 
+    if (zebra_end_trans(zh) != ZEBRA_OK)
+    {
+       yaz_log(YLOG_WARN, "zebra_end_trans failed");
+       res = ZEBRA_FAIL;
+    }
     return res; 
 }
 
@@ -2196,7 +2299,9 @@ ZEBRA_RES zebra_delete_record (ZebraHandle zh,
                               int force_update) 
 {
     ZEBRA_RES res;
-    ASSERTZH;
+
+    ZEBRA_CHECK_HANDLE(zh);
+
     assert(sysno);
     assert(buf);
     yaz_log(log_level, "zebra_delete_record sysno=" ZINT_FORMAT, *sysno);
@@ -2213,7 +2318,11 @@ ZEBRA_RES zebra_delete_record (ZebraHandle zh,
                                 match,fname,
                                 force_update,
                                 1); /* allow_update */
-    zebra_end_trans(zh);
+    if (zebra_end_trans(zh) != ZEBRA_OK)
+    {
+       yaz_log(YLOG_WARN, "zebra_end_trans failed");
+       res = ZEBRA_FAIL;
+    }
     return res;
 }
 
@@ -2227,8 +2336,12 @@ ZEBRA_RES zebra_search_PQF(ZebraHandle zh, const char *pqf_query,
     zint lhits = 0;
     ZEBRA_RES res = ZEBRA_OK;
     Z_RPNQuery *query;
-    ODR odr = odr_createmem(ODR_ENCODE);
-    ASSERTZH;
+    ODR odr;
+
+    ZEBRA_CHECK_HANDLE(zh);
+
+    odr = odr_createmem(ODR_ENCODE);
+
     assert(pqf_query);
     assert(setname);
 
@@ -2266,7 +2379,8 @@ int zebra_sort_by_specstr (ZebraHandle zh, ODR stream,
     int num_input_setnames = 0;
     int sort_status = 0;
     Z_SortKeySpecList *sort_sequence;
-    ASSERTZH;
+
+    ZEBRA_CHECK_HANDLE(zh);
     assert(stream);
     assert(sort_spec);
     assert(output_setname);
@@ -2310,7 +2424,7 @@ struct BFiles_struct *zebra_get_bfs(ZebraHandle zh)
 */
 ZEBRA_RES zebra_set_limit(ZebraHandle zh, int complement_flag, zint *ids)
 {
-    ASSERTZH;
+    ZEBRA_CHECK_HANDLE(zh);
     zebra_limit_destroy(zh->m_limit);
     zh->m_limit = zebra_limit_create(complement_flag, ids);
     return ZEBRA_OK;
@@ -2321,6 +2435,8 @@ ZEBRA_RES zebra_set_limit(ZebraHandle zh, int complement_flag, zint *ids)
 */
 void zebra_setError(ZebraHandle zh, int code, const char *addinfo)
 {
+    if (!zh)
+       return;
     zh->errCode = code;
     nmem_reset(zh->nmem_error);
     zh->errString = addinfo ? nmem_strdup(zh->nmem_error, addinfo) : 0;
@@ -2336,3 +2452,12 @@ void zebra_setError_zint(ZebraHandle zh, int code, zint i)
     zh->errString = nmem_strdup(zh->nmem_error, vstr);
 }
 
+void zebra_lock_prefix (Res res, char *path)
+{
+    const char *lock_dir = res_get_def (res, "lockDir", "");
+
+    strcpy (path, lock_dir);
+    if (*path && path[strlen(path)-1] != '/')
+        strcat (path, "/");
+}
+