Added a few casts from zint to double/int where appropriate.
[idzebra-moved-to-github.git] / index / zebraapi.c
index ca6f4b5..d0f4e79 100644 (file)
@@ -1,6 +1,6 @@
-/* $Id: zebraapi.c,v 1.139 2004-10-29 11:23:52 heikki Exp $
-   Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002,2003,2004
-   Index Data Aps
+/* $Id: zebraapi.c,v 1.153 2005-03-08 14:02:12 adam Exp $
+   Copyright (C) 1995-2005
+   Index Data ApS
 
 This file is part of the Zebra server.
 
@@ -43,21 +43,21 @@ Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
 #define ASSERTZHRES assert(zh && zh->service && zh->res)
 #define ASSERTZS assert(zs)
 
-#define LOG_API LOG_APP2
+static int log_level = 0;
+static int log_level_initialized = 0;
 
 static Res zebra_open_res (ZebraHandle zh);
 static void zebra_close_res (ZebraHandle zh);
 
-
 static void zebra_chdir (ZebraService zs)
 {
     const char *dir ;
     ASSERTZS;
-    yaz_log(LOG_API,"zebra_chdir");
+    yaz_log(log_level, "zebra_chdir");
     dir = res_get (zs->global_res, "chdir");
     if (!dir)
        return;
-    logf (LOG_DEBUG, "chdir %s", dir);
+    yaz_log (YLOG_DEBUG, "chdir %s", dir);
 #ifdef WIN32
     _chdir(dir);
 #else
@@ -68,11 +68,11 @@ static void zebra_chdir (ZebraService zs)
 static void zebra_flush_reg (ZebraHandle zh)
 {
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_flush_reg");
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_flush_reg");
+    zh->errCode = 0;
     zebraExplain_flush (zh->reg->zei, zh);
     
-    extract_flushWriteKeys (zh,1 /* final */);
+    extract_flushWriteKeys (zh, 1 /* final */);
     zebra_index_merge (zh );
 }
 
@@ -87,13 +87,19 @@ ZebraHandle zebra_open (ZebraService zs)
 {
     ZebraHandle zh;
     const char *default_encoding;
-    yaz_log(LOG_API,"zebra_open");
+    if (!log_level_initialized)
+    {
+        log_level = yaz_log_module_level("zebraapi");
+        log_level_initialized = 1;
+    }
+
+    yaz_log(log_level, "zebra_open");
 
     if (!zs)
         return 0;
 
-    zh = (ZebraHandle) xmalloc (sizeof(*zh));
-    yaz_log (LOG_DEBUG, "zebra_open zs=%p returns %p", zs, zh);
+    zh = (ZebraHandle) xmalloc(sizeof(*zh));
+    yaz_log (YLOG_DEBUG, "zebra_open zs=%p returns %p", zs, zh);
 
     zh->service = zs;
     zh->reg = 0;          /* no register attached yet */
@@ -118,19 +124,20 @@ ZebraHandle zebra_open (ZebraService zs)
     zh->shadow_enable = 1;
 
     default_encoding = res_get_def(zs->global_res, "encoding", "ISO-8859-1");
-    zh->record_encoding = xstrdup (default_encoding);
 
     zh->iconv_to_utf8 =
         yaz_iconv_open ("UTF-8", default_encoding);
     if (zh->iconv_to_utf8 == 0)
-        yaz_log (LOG_WARN, "iconv: %s to UTF-8 unsupported",
+        yaz_log (YLOG_WARN, "iconv: %s to UTF-8 unsupported",
            default_encoding);
     zh->iconv_from_utf8 =
         yaz_iconv_open (default_encoding, "UTF-8");
     if (zh->iconv_to_utf8 == 0)
-        yaz_log (LOG_WARN, "iconv: UTF-8 to %s unsupported",
+        yaz_log (YLOG_WARN, "iconv: UTF-8 to %s unsupported",
            default_encoding);
 
+    zh->record_encoding = 0;
+
     zebra_mutex_cond_lock (&zs->session_lock);
 
     zh->next = zs->sessions;
@@ -150,14 +157,20 @@ ZebraService zebra_start_res (const char *configName, Res def_res, Res over_res)
 {
     Res res;
 
-    yaz_log(LOG_API,"zebra_start %s",configName);
+    if (!log_level_initialized)
+    {
+        log_level = yaz_log_module_level("zebraapi");
+        log_level_initialized = 1;
+    }
+
+    yaz_log(log_level, "zebra_start %s",configName);
     assert(configName);
 
     if ((res = res_open (configName, def_res, over_res)))
     {
-        ZebraService zh = xmalloc (sizeof(*zh));
+        ZebraService zh = xmalloc(sizeof(*zh));
 
-       yaz_log (LOG_DEBUG, "Read resources `%s'", configName);
+       yaz_log (YLOG_DEBUG, "Read resources `%s'", configName);
         
         zh->global_res = res;
         zh->configName = xstrdup(configName);
@@ -172,7 +185,7 @@ ZebraService zebra_start_res (const char *configName, Res def_res, Res over_res)
         {
             zh->passwd_db = passwd_db_open ();
             if (!zh->passwd_db)
-                logf (LOG_WARN|LOG_ERRNO, "passwd_db_open failed");
+                yaz_log (YLOG_WARN|YLOG_ERRNO, "passwd_db_open failed");
             else
                 passwd_db_file (zh->passwd_db,
                                 res_get (zh->global_res, "passwd"));
@@ -214,7 +227,7 @@ Dict dict_open_res (BFiles bfs, const char *name, int cache, int rw,
     if (v)
     {
        page_size = atoi(v);
-       yaz_log(LOG_LOG, "Using custom dictionary page size %d for %s",
+       yaz_log(YLOG_LOG, "Using custom dictionary page size %d for %s",
                page_size, name);
     }
     return dict_open(bfs, name, cache, rw, compact_flag, page_size);
@@ -234,7 +247,7 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
 
     ASSERTZS;
     
-    reg = xmalloc (sizeof(*reg));
+    reg = xmalloc(sizeof(*reg));
 
     assert (name);
     reg->name = xstrdup (name);
@@ -244,7 +257,7 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
 
     assert (res);
 
-    yaz_log (LOG_DEBUG, "zebra_register_open rw=%d useshadow=%d p=%p n=%s rp=%s",
+    yaz_log (YLOG_DEBUG, "zebra_register_open rw=%d useshadow=%d p=%p n=%s rp=%s",
              rw, useshadow, reg, name, reg_path ? reg_path : "(none)");
     
     reg->dh = data1_createx (DATA1_FLAG_XML);
@@ -261,7 +274,7 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
 
     getcwd(cwd, sizeof(cwd)-1);
     profilePath = res_get_def(res, "profilePath", DEFAULT_PROFILE_PATH);
-    yaz_log(LOG_DEBUG, "profilePath=%s cwd=%s", profilePath, cwd);
+    yaz_log(YLOG_DEBUG, "profilePath=%s cwd=%s", profilePath, cwd);
 
     data1_set_tabpath (reg->dh, profilePath);
     data1_set_tabroot (reg->dh, reg_path);
@@ -289,7 +302,7 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
     reg->zei = 0;
     reg->matchDict = 0;
     reg->key_file_no = 0;
-    reg->ptr_i=0;
+    reg->ptr_i = 0;
     
     zebraRankInstall (reg, rank1_class);
     zebraRankInstall (reg, rankzv_class);
@@ -302,7 +315,7 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
 
     if (!(reg->records = rec_open (reg->bfs, rw, record_compression)))
     {
-       logf (LOG_WARN, "rec_open");
+       yaz_log (YLOG_WARN, "rec_open failed");
        return 0;
     }
     if (rw)
@@ -311,12 +324,12 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
     }
     if (!(reg->dict = dict_open_res (reg->bfs, FNAME_DICT, 40, rw, 0, res)))
     {
-       logf (LOG_WARN, "dict_open");
+       yaz_log (YLOG_WARN, "dict_open failed");
        return 0;
     }
     if (!(reg->sortIdx = sortIdx_open (reg->bfs, rw)))
     {
-       logf (LOG_WARN, "sortIdx_open");
+       yaz_log (YLOG_WARN, "sortIdx_open failed");
        return 0;
     }
     if (res_get_match (res, "isam", "s", ISAM_DEFAULT))
@@ -325,7 +338,7 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
        if (!(reg->isams = isams_open (reg->bfs, FNAME_ISAMS, rw,
                                      key_isams_m(res, &isams_m))))
        {
-           logf (LOG_WARN, "isams_open");
+           yaz_log (YLOG_WARN, "isams_open failed");
            return 0;
        }
     }
@@ -335,7 +348,7 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
        if (!(reg->isamc = isc_open (reg->bfs, FNAME_ISAMC,
                                    rw, key_isamc_m(res, &isamc_m))))
        {
-           logf (LOG_WARN, "isc_open");
+           yaz_log (YLOG_WARN, "isc_open failed");
            return 0;
        }
     }
@@ -346,7 +359,7 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
        if (!(reg->isamb = isamb_open (reg->bfs, "isamb",
                                        rw, key_isamc_m(res, &isamc_m), 0)))
        {
-           logf (LOG_WARN, "isamb_open");
+           yaz_log (YLOG_WARN, "isamb_open failed");
            return 0;
        }
     }
@@ -357,7 +370,7 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
        if (!(reg->isamb = isamb_open (reg->bfs, "isamb",
                                        rw, key_isamc_m(res, &isamc_m), 1)))
        {
-           logf (LOG_WARN, "isamb_open");
+           yaz_log (YLOG_WARN, "isamb_open failed");
            return 0;
        }
     }
@@ -368,7 +381,7 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
        if (!(reg->isamb = isamb_open (reg->bfs, "isamb",
                                        rw, key_isamc_m(res, &isamc_m), -1)))
        {
-           logf (LOG_WARN, "isamb_open");
+           yaz_log (YLOG_WARN, "isamb_open failed");
            return 0;
        }
     }
@@ -377,19 +390,19 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
                                   explain_extract);
     if (!reg->zei)
     {
-       logf (LOG_WARN, "Cannot obtain EXPLAIN information");
+       yaz_log (YLOG_WARN, "Cannot obtain EXPLAIN information");
        return 0;
     }
     reg->active = 2;
-    yaz_log (LOG_DEBUG, "zebra_register_open ok p=%p", reg);
+    yaz_log (YLOG_DEBUG, "zebra_register_open ok p=%p", reg);
     return reg;
 }
 
 int zebra_admin_shutdown (ZebraHandle zh)
 {
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_admin_shutdown");
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_admin_shutdown");
+    zh->errCode = 0;
 
     zebra_mutex_cond_lock (&zh->service->session_lock);
     zh->service->stop_flag = 1;
@@ -401,8 +414,8 @@ int zebra_admin_start (ZebraHandle zh)
 {
     ZebraService zs;
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_admin_start");
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_admin_start");
+    zh->errCode = 0;
     zs = zh->service;
     zebra_mutex_cond_lock (&zs->session_lock);
     zebra_mutex_cond_unlock (&zs->session_lock);
@@ -413,7 +426,7 @@ static void zebra_register_close (ZebraService zs, struct zebra_register *reg)
 {
     ASSERTZS;
     assert(reg);
-    yaz_log(LOG_DEBUG, "zebra_register_close p=%p", reg);
+    yaz_log(YLOG_DEBUG, "zebra_register_close p=%p", reg);
     reg->stop_flag = 0;
     zebra_chdir (zs);
     if (reg->records)
@@ -438,20 +451,20 @@ static void zebra_register_close (ZebraService zs, struct zebra_register *reg)
     bfs_destroy (reg->bfs);
     data1_destroy (reg->dh);
 
-    xfree (reg->sortKeys.buf);
-    xfree (reg->keys.buf);
+    xfree(reg->sortKeys.buf);
+    xfree(reg->keys.buf);
     if (reg->keys.codec_handle)
        iscz1_stop(reg->keys.codec_handle);
-    xfree (reg->key_buf);
-    xfree (reg->name);
-    xfree (reg);
+    xfree(reg->key_buf);
+    xfree(reg->name);
+    xfree(reg);
 }
 
 int zebra_stop(ZebraService zs)
 {
     if (!zs)
         return 0;
-    yaz_log (LOG_API, "zebra_stop");
+    yaz_log (log_level, "zebra_stop");
 
     while (zs->sessions)
     {
@@ -466,8 +479,8 @@ int zebra_stop(ZebraService zs)
     recTypeClass_destroy(zs->record_classes);
     nmem_destroy(zs->nmem);
     res_close (zs->global_res);
-    xfree (zs->configName);
-    xfree (zs);
+    xfree(zs->configName);
+    xfree(zs);
     return 0;
 }
 
@@ -477,25 +490,25 @@ int zebra_close (ZebraHandle zh)
     struct zebra_session **sp;
     int i;
 
-    yaz_log(LOG_API,"zebra_close");
+    yaz_log(log_level, "zebra_close");
     if (!zh)
         return 0;
     ASSERTZH;
-    zh->errCode=0;
+    zh->errCode = 0;
     
     zs = zh->service;
-    yaz_log (LOG_DEBUG, "zebra_close zh=%p", zh);
+    yaz_log (YLOG_DEBUG, "zebra_close zh=%p", zh);
     resultSetDestroy (zh, -1, 0, 0);
 
     if (zh->reg)
         zebra_register_close (zh->service, zh->reg);
     zebra_close_res (zh);
 
-    xfree (zh->record_encoding);
+    xfree(zh->record_encoding);
 
     for (i = 0; i < zh->num_basenames; i++)
-        xfree (zh->basenames[i]);
-    xfree (zh->basenames);
+        xfree(zh->basenames[i]);
+    xfree(zh->basenames);
 
     if (zh->iconv_to_utf8 != 0)
         yaz_iconv_close (zh->iconv_to_utf8);
@@ -517,11 +530,11 @@ int zebra_close (ZebraHandle zh)
        sp = &(*sp)->next;
     }
     zebra_mutex_cond_unlock (&zs->session_lock);
-    xfree (zh->reg_name);
-    xfree (zh->user_perm);
-    zh->service=0; /* more likely to trigger an assert */
-    xfree (zh->path_reg);
-    xfree (zh);
+    xfree(zh->reg_name);
+    xfree(zh->user_perm);
+    zh->service = 0; /* more likely to trigger an assert */
+    xfree(zh->path_reg);
+    xfree(zh);
     return 0;
 }
 
@@ -540,7 +553,7 @@ static Res zebra_open_res (ZebraHandle zh)
     Res res = 0;
     char fname[512];
     ASSERTZH;
-    zh->errCode=0;
+    zh->errCode = 0;
 
     if (zh->path_reg)
     {
@@ -555,7 +568,7 @@ static Res zebra_open_res (ZebraHandle zh)
     }
     else
     {
-        yaz_log (LOG_WARN, "no register root specified");
+        yaz_log (YLOG_WARN, "no register root specified");
         return 0;  /* no path for register - fail! */
     }
     return res;
@@ -564,7 +577,7 @@ static Res zebra_open_res (ZebraHandle zh)
 static void zebra_close_res (ZebraHandle zh)
 {
     ASSERTZH;
-    zh->errCode=0;
+    zh->errCode = 0;
     if (zh->res != zh->service->global_res)
         res_close (zh->res);
     zh->res = 0;
@@ -573,7 +586,7 @@ static void zebra_close_res (ZebraHandle zh)
 static int zebra_select_register (ZebraHandle zh, const char *new_reg)
 {
     ASSERTZH;
-    zh->errCode=0;
+    zh->errCode = 0;
     if (zh->res && strcmp (zh->reg_name, new_reg) == 0)
         return 0;
     if (!zh->res)
@@ -591,14 +604,14 @@ static int zebra_select_register (ZebraHandle zh, const char *new_reg)
         }
         zebra_close_res(zh);
     }
-    xfree (zh->reg_name);
+    xfree(zh->reg_name);
     zh->reg_name = xstrdup (new_reg);
 
-    xfree (zh->path_reg);
+    xfree(zh->path_reg);
     zh->path_reg = 0;
     if (zh->service->path_root)
     {
-        zh->path_reg = xmalloc (strlen(zh->service->path_root) + 
+        zh->path_reg = xmalloc(strlen(zh->service->path_root) + 
                                 strlen(zh->reg_name) + 3);
         strcpy (zh->path_reg, zh->service->path_root);
         if (*zh->reg_name)
@@ -668,6 +681,21 @@ void map_basenames_func (void *vp, const char *name, const char *value)
        }
 }
 
+int zebra_select_default_database(ZebraHandle zh)
+{
+    if (!zh->res)
+    {
+       /* no database has been selected - so we select based on
+          resource setting (including group)
+       */
+       const char *group = res_get(zh->service->global_res, "group");
+       const char *v = res_get_prefix(zh->service->global_res,
+                                      "database", group, "Default");
+       zebra_select_database(zh, v);
+    }
+    return 0;
+}
+
 void map_basenames (ZebraHandle zh, ODR stream,
                    int *num_bases, char ***basenames)
 {
@@ -675,12 +703,13 @@ void map_basenames (ZebraHandle zh, ODR stream,
     struct map_baseinfo *p = &info;
     int i;
     ASSERTZH;
-    yaz_log(LOG_API,"map_basenames ");
+    yaz_log(log_level, "map_basenames ");
     assert(stream);
 
-    zh->errCode=0;
+    zh->errCode = 0;
 
     info.zh = zh;
+
     info.num_bases = *num_bases;
     info.basenames = *basenames;
     info.new_num_max = 128;
@@ -700,15 +729,15 @@ void map_basenames (ZebraHandle zh, ODR stream,
     *num_bases = info.new_num_bases;
     *basenames = info.new_basenames;
     for (i = 0; i<*num_bases; i++)
-       logf (LOG_DEBUG, "base %s", (*basenames)[i]);
+       yaz_log (YLOG_DEBUG, "base %s", (*basenames)[i]);
 }
 
 int zebra_select_database (ZebraHandle zh, const char *basename)
 {
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_select_database %s",basename);
+    yaz_log(log_level, "zebra_select_database %s",basename);
     assert(basename);
-    zh->errCode=0;
+    zh->errCode = 0;
     return zebra_select_databases (zh, 1, &basename);
 }
 
@@ -722,9 +751,9 @@ int zebra_select_databases (ZebraHandle zh, int num_bases,
     ASSERTZH;
     assert(basenames);
 
-    yaz_log(LOG_API,"zebra_select_databases n=%d [0]=%s",
+    yaz_log(log_level, "zebra_select_databases n=%d [0]=%s",
                    num_bases,basenames[0]);
-    zh->errCode=0;
+    zh->errCode = 0;
     
     if (num_bases < 1)
     {
@@ -732,11 +761,11 @@ int zebra_select_databases (ZebraHandle zh, int num_bases,
         return -1;
     }
     for (i = 0; i < zh->num_basenames; i++)
-        xfree (zh->basenames[i]);
-    xfree (zh->basenames);
+        xfree(zh->basenames[i]);
+    xfree(zh->basenames);
     
     zh->num_basenames = num_bases;
-    zh->basenames = xmalloc (zh->num_basenames * sizeof(*zh->basenames));
+    zh->basenames = xmalloc(zh->num_basenames * sizeof(*zh->basenames));
     for (i = 0; i < zh->num_basenames; i++)
         zh->basenames[i] = xstrdup (basenames[i]);
 
@@ -744,7 +773,7 @@ int zebra_select_databases (ZebraHandle zh, int num_bases,
     if (cp)
     {
         len = cp - basenames[0];
-        new_reg = xmalloc (len + 1);
+        new_reg = xmalloc(len + 1);
         memcpy (new_reg, basenames[0], len);
         new_reg[len] = '\0';
     }
@@ -779,7 +808,7 @@ int zebra_select_databases (ZebraHandle zh, int num_bases,
         }
     }
     zebra_select_register (zh, new_reg);
-    xfree (new_reg);
+    xfree(new_reg);
     if (!zh->res)
     {
         zh->errCode = 109;
@@ -794,7 +823,7 @@ int zebra_select_databases (ZebraHandle zh, int num_bases,
 }
 
 int zebra_search_RPN (ZebraHandle zh, ODR o,
-                      Z_RPNQuery *query, const char *setname, int *hits)
+                      Z_RPNQuery *query, const char *setname, zint *hits)
 {
     const char *max;
     zint maxhits;
@@ -803,8 +832,8 @@ int zebra_search_RPN (ZebraHandle zh, ODR o,
     assert(query);
     assert(hits);
     assert(setname);
-    yaz_log(LOG_API,"zebra_search_rpn");
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_search_rpn");
+    zh->errCode = 0;
     zh->hits = 0;
     *hits = 0;
 
@@ -817,16 +846,16 @@ int zebra_search_RPN (ZebraHandle zh, ODR o,
     zebra_end_read (zh);
     max = res_get (zh->res, "maxhits");
     if (max)
-       maxhits=atoi(max);
+       maxhits = atoi(max);
     else {
-        int i=0; 
-       maxhits=INT_MAX;  /* properly rounded, to make it look like a limit*/
+        int i = 0; 
+       maxhits = INT_MAX;  /* properly rounded, to make it look like a limit*/
        while (maxhits>100) { maxhits/=10; i++;}
        while (i--) maxhits *= 10;
     }
     if (zh->hits > maxhits) { /* too large for yaz to handle */
-        logf(LOG_DEBUG,"limiting hits to "ZINT_FORMAT, maxhits);
-       *hits=maxhits;  
+        yaz_log(YLOG_DEBUG, "limiting hits to "ZINT_FORMAT, maxhits);
+       *hits = maxhits;  
     }
     else
         *hits = zh->hits;
@@ -834,25 +863,26 @@ int zebra_search_RPN (ZebraHandle zh, ODR o,
 }
 
 int zebra_records_retrieve (ZebraHandle zh, ODR stream,
-                            const char *setname, Z_RecordComposition *comp,
-                            oid_value input_format, int num_recs,
-                            ZebraRetrievalRecord *recs)
+                           const char *setname, Z_RecordComposition *comp,
+                           oid_value input_format, int num_recs,
+                           ZebraRetrievalRecord *recs)
 {
-    ZebraPosSet poset;
-    int i, *pos_array, ret = 0;
+    ZebraMetaRecord *poset;
+    int i, ret = 0;
+    zint *pos_array;
     ASSERTZH;
     assert(stream);
     assert(setname);
     assert(recs);
     assert(num_recs>0);
 
-    yaz_log(LOG_API,"zebra_records_retrieve n=%d",num_recs);
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_records_retrieve n=%d",num_recs);
+    zh->errCode = 0;
 
     if (!zh->res)
     {
         zh->errCode = 30;
-        zh->errString = odr_strdup (stream, setname);
+        zh->errString = odr_strdup(stream, setname);
         return -1;
     }
     
@@ -861,13 +891,13 @@ int zebra_records_retrieve (ZebraHandle zh, ODR stream,
     if (zebra_begin_read (zh))
        return -1;
 
-    pos_array = (int *) xmalloc (num_recs * sizeof(*pos_array));
+    pos_array = (zint *) xmalloc(num_recs * sizeof(*pos_array));
     for (i = 0; i<num_recs; i++)
        pos_array[i] = recs[i].position;
-    poset = zebraPosSetCreate (zh, setname, num_recs, pos_array);
+    poset = zebra_meta_records_create(zh, setname, num_recs, pos_array);
     if (!poset)
     {
-        logf (LOG_DEBUG, "zebraPosSetCreate error");
+        yaz_log (YLOG_DEBUG, "zebraPosSetCreate error");
         zh->errCode = 30;
         zh->errString = nmem_strdup (stream->mem, setname);
        ret = -1;
@@ -886,31 +916,39 @@ int zebra_records_retrieve (ZebraHandle zh, ODR stream,
            }
            else if (poset[i].sysno)
            {
+               char *buf;
+               int len;
                recs[i].errCode =
                    zebra_record_fetch (zh, poset[i].sysno, poset[i].score,
                                        stream, input_format, comp,
-                                       &recs[i].format, &recs[i].buf,
-                                       &recs[i].len,
-                                       &recs[i].base);
-               recs[i].errString = NULL;
-                recs[i].score=poset[i].score;
-                recs[i].sysno=poset[i].sysno;
+                                       &recs[i].format, &buf, &len,
+                                       &recs[i].base, &recs[i].errString);
+               recs[i].len = len;
+               if (len > 0)
+               {
+                   recs[i].buf = (char*) odr_malloc(stream, len);
+                   memcpy(recs[i].buf, buf, len);
+               }
+               else
+                   recs[i].buf = buf;
+                recs[i].score = poset[i].score;
+                recs[i].sysno = poset[i].sysno;
            }
            else
            {
                char num_str[20];
 
-               sprintf (num_str, "%d", pos_array[i]);  
+               sprintf (num_str, ZINT_FORMAT, pos_array[i]);   
                zh->errCode = 13;
                 zh->errString = odr_strdup (stream, num_str);
                ret = -1;
                 break;
            }
        }
-       zebraPosSetDestroy (zh, poset, num_recs);
+       zebra_meta_records_destroy(zh, poset, num_recs);
     }
     zebra_end_read (zh);
-    xfree (pos_array);
+    xfree(pos_array);
     return ret;
 }
 
@@ -926,8 +964,8 @@ int zebra_scan (ZebraHandle zh, ODR stream, Z_AttributesPlusTerm *zapt,
     assert(num_entries);
     assert(is_partial);
     assert(entries);
-    yaz_log(LOG_API,"zebra_scan");
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_scan");
+    zh->errCode = 0;
     if (zebra_begin_read (zh))
     {
        *entries = 0;
@@ -952,8 +990,8 @@ int zebra_sort (ZebraHandle zh, ODR stream,
     assert(input_setnames);
     assert(sort_sequence);
     assert(sort_status);
-    yaz_log(LOG_API,"zebra_sort");
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_sort");
+    zh->errCode = 0;
     if (zebra_begin_read (zh))
        return 1;
     resultSetSort (zh, stream->mem, num_input_setnames, input_setnames,
@@ -962,22 +1000,22 @@ int zebra_sort (ZebraHandle zh, ODR stream,
     return 0;
 }
 
-int zebra_deleleResultSet(ZebraHandle zh, int function,
+int zebra_deleteResultSet(ZebraHandle zh, int function,
                          int num_setnames, char **setnames,
                          int *statuses)
 {
     int i, status;
     ASSERTZH;
-    assert(num_setnames>0);
-    assert(setnames);
     assert(statuses);
-    yaz_log(LOG_API,"zebra_deleleResultSet n=%d",num_setnames);
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_deleteResultSet n=%d",num_setnames);
+    zh->errCode = 0;
     if (zebra_begin_read(zh))
        return Z_DeleteStatus_systemProblemAtTarget;
     switch (function)
     {
     case Z_DeleteResultSetRequest_list:
+       assert(num_setnames>0);
+       assert(setnames);
        resultSetDestroy (zh, num_setnames, setnames, statuses);
        break;
     case Z_DeleteResultSetRequest_all:
@@ -996,10 +1034,10 @@ int zebra_errCode (ZebraHandle zh)
 {
     if (zh)
     {
-        yaz_log(LOG_API,"zebra_errCode: %d",zh->errCode);
+        yaz_log(log_level, "zebra_errCode: %d",zh->errCode);
         return zh->errCode;
     }
-    yaz_log(LOG_API,"zebra_errCode: o");
+    yaz_log(log_level, "zebra_errCode: o");
     return 0; 
 }
 
@@ -1008,7 +1046,7 @@ const char *zebra_errString (ZebraHandle zh)
     const char *e="";
     if (zh)
         e= diagbib1_str (zh->errCode);
-    yaz_log(LOG_API,"zebra_errString: %s",e);
+    yaz_log(log_level, "zebra_errString: %s",e);
     return e;
 }
 
@@ -1017,7 +1055,7 @@ char *zebra_errAdd (ZebraHandle zh)
     char *a="";
     if (zh)
         a= zh->errString;
-    yaz_log(LOG_API,"zebra_errAdd: %s",a);
+    yaz_log(log_level, "zebra_errAdd: %s",a);
     return a;
 }
 
@@ -1025,7 +1063,7 @@ void zebra_clearError(ZebraHandle zh)
 {
     if (zh)
     {
-        zh->errCode=0;
+        zh->errCode = 0;
         zh->errString="";
     }
 }
@@ -1037,12 +1075,12 @@ int zebra_auth (ZebraHandle zh, const char *user, const char *pass)
     ZebraService zs;
 
     ASSERTZH;
-    zh->errCode=0;
+    zh->errCode = 0;
     zs= zh->service;
     
     sprintf(u, "perm.%.30s", user ? user : "anonymous");
     p = res_get(zs->global_res, u);
-    xfree (zh->user_perm);
+    xfree(zh->user_perm);
     zh->user_perm = xstrdup(p ? p : "r");
 
     /* users that don't require a password .. */
@@ -1058,9 +1096,9 @@ int zebra_admin_import_begin (ZebraHandle zh, const char *database,
                                const char *record_type)
 {
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_admin_import_begin db=%s rt=%s", 
+    yaz_log(log_level, "zebra_admin_import_begin db=%s rt=%s", 
                     database, record_type);
-    zh->errCode=0;
+    zh->errCode = 0;
     if (zebra_select_database(zh, database))
         return 1;
     if (zebra_begin_trans (zh, 1))
@@ -1071,8 +1109,8 @@ int zebra_admin_import_begin (ZebraHandle zh, const char *database,
 int zebra_admin_import_end (ZebraHandle zh)
 {
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_admin_import_end");
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_admin_import_end");
+    zh->errCode = 0;
     zebra_end_trans (zh);
     return 0;
 }
@@ -1082,8 +1120,8 @@ int zebra_admin_import_segment (ZebraHandle zh, Z_Segment *segment)
     SYSNO sysno;
     int i;
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_admin_import_segment");
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_admin_import_segment");
+    zh->errCode = 0;
     for (i = 0; i<segment->num_segmentRecords; i++)
     {
        Z_NamePlusRecord *npr = segment->segmentRecords[i];
@@ -1131,8 +1169,8 @@ int zebra_admin_exchange_record (ZebraHandle zh,
     assert(action>0 && action <=4);
     assert(rec_buf);
 
-    yaz_log(LOG_API,"zebra_admin_exchange_record ac=%d", action);
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_admin_exchange_record ac=%d", action);
+    zh->errCode = 0;
 
     if (!recid_buf || recid_len <= 0 || recid_len >= sizeof(recid_z))
         return -1;
@@ -1217,7 +1255,7 @@ int zebra_drop_database  (ZebraHandle zh, const char *database)
 {
     int ret = 0;
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_drop_database");
+    yaz_log(log_level, "zebra_drop_database");
     zh->errCode = 0;
 
     if (zebra_select_database (zh, database))
@@ -1233,7 +1271,7 @@ int zebra_drop_database  (ZebraHandle zh, const char *database)
     }
     else
     {
-       yaz_log(LOG_WARN, "drop database only supported for isam:b");
+       yaz_log(YLOG_WARN, "drop database only supported for isam:b");
        ret = -1;
     }
     zebra_end_trans (zh);
@@ -1243,9 +1281,9 @@ int zebra_drop_database  (ZebraHandle zh, const char *database)
 int zebra_create_database (ZebraHandle zh, const char *database)
 {
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_create_database %s",database);
+    yaz_log(log_level, "zebra_create_database %s",database);
     assert(database);
-    zh->errCode=0;
+    zh->errCode = 0;
 
     if (zebra_select_database (zh, database))
         return -1;
@@ -1273,8 +1311,8 @@ int zebra_string_norm (ZebraHandle zh, unsigned reg_id,
     ASSERTZH;
     assert(input_str);
     assert(output_str);
-    yaz_log(LOG_API,"zebra_string_norm ");
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_string_norm ");
+    zh->errCode = 0;
     if (!zh->reg->zebra_maps)
        return -1;
     wrbuf = zebra_replace(zh->reg->zebra_maps, reg_id, "",
@@ -1298,17 +1336,17 @@ int zebra_set_state (ZebraHandle zh, int val, int seqno)
     long p = getpid();
     FILE *f;
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_set_state v=%d seq=%d", val, seqno);
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_set_state v=%d seq=%d", val, seqno);
+    zh->errCode = 0;
 
     sprintf (state_fname, "state.%s.LCK", zh->reg_name);
     fname = zebra_mk_fname (res_get(zh->res, "lockDir"), state_fname);
     f = fopen (fname, "w");
 
-    yaz_log (LOG_DEBUG, "zebra_set_state: %c %d %ld", val, seqno, p);
+    yaz_log (YLOG_DEBUG, "zebra_set_state: %c %d %ld", val, seqno, p);
     fprintf (f, "%c %d %ld\n", val, seqno, p);
     fclose (f);
-    xfree (fname);
+    xfree(fname);
     return 0;
 }
 
@@ -1319,8 +1357,8 @@ int zebra_get_state (ZebraHandle zh, char *val, int *seqno)
     FILE *f;
 
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_get_state ");
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_get_state ");
+    zh->errCode = 0;
     sprintf (state_fname, "state.%s.LCK", zh->reg_name);
     fname = zebra_mk_fname (res_get(zh->res, "lockDir"), state_fname);
     f = fopen (fname, "r");
@@ -1332,7 +1370,7 @@ int zebra_get_state (ZebraHandle zh, char *val, int *seqno)
         fscanf (f, "%c %d", val, seqno);
         fclose (f);
     }
-    xfree (fname);
+    xfree(fname);
     return 0;
 }
 
@@ -1378,6 +1416,7 @@ static void read_res_for_transaction(ZebraHandle zh)
 int zebra_begin_trans (ZebraHandle zh, int rw)
 {
     ASSERTZH;
+    zebra_select_default_database(zh);
     if (!zh->res)
     {
         zh->errCode = 2;
@@ -1385,7 +1424,7 @@ int zebra_begin_trans (ZebraHandle zh, int rw)
         return -1;
     }
     ASSERTZHRES;
-    yaz_log(LOG_API,"zebra_begin_trans rw=%d",rw);
+    yaz_log(log_level, "zebra_begin_trans rw=%d",rw);
 
     if (zh->user_perm)
     {
@@ -1424,7 +1463,7 @@ int zebra_begin_trans (ZebraHandle zh, int rw)
        }
         zh->trans_w_no = zh->trans_no;
 
-        zh->errCode=0;
+        zh->errCode = 0;
         
         zh->records_inserted = 0;
         zh->records_updated = 0;
@@ -1454,7 +1493,7 @@ int zebra_begin_trans (ZebraHandle zh, int rw)
             zebra_get_state (zh, &val, &seqno);
             if (val == 'c')
             {
-                yaz_log (LOG_WARN, "previous transaction didn't finish commit");
+                yaz_log (YLOG_WARN, "previous transaction didn't finish commit");
                 zebra_unlock (zh->lock_shadow);
                 zebra_unlock (zh->lock_normal);
                 zebra_commit (zh);
@@ -1466,20 +1505,20 @@ int zebra_begin_trans (ZebraHandle zh, int rw)
                 {
                     BFiles bfs = bfs_create (res_get (zh->res, "shadow"),
                                              zh->path_reg);
-                    yaz_log (LOG_WARN, "previous transaction didn't reach commit");
+                    yaz_log (YLOG_WARN, "previous transaction didn't reach commit");
                     bf_commitClean (bfs, rval);
                     bfs_destroy (bfs);
             }
                 else
                 {
-                    yaz_log (LOG_WARN, "your previous transaction didn't finish");
+                    yaz_log (YLOG_WARN, "your previous transaction didn't finish");
                 }
             }
             break;
         }
         if (pass == 2)
         {
-            yaz_log (LOG_FATAL, "zebra_begin_trans couldn't finish commit");
+            yaz_log (YLOG_FATAL, "zebra_begin_trans couldn't finish commit");
             abort();
             return -1;
         }
@@ -1502,7 +1541,7 @@ int zebra_begin_trans (ZebraHandle zh, int rw)
 
             zh->errCode = 2;
             zh->errString = "zebra_begin_trans: cannot open register";
-            yaz_log(LOG_FATAL, zh->errString);
+            yaz_log(YLOG_FATAL, zh->errString);
             return -1;
         }
     }
@@ -1519,7 +1558,7 @@ int zebra_begin_trans (ZebraHandle zh, int rw)
             zebra_flush_reg (zh);
             return 0;
         }
-        zh->errCode=0;
+        zh->errCode = 0;
 #if HAVE_SYS_TIMES_H
         times (&zh->tms1);
 #endif
@@ -1543,13 +1582,13 @@ int zebra_begin_trans (ZebraHandle zh, int rw)
             dirty = 1;
         else if (seqno != zh->reg->seqno)
         {
-            yaz_log (LOG_DEBUG, "reopen seqno cur/old %d/%d",
+            yaz_log (YLOG_DEBUG, "reopen seqno cur/old %d/%d",
                      seqno, zh->reg->seqno);
             dirty = 1;
         }
         else if (zh->reg->last_val != val)
         {
-            yaz_log (LOG_DEBUG, "reopen last cur/old %d/%d",
+            yaz_log (YLOG_DEBUG, "reopen last cur/old %d/%d",
                      val, zh->reg->last_val);
             dirty = 1;
         }
@@ -1588,7 +1627,7 @@ int zebra_end_trans (ZebraHandle zh)
 {
     ZebraTransactionStatus dummy;
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_end_trans");
+    yaz_log(log_level, "zebra_end_trans");
     return zebra_end_transaction(zh, &dummy);
 }
 
@@ -1600,7 +1639,7 @@ int zebra_end_transaction (ZebraHandle zh, ZebraTransactionStatus *status)
 
     ASSERTZH;
     assert(status);
-    yaz_log(LOG_API,"zebra_end_transaction");
+    yaz_log(log_level, "zebra_end_transaction");
 
     status->processed = 0;
     status->inserted  = 0;
@@ -1631,7 +1670,7 @@ int zebra_end_transaction (ZebraHandle zh, ZebraTransactionStatus *status)
         zh->trans_no--;
         zh->trans_w_no = 0;
         
-        yaz_log (LOG_DEBUG, "zebra_end_trans");
+        yaz_log (YLOG_DEBUG, "zebra_end_trans");
         rval = res_get (zh->res, "shadow");
         
         zebraExplain_runNumberIncrement (zh->reg->zei, 1);
@@ -1643,21 +1682,21 @@ int zebra_end_transaction (ZebraHandle zh, ZebraTransactionStatus *status)
         zebra_register_close (zh->service, zh->reg);
         zh->reg = 0;
         
-        yaz_log (LOG_LOG, "Records: "ZINT_FORMAT" i/u/d "
+        yaz_log (YLOG_LOG, "Records: "ZINT_FORMAT" i/u/d "
                        ZINT_FORMAT"/"ZINT_FORMAT"/"ZINT_FORMAT, 
                  zh->records_processed, zh->records_inserted,
                  zh->records_updated, zh->records_deleted);
         
-        status->processed = zh->records_processed;
-        status->inserted = zh->records_inserted;
-        status->updated = zh->records_updated;
-        status->deleted = zh->records_deleted;
+        status->processed = (int) zh->records_processed;
+        status->inserted = (int) zh->records_inserted;
+        status->updated = (int) zh->records_updated;
+        status->deleted = (int) zh->records_deleted;
         
         zebra_get_state (zh, &val, &seqno);
         if (val != 'd')
         {
             BFiles bfs = bfs_create (rval, zh->path_reg);
-            yaz_log (LOG_DEBUG, "deleting shadow val=%c", val);
+            yaz_log (YLOG_DEBUG, "deleting shadow val=%c", val);
             bf_commitClean (bfs, rval);
             bfs_destroy (bfs);
         }
@@ -1671,7 +1710,7 @@ int zebra_end_transaction (ZebraHandle zh, ZebraTransactionStatus *status)
     }
 #if HAVE_SYS_TIMES_H
     times (&zh->tms2);
-    logf (LOG_LOG, "user/system: %ld/%ld",
+    yaz_log (log_level, "user/system: %ld/%ld",
           (long) (zh->tms2.tms_utime - zh->tms1.tms_utime),
           (long) (zh->tms2.tms_stime - zh->tms1.tms_stime));
     
@@ -1685,8 +1724,8 @@ int zebra_repository_update (ZebraHandle zh, const char *path)
 {
     ASSERTZH;
     assert(path);
-    zh->errCode=0;
-    logf (LOG_API, "updating %s", path);
+    zh->errCode = 0;
+    yaz_log (log_level, "updating %s", path);
     repositoryUpdate (zh, path);
     return zh->errCode;
 }
@@ -1695,8 +1734,8 @@ int zebra_repository_delete (ZebraHandle zh, const char *path)
 {
     ASSERTZH;
     assert(path);
-    zh->errCode=0;
-    logf (LOG_API, "deleting %s", path);
+    zh->errCode = 0;
+    yaz_log (log_level, "deleting %s", path);
     repositoryDelete (zh, path);
     return zh->errCode;
 }
@@ -1705,8 +1744,8 @@ int zebra_repository_show (ZebraHandle zh, const char *path)
 {
     ASSERTZH;
     assert(path);
-    yaz_log(LOG_API,"zebra_repository_show");
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_repository_show");
+    zh->errCode = 0;
     repositoryShow (zh, path);
     return zh->errCode;
 }
@@ -1718,8 +1757,9 @@ static int zebra_commit_ex (ZebraHandle zh, int clean_only)
     const char *rval;
     BFiles bfs;
     ASSERTZH;
-    zh->errCode=0;
+    zh->errCode = 0;
 
+    zebra_select_default_database(zh);
     if (!zh->res)
     {
         zh->errCode = 109;
@@ -1728,8 +1768,7 @@ static int zebra_commit_ex (ZebraHandle zh, int clean_only)
     rval = res_get (zh->res, "shadow");    
     if (!rval)
     {
-        logf (LOG_WARN, "Cannot perform commit");
-        logf (LOG_WARN, "No shadow area defined");
+        yaz_log (YLOG_WARN, "Cannot perform commit - No shadow area defined");
         return 0;
     }
 
@@ -1750,20 +1789,20 @@ static int zebra_commit_ex (ZebraHandle zh, int clean_only)
         {
             zebra_set_state (zh, 'c', seqno);
             
-            logf (LOG_DEBUG, "commit start");
+            yaz_log (YLOG_DEBUG, "commit start");
             bf_commitExec (bfs);
 #ifndef WIN32
             sync ();
 #endif
         }
-        logf (LOG_DEBUG, "commit clean");
+        yaz_log (YLOG_DEBUG, "commit clean");
         bf_commitClean (bfs, rval);
         seqno++;
         zebra_set_state (zh, 'o', seqno);
     }
     else
     {
-        logf (LOG_LOG, "nothing to commit");
+        yaz_log (log_level, "nothing to commit");
     }
     bfs_destroy (bfs);
 
@@ -1775,14 +1814,14 @@ static int zebra_commit_ex (ZebraHandle zh, int clean_only)
 int zebra_clean (ZebraHandle zh)
 {
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_clean");
+    yaz_log(log_level, "zebra_clean");
     return zebra_commit_ex(zh, 1);
 }
 
 int zebra_commit (ZebraHandle zh)
 {
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_commit");
+    yaz_log(log_level, "zebra_commit");
     return zebra_commit_ex(zh, 0);
 }
 
@@ -1791,9 +1830,10 @@ int zebra_init (ZebraHandle zh)
     const char *rval;
     BFiles bfs = 0;
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_init");
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_init");
+    zh->errCode = 0;
 
+    zebra_select_default_database(zh);
     if (!zh->res)
     {
         zh->errCode = 109;
@@ -1801,8 +1841,7 @@ int zebra_init (ZebraHandle zh)
     }
     rval = res_get (zh->res, "shadow");
 
-    bfs = bfs_create (res_get (zh->service->global_res, "register"),
-                      zh->path_reg);
+    bfs = bfs_create (res_get (zh->res, "register"), zh->path_reg);
     if (!bfs)
        return -1;
     if (rval && *rval)
@@ -1818,8 +1857,8 @@ int zebra_compact (ZebraHandle zh)
 {
     BFiles bfs;
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_compact");
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_compact");
+    zh->errCode = 0;
     if (!zh->res)
     {
         zh->errCode = 109;
@@ -1834,7 +1873,7 @@ int zebra_compact (ZebraHandle zh)
 int zebra_result (ZebraHandle zh, int *code, char **addinfo)
 {
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_result");
+    yaz_log(log_level, "zebra_result");
     *code = zh->errCode;
     *addinfo = zh->errString;
     return 0;
@@ -1843,53 +1882,55 @@ int zebra_result (ZebraHandle zh, int *code, char **addinfo)
 int zebra_shadow_enable (ZebraHandle zh, int value)
 {
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_shadow_enable");
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_shadow_enable");
+    zh->errCode = 0;
     zh->shadow_enable = value;
     return 0;
 }
 
-int zebra_record_encoding (ZebraHandle zh, const char *encoding)
+int zebra_octet_term_encoding(ZebraHandle zh, const char *encoding)
 {
     ASSERTZH;
     assert(encoding);
-    yaz_log(LOG_API,"zebra_record_encoding");
-    zh->errCode=0;
-    xfree (zh->record_encoding);
-
-    /*
-     * Fixme!
-     * Something about charset aliases. Oleg???
-     */
+    yaz_log(log_level, "zebra_octet_term_encoding");
+    zh->errCode = 0;
 
     if (zh->iconv_to_utf8 != 0)
         yaz_iconv_close(zh->iconv_to_utf8);
     if (zh->iconv_from_utf8 != 0)
         yaz_iconv_close(zh->iconv_from_utf8);
     
-    zh->record_encoding = xstrdup (encoding);
-    
-    logf(LOG_DEBUG, "Reset record encoding: %s", encoding);
-    
     zh->iconv_to_utf8 =
         yaz_iconv_open ("UTF-8", encoding);
     if (zh->iconv_to_utf8 == 0)
-        yaz_log (LOG_WARN, "iconv: %s to UTF-8 unsupported", encoding);
+        yaz_log (YLOG_WARN, "iconv: %s to UTF-8 unsupported", encoding);
     zh->iconv_from_utf8 =
         yaz_iconv_open (encoding, "UTF-8");
     if (zh->iconv_to_utf8 == 0)
-        yaz_log (LOG_WARN, "iconv: UTF-8 to %s unsupported", encoding);
+        yaz_log (YLOG_WARN, "iconv: UTF-8 to %s unsupported", encoding);
 
     return 0;
 }
 
+int zebra_record_encoding (ZebraHandle zh, const char *encoding)
+{
+    ASSERTZH;
+    yaz_log(log_level, "zebra_record_encoding");
+    zh->errCode = 0;
+    xfree(zh->record_encoding);
+    zh->record_encoding = 0;
+    if (encoding)
+       zh->record_encoding = xstrdup (encoding);
+    return 0;
+}
+
 int zebra_set_resource(ZebraHandle zh, const char *name, const char *value)
 {
     ASSERTZH;
     assert(name);
     assert(value);
-    yaz_log(LOG_API,"zebra_set_resource %s:%s",name,value);
-    zh->errCode=0;
+    yaz_log(log_level, "zebra_set_resource %s:%s",name,value);
+    zh->errCode = 0;
     res_set(zh->res, name, value);
     return 0;
 }
@@ -1902,8 +1943,8 @@ const char *zebra_get_resource(ZebraHandle zh,
     assert(name);
     assert(defaultvalue);
     v= res_get_def( zh->res, name, (char *)defaultvalue);
-    zh->errCode=0;
-    yaz_log(LOG_API,"zebra_get_resource %s:%s",name,v);
+    zh->errCode = 0;
+    yaz_log(log_level, "zebra_get_resource %s:%s",name,v);
     return v;
 }
 
@@ -1913,113 +1954,36 @@ const char *zebra_get_resource(ZebraHandle zh,
 int zebra_trans_no (ZebraHandle zh)
 {
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_trans_no");
+    yaz_log(log_level, "zebra_trans_no");
     return zh->trans_no;
 }
 
 int zebra_get_shadow_enable (ZebraHandle zh)
 {
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_get_shadow_enable");
+    yaz_log(log_level, "zebra_get_shadow_enable");
     return (zh->shadow_enable);
 }
 
 int zebra_set_shadow_enable (ZebraHandle zh, int value)
 {
     ASSERTZH;
-    yaz_log(LOG_API,"zebra_set_shadow_enable %d",value);
+    yaz_log(log_level, "zebra_set_shadow_enable %d",value);
     zh->shadow_enable = value;
     return 0;
 }
 
-/* almost the same as zebra_records_retrieve ... but how did it work? 
-   I mean for multiple records ??? CHECK ??? */
+/* Used by Perl API.. Added the record buffer dup to zebra_records_retrieve
+   so that it's identicical to the original api_records_retrieve */
 void api_records_retrieve (ZebraHandle zh, ODR stream,
                           const char *setname, Z_RecordComposition *comp,
                           oid_value input_format, int num_recs,
                           ZebraRetrievalRecord *recs)
 {
-    ZebraPosSet poset;
-    int i, *pos_array;
-    ASSERTZH;
-    assert(stream);
-    assert(setname);
-    assert(comp);
-    assert(recs);
-    assert(num_recs>0);
-    yaz_log(LOG_API,"api_records_retrieve s=%s n=%d",setname,num_recs);
-
-    if (!zh->res)
-    {
-        zh->errCode = 30;
-        zh->errString = odr_strdup (stream, setname);
-        return;
-    }
-    
-    zh->errCode = 0; 
-
-    if (zebra_begin_read (zh))
-       return;
-
-    pos_array = (int *) xmalloc (num_recs * sizeof(*pos_array));
-    for (i = 0; i<num_recs; i++)
-       pos_array[i] = recs[i].position;
-    poset = zebraPosSetCreate (zh, setname, num_recs, pos_array);
-    if (!poset)
-    {
-        logf (LOG_DEBUG, "zebraPosSetCreate error");
-        zh->errCode = 30;
-        zh->errString = nmem_strdup (stream->mem, setname);
-    }
-    else
-    {
-       for (i = 0; i<num_recs; i++)
-       {
-           if (poset[i].term)
-           {
-               recs[i].errCode = 0;
-               recs[i].format = VAL_SUTRS;
-               recs[i].len = strlen(poset[i].term);
-               recs[i].buf = poset[i].term;
-               recs[i].base = poset[i].db;
-               recs[i].sysno = 0;
-           
-           }
-           else if (poset[i].sysno)
-           {
-             /* changed here ??? CHECK ??? */
-             char *b;
-               recs[i].errCode =
-                   zebra_record_fetch (zh, poset[i].sysno, poset[i].score,
-                                       stream, input_format, comp,
-                                       &recs[i].format, 
-                                       &b,
-                                       &recs[i].len,
-                                       &recs[i].base);
-               recs[i].buf = (char *) odr_malloc(stream,recs[i].len);
-               memcpy(recs[i].buf, b, recs[i].len);
-               recs[i].errString = 0; /* Hmmm !!! we should get this */ 
-               recs[i].sysno = poset[i].sysno;
-               recs[i].score = poset[i].score;
-           }
-           else
-           {
-               char num_str[20];
-
-               sprintf (num_str, "%d", pos_array[i]);  
-               zh->errCode = 13;
-                zh->errString = odr_strdup (stream, num_str);
-                break;
-           }
-
-       }
-       zebraPosSetDestroy (zh, poset, num_recs);
-    }
-    zebra_end_read (zh);
-    xfree (pos_array);
+    zebra_records_retrieve(zh, stream, setname, comp, input_format,
+                          num_recs, recs);
 }
 
-
 /* ---------------------------------------------------------------------------
   Record insert(=update), delete 
 
@@ -2046,9 +2010,10 @@ int zebra_insert_record (ZebraHandle zh,
     ASSERTZH;
     assert(sysno);
     assert(buf);
-    yaz_log(LOG_API, "zebra_insert_record sysno=" ZINT_FORMAT, *sysno);
+    yaz_log(log_level, "zebra_insert_record sysno=" ZINT_FORMAT, *sysno);
 
-    if (buf_size < 1) buf_size = strlen(buf);
+    if (buf_size < 1)
+       buf_size = strlen(buf);
 
     if (zebra_begin_trans(zh, 1))
        return 1;
@@ -2075,7 +2040,7 @@ int zebra_update_record (ZebraHandle zh,
     assert(sysno);
     assert(buf);
 
-    yaz_log(LOG_API, "zebra_update_record sysno=" ZINT_FORMAT, *sysno);
+    yaz_log(log_level, "zebra_update_record sysno=" ZINT_FORMAT, *sysno);
 
     if (buf_size < 1) buf_size = strlen(buf);
 
@@ -2103,7 +2068,7 @@ int zebra_delete_record (ZebraHandle zh,
     ASSERTZH;
     assert(sysno);
     assert(buf);
-    yaz_log(LOG_API, "zebra_delete_record sysno=" ZINT_FORMAT, *sysno);
+    yaz_log(log_level, "zebra_delete_record sysno=" ZINT_FORMAT, *sysno);
 
     if (buf_size < 1) buf_size = strlen(buf);
 
@@ -2126,31 +2091,31 @@ int zebra_delete_record (ZebraHandle zh,
 */
 
 int zebra_search_PQF (ZebraHandle zh, const char *pqf_query,
-                     const char *setname, int *numhits)
+                     const char *setname, zint *numhits)
 {
-    int hits = 0;
-    int res=-1;
+    zint hits = 0;
+    int res = -1;
     Z_RPNQuery *query;
     ODR odr = odr_createmem(ODR_ENCODE);
     ASSERTZH;
     assert(pqf_query);
     assert(setname);
 
-    yaz_log(LOG_API,"zebra_search_PQF s=%s q=%s",setname, pqf_query);
+    yaz_log(log_level, "zebra_search_PQF s=%s q=%s",setname, pqf_query);
     
     query = p_query_rpn (odr, PROTO_Z3950, pqf_query);
     
     if (!query)
-        yaz_log (LOG_WARN, "bad query %s\n", pqf_query);
+        yaz_log (YLOG_WARN, "bad query %s\n", pqf_query);
     else
-        res=zebra_search_RPN (zh, odr, query, setname, &hits);
+        res = zebra_search_RPN (zh, odr, query, setname, &hits);
     
     odr_destroy(odr);
 
-    yaz_log(LOG_API,"Hits: %d",hits);
+    yaz_log(log_level, "Hits: %d",hits);
 
     if (numhits)
-       *numhits=hits;
+       *numhits = hits;
 
     return res;
 }
@@ -2158,8 +2123,7 @@ int zebra_search_PQF (ZebraHandle zh, const char *pqf_query,
 /* ---------------------------------------------------------------------------
   Sort - a simplified interface, with optional read locks.
 */
-int zebra_sort_by_specstr (ZebraHandle zh, 
-                          ODR stream,
+int zebra_sort_by_specstr (ZebraHandle zh, ODR stream,
                           const char *sort_spec,
                           const char *output_setname,
                           const char **input_setnames) 
@@ -2173,10 +2137,10 @@ int zebra_sort_by_specstr (ZebraHandle zh,
     assert(output_setname);
     assert(input_setnames);
     sort_sequence = yaz_sort_spec (stream, sort_spec);
-    yaz_log(LOG_API,"sort (FIXME) ");
+    yaz_log(log_level, "sort (FIXME) ");
     if (!sort_sequence)
     {
-        logf(LOG_WARN,"invalid sort specs '%s'", sort_spec);
+        yaz_log(YLOG_WARN, "invalid sort specs '%s'", sort_spec);
         zh->errCode = 207;
        return -1;
     }