Towards GPL
[idzebra-moved-to-github.git] / index / zebraapi.c
index 13b913e..9e48592 100644 (file)
@@ -1,9 +1,26 @@
-/*
- * Copyright (C) 1995-2002, Index Data
- * All rights reserved.
- *
- * $Id: zebraapi.c,v 1.52 2002-04-04 20:50:37 adam Exp $
- */
+/* $Id: zebraapi.c,v 1.65 2002-08-02 19:26:55 adam Exp $
+   Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002
+   Index Data Aps
+
+This file is part of the Zebra server.
+
+Zebra is free software; you can redistribute it and/or modify it under
+the terms of the GNU General Public License as published by the Free
+Software Foundation; either version 2, or (at your option) any later
+version.
+
+Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
+WARRANTY; without even the implied warranty of MERCHANTABILITY or
+FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+for more details.
+
+You should have received a copy of the GNU General Public License
+along with Zebra; see the file LICENSE.zebra.  If not, write to the
+Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
+02111-1307, USA.
+*/
+
+
 
 #include <assert.h>
 #include <stdio.h>
@@ -37,7 +54,7 @@ static void zebra_chdir (ZebraService zh)
 
 static void zebra_flush_reg (ZebraHandle zh)
 {
-    zebraExplain_flush (zh->reg->zei, 1, zh);
+    zebraExplain_flush (zh->reg->zei, zh);
     
     extract_flushWriteKeys (zh);
     zebra_index_merge (zh);
@@ -50,12 +67,10 @@ static struct zebra_register *zebra_register_open (ZebraService zs,
                                                    const char *reg_path);
 static void zebra_register_close (ZebraService zs, struct zebra_register *reg);
 
-static int zebra_begin_read (ZebraHandle zh);
-static void zebra_end_read (ZebraHandle zh);
-
 ZebraHandle zebra_open (ZebraService zs)
 {
     ZebraHandle zh;
+    const char *default_encoding;
 
     if (!zs)
         return 0;
@@ -83,6 +98,23 @@ ZebraHandle zebra_open (ZebraService zs)
 
     zh->admin_databaseName = 0;
 
+    zh->shadow_enable = 1;
+
+    default_encoding = res_get_def(zs->global_res, "encoding", "ISO-8859-1");
+    zh->record_encoding = xstrdup (default_encoding);
+#if HAVE_ICONV_H
+    zh->iconv_to_utf8 =
+        iconv_open ("UTF-8", default_encoding);
+    if (zh->iconv_to_utf8 == (iconv_t)(-1))
+        yaz_log (LOG_WARN, "iconv: %s to UTF-8 unsupported",
+           default_encoding);
+    zh->iconv_from_utf8 =
+        iconv_open (default_encoding, "UTF-8");
+    if (zh->iconv_to_utf8 == (iconv_t)(-1))
+        yaz_log (LOG_WARN, "iconv: UTF-8 to %s unsupported",
+           default_encoding);
+#endif
+
     zebra_mutex_cond_lock (&zs->session_lock);
 
     zh->next = zs->sessions;
@@ -153,7 +185,7 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
     yaz_log (LOG_LOG, "zebra_register_open rw = %d useshadow=%d p=%p",
              rw, useshadow, reg);
 
-    reg->dh = data1_create ();
+    reg->dh = data1_createx (DATA1_FLAG_XML);
     if (!reg->dh)
         return 0;
     reg->bfs = bfs_create (res_get (res, "register"), reg_path);
@@ -182,11 +214,10 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
     reg->sortIdx = 0;
     reg->isams = 0;
     reg->matchDict = 0;
-#if ZMBOL
     reg->isam = 0;
     reg->isamc = 0;
     reg->isamd = 0;
-#endif
+    reg->isamb = 0;
     reg->zei = 0;
     reg->matchDict = 0;
     
@@ -227,8 +258,7 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
            return 0;
        }
     }
-#if ZMBOL
-    else if (res_get_match (res, "isam", "i", ISAM_DEFAULT))
+    if (res_get_match (res, "isam", "i", ISAM_DEFAULT))
     {
        if (!(reg->isam = is_open (reg->bfs, FNAME_ISAM, key_compare, rw,
                                  sizeof (struct it_key), res)))
@@ -237,7 +267,7 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
            return 0;
        }
     }
-    else if (res_get_match (res, "isam", "c", ISAM_DEFAULT))
+    if (res_get_match (res, "isam", "c", ISAM_DEFAULT))
     {
        struct ISAMC_M_s isamc_m;
        if (!(reg->isamc = isc_open (reg->bfs, FNAME_ISAMC,
@@ -247,7 +277,7 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
            return 0;
        }
     }
-    else if (res_get_match (res, "isam", "d", ISAM_DEFAULT))
+    if (res_get_match (res, "isam", "d", ISAM_DEFAULT))
     {
        struct ISAMD_M_s isamd_m;
        
@@ -258,7 +288,39 @@ struct zebra_register *zebra_register_open (ZebraService zs, const char *name,
            return 0;
        }
     }
-#endif
+    if (res_get_match (res, "isam", "b", ISAM_DEFAULT))
+    {
+       struct ISAMC_M_s isamc_m;
+       
+       if (!(reg->isamb = isamb_open (reg->bfs, "isamb",
+                                       rw, key_isamc_m(res, &isamc_m), 0)))
+       {
+           logf (LOG_WARN, "isamb_open");
+           return 0;
+       }
+    }
+    if (res_get_match (res, "isam", "bc", ISAM_DEFAULT))
+    {
+       struct ISAMC_M_s isamc_m;
+       
+       if (!(reg->isamb = isamb_open (reg->bfs, "isamb",
+                                       rw, key_isamc_m(res, &isamc_m), 1)))
+       {
+           logf (LOG_WARN, "isamb_open");
+           return 0;
+       }
+    }
+    if (res_get_match (res, "isam", "null", ISAM_DEFAULT))
+    {
+       struct ISAMC_M_s isamc_m;
+       
+       if (!(reg->isamb = isamb_open (reg->bfs, "isamb",
+                                       rw, key_isamc_m(res, &isamc_m), -1)))
+       {
+           logf (LOG_WARN, "isamb_open");
+           return 0;
+       }
+    }
     reg->zei = zebraExplain_open (reg->records, reg->dh,
                                   res, rw, reg,
                                   explain_extract);
@@ -294,21 +356,21 @@ static void zebra_register_close (ZebraService zs, struct zebra_register *reg)
     zebra_chdir (zs);
     if (reg->records)
     {
-        zebraExplain_close (reg->zei, 0);
+        zebraExplain_close (reg->zei);
         dict_close (reg->dict);
         if (reg->matchDict)
             dict_close (reg->matchDict);
        sortIdx_close (reg->sortIdx);
        if (reg->isams)
            isams_close (reg->isams);
-#if ZMBOL
         if (reg->isam)
             is_close (reg->isam);
         if (reg->isamc)
             isc_close (reg->isamc);
         if (reg->isamd)
             isamd_close (reg->isamd);
-#endif
+        if (reg->isamb)
+            isamb_close (reg->isamb);
         rec_close (&reg->records);
     }
 
@@ -368,6 +430,14 @@ void zebra_close (ZebraHandle zh)
         zebra_register_close (zh->service, zh->reg);
     zebra_close_res (zh);
 
+    xfree (zh->record_encoding);
+#if HAVE_ICONV_H
+    if (zh->iconv_to_utf8 != (iconv_t) (-1))
+        iconv_close (zh->iconv_to_utf8);
+    if (zh->iconv_from_utf8 != (iconv_t) (-1))
+        iconv_close (zh->iconv_from_utf8);
+#endif
+
     xfree (zh->admin_databaseName);
     zebra_mutex_cond_lock (&zs->session_lock);
     zebra_lock_destroy (zh->lock_normal);
@@ -388,7 +458,7 @@ void zebra_close (ZebraHandle zh)
     zebra_mutex_cond_unlock (&zs->session_lock);
     xfree (zh->reg_name);
     xfree (zh);
-    yaz_log (LOG_LOG, "zebra_close zh=%p end", zh);}
+}
 
 struct map_baseinfo {
     ZebraHandle zh;
@@ -562,7 +632,7 @@ int zebra_select_databases (ZebraHandle zh, int num_bases,
 {
     int i;
     const char *cp;
-    size_t len = 0;
+    int len = 0;
     char *new_reg = 0;
     
     if (num_bases < 1)
@@ -601,7 +671,7 @@ int zebra_select_databases (ZebraHandle zh, int num_bases,
                 zh->errCode = 23;
                 return -1;
             }
-            if (len != cp - basenames[i] ||
+            if (len != cp1 - basenames[i] ||
                 memcmp (basenames[i], new_reg, len))
             {
                 zh->errCode = 23;
@@ -657,6 +727,8 @@ void zebra_records_retrieve (ZebraHandle zh, ODR stream,
         zh->errString = odr_strdup (stream, setname);
         return;
     }
+    
+    zh->errCode = 0;
 
     if (zebra_begin_read (zh))
        return;
@@ -912,7 +984,7 @@ void zebra_get_state (ZebraHandle zh, char *val, int *seqno)
     xfree (fname);
 }
 
-static int zebra_begin_read (ZebraHandle zh)
+int zebra_begin_read (ZebraHandle zh)
 {
     int dirty = 0;
     char val;
@@ -927,6 +999,9 @@ static int zebra_begin_read (ZebraHandle zh)
         zebra_flush_reg (zh);
         return 0;
     }
+#if HAVE_SYS_TIMES_H
+    times (&zh->tms1);
+#endif
     if (!zh->res)
     {
         (zh->trans_no)--;
@@ -975,13 +1050,21 @@ static int zebra_begin_read (ZebraHandle zh)
     return 0;
 }
 
-static void zebra_end_read (ZebraHandle zh)
+void zebra_end_read (ZebraHandle zh)
 {
     (zh->trans_no)--;
 
     if (zh->trans_no != 0)
         return;
 
+#if HAVE_SYS_TIMES_H
+    times (&zh->tms2);
+    logf (LOG_LOG, "user/system: %ld/%ld",
+                    (long) (zh->tms2.tms_utime - zh->tms1.tms_utime),
+                    (long) (zh->tms2.tms_stime - zh->tms1.tms_stime));
+
+#endif
+
     zebra_unlock (zh->lock_normal);
     zebra_unlock (zh->lock_shadow);
 }
@@ -991,7 +1074,7 @@ void zebra_begin_trans (ZebraHandle zh)
     int pass;
     int seqno = 0;
     char val = '?';
-    const char *rval;
+    const char *rval = 0;
 
     assert (zh->res);
 
@@ -1002,12 +1085,19 @@ void zebra_begin_trans (ZebraHandle zh)
     }
     
     yaz_log (LOG_LOG, "zebra_begin_trans");
+
+    zh->records_inserted = 0;
+    zh->records_updated = 0;
+    zh->records_deleted = 0;
+    zh->records_processed = 0;
+
 #if HAVE_SYS_TIMES_H
     times (&zh->tms1);
 #endif
     
     /* lock */
-    rval = res_get (zh->res, "shadow");
+    if (zh->shadow_enable)
+        rval = res_get (zh->res, "shadow");
 
     for (pass = 0; pass < 2; pass++)
     {
@@ -1076,11 +1166,18 @@ void zebra_end_trans (ZebraHandle zh)
     yaz_log (LOG_LOG, "zebra_end_trans");
     rval = res_get (zh->res, "shadow");
 
+    zebraExplain_runNumberIncrement (zh->reg->zei, 1);
+
     zebra_flush_reg (zh);
 
     zebra_register_close (zh->service, zh->reg);
     zh->reg = 0;
 
+    
+    yaz_log (LOG_LOG, "Records: %7d i/u/d %d/%d/%d", 
+             zh->records_processed, zh->records_inserted,
+             zh->records_updated, zh->records_deleted);
+
     zebra_get_state (zh, &val, &seqno);
     if (val != 'd')
     {
@@ -1158,7 +1255,6 @@ int zebra_commit (ZebraHandle zh)
         zebra_set_state (zh, 'c', seqno);
 
         logf (LOG_LOG, "commit start");
-        sleep (2);
         bf_commitExec (bfs);
 #ifndef WIN32
         sync ();
@@ -1244,3 +1340,14 @@ void zebra_result (ZebraHandle zh, int *code, char **addinfo)
     *addinfo = zh->errString;
 }
 
+void zebra_shadow_enable (ZebraHandle zh, int value)
+{
+    zh->shadow_enable = value;
+}
+
+int zebra_record_encoding (ZebraHandle zh, const char *encoding)
+{
+    xfree (zh->record_encoding);
+    zh->record_encoding = xstrdup (encoding);
+    return 0;
+}