Implemented Sort.
[idzebra-moved-to-github.git] / index / zserver.c
index 6fa3fae..4c1ec26 100644 (file)
@@ -1,10 +1,43 @@
 /*
- * Copyright (C) 1995-1996, Index Data I/S 
+ * Copyright (C) 1995-1998, Index Data I/S 
  * All rights reserved.
  * Sebastian Hammer, Adam Dickmeiss
  *
  * $Log: zserver.c,v $
- * Revision 1.46  1997-07-28 08:30:47  adam
+ * Revision 1.55  1998-02-10 12:03:06  adam
+ * Implemented Sort.
+ *
+ * Revision 1.54  1998/01/29 13:39:13  adam
+ * Compress ISAM is default.
+ *
+ * Revision 1.53  1998/01/12 15:04:09  adam
+ * The test option (-s) only uses read-lock (and not write lock).
+ *
+ * Revision 1.52  1997/11/18 10:05:08  adam
+ * Changed character map facility so that admin can specify character
+ * mapping files for each register type, w, p, etc.
+ *
+ * Revision 1.51  1997/10/27 14:33:06  adam
+ * Moved towards generic character mapping depending on "structure"
+ * field in abstract syntax file. Fixed a few memory leaks. Fixed
+ * bug with negative integers when doing searches with relational
+ * operators.
+ *
+ * Revision 1.50  1997/09/29 09:08:36  adam
+ * Revised locking system to be thread safe for the server.
+ *
+ * Revision 1.49  1997/09/25 14:57:23  adam
+ * Windows NT port.
+ *
+ * Revision 1.48  1997/09/17 12:19:19  adam
+ * Zebra version corresponds to YAZ version 1.4.
+ * Changed Zebra server so that it doesn't depend on global common_resource.
+ *
+ * Revision 1.47  1997/09/04 13:58:36  adam
+ * New retrieve/extract method tellf (added).
+ * Added O_BINARY for open calls.
+ *
+ * Revision 1.46  1997/07/28 08:30:47  adam
  * Server returns diagnostic 14 when record doesn't exist.
  *
  * Revision 1.45  1996/12/23 15:30:45  adam
  */
 #include <stdio.h>
 #include <assert.h>
+#ifdef WINDOWS
+#include <io.h>
+#include <process.h>
+#else
 #include <unistd.h>
+#endif
 #include <fcntl.h>
 
-#include <common.h>
 #include <data1.h>
 #include <recctrl.h>
 #include <dmalloc.h>
 
-#define USE_TIMES 1
-#ifdef __linux__
-#define USE_TIMES 1
-#endif
-
-#if USE_TIMES
-#include <sys/times.h>
-#endif
 #include "zserver.h"
 
-ZServerInfo server_info;
-
-#if USE_TIMES
-static struct tms tms1;
-static struct tms tms2;
-#endif
-
 static int register_lock (ZServerInfo *zi)
 {
     time_t lastChange;
-    int state = zebraServerLockGetState(&lastChange);
+    int state = zebra_server_lock_get_state(zi, &lastChange);
 
     switch (state)
     {
@@ -208,9 +230,9 @@ static int register_lock (ZServerInfo *zi)
     default:
         state = 0;
     }
-    zebraServerLock (state);
+    zebra_server_lock (zi, state);
 #if USE_TIMES
-    times (&tms1);
+    times (&zi->tms1);
 #endif
     if (zi->registerState == state)
     {
@@ -229,33 +251,37 @@ static int register_lock (ZServerInfo *zi)
     {
         zebTargetInfo_close (zi->zti, 0);
         dict_close (zi->dict);
+       sortIdx_close (zi->sortIdx);
         if (zi->isam)
             is_close (zi->isam);
         if (zi->isamc)
             isc_close (zi->isamc);
         rec_close (&zi->records);
     }
-    bf_cache (state);
+    bf_cache (zi->bfs, state ? res_get (zi->res, "shadow") : NULL);
     zi->registerState = state;
-    zi->records = rec_open (0);
-    if (!(zi->dict = dict_open (FNAME_DICT, 40, 0)))
+    zi->records = rec_open (zi->bfs, 0);
+    if (!(zi->dict = dict_open (zi->bfs, FNAME_DICT, 40, 0)))
         return -1;
+    if (!(zi->sortIdx = sortIdx_open (zi->bfs, 0)))
+       return -1;
     zi->isam = NULL;
     zi->isamc = NULL;
-    if (res_get_match (common_resource, "isam", "c", NULL))
+    if (!res_get_match (zi->res, "isam", "i", NULL))
     {
-        if (!(zi->isamc = isc_open (FNAME_ISAMC, 0, key_isamc_m())))
+        if (!(zi->isamc = isc_open (zi->bfs, FNAME_ISAMC,
+                                   0, key_isamc_m(zi->res))))
             return -1;
 
     }
     else
     {
-        if (!(zi->isam = is_open (FNAME_ISAM, key_compare, 0,
-                                  sizeof (struct it_key))))
+        if (!(zi->isam = is_open (zi->bfs, FNAME_ISAM, key_compare, 0,
+                                  sizeof (struct it_key), zi->res)))
             return -1;
     }
     zi->zti = zebTargetInfo_open (zi->records, 0);
-    init_charmap ();
+
     return 0;
 }
 
@@ -264,117 +290,143 @@ static void register_unlock (ZServerInfo *zi)
     static int waitSec = -1;
 
 #if USE_TIMES
-    times (&tms2);
+    times (&zi->tms2);
     logf (LOG_LOG, "user/system: %ld/%ld",
-                       (long) (tms2.tms_utime - tms1.tms_utime),
-                       (long) (tms2.tms_stime - tms1.tms_stime));
+                       (long) (zi->tms2.tms_utime - zi->tms1.tms_utime),
+                       (long) (zi->tms2.tms_stime - zi->tms1.tms_stime));
 #endif
     if (waitSec == -1)
     {
-        char *s = res_get (common_resource, "debugRequestWait");
+        char *s = res_get (zi->res, "debugRequestWait");
         if (s)
             waitSec = atoi (s);
         else
             waitSec = 0;
     }
+#ifdef WINDOWS
+#else
     if (waitSec > 0)
         sleep (waitSec);
+#endif
     if (zi->registerState != -1)
-        zebraServerUnlock (zi->registerState);
+        zebra_server_unlock (zi, zi->registerState);
 }
 
+static int bend_sort (void *handle, bend_sort_rr *rr);
+
 bend_initresult *bend_init (bend_initrequest *q)
 {
-    static bend_initresult r;
-    static char *name = "zserver";
+    bend_initresult *r = odr_malloc (q->stream, sizeof(*r));
+    ZServerInfo *zi = xmalloc (sizeof(*zi));
+    struct statserv_options_block *sob;
 
-    r.errcode = 0;
-    r.errstring = 0;
-    r.handle = name;
+    r->errcode = 0;
+    r->errstring = 0;
+    r->handle = zi;
+    q->bend_sort = bend_sort;
 
     logf (LOG_DEBUG, "bend_init");
 
-    if (!common_resource)
+    sob = statserv_getcontrol ();
+    logf (LOG_LOG, "Reading resources from %s", sob->configname);
+    if (!(zi->res = res_open (sob->configname)))
     {
-        struct statserv_options_block *sob;
-
-        sob = statserv_getcontrol ();
-        logf (LOG_LOG, "Reading resources from %s", sob->configname);
-        if (!(common_resource = res_open (sob->configname)))
-        {
-            logf (LOG_FATAL, "Cannot open resource `%s'", sob->configname);
-            exit (1);
-        }
-        bf_lockDir (res_get (common_resource, "lockDir"));
-        data1_set_tabpath (res_get(common_resource, "profilePath"));
+       logf (LOG_FATAL, "Failed to read resources `%s'", sob->configname);
+       r->errcode = 1;
+       return r;
     }
-    server_info.sets = NULL;
-    server_info.registerState = -1;  /* trigger open of registers! */
-    server_info.registerChange = 0;
-
-    server_info.records = NULL;
-    server_info.odr = odr_createmem (ODR_ENCODE);
-    return &r;
+    zebra_server_lock_init (zi);
+    zi->dh = data1_create ();
+    zi->bfs = bfs_create (res_get (zi->res, "register"));
+    bf_lockDir (zi->bfs, res_get (zi->res, "lockDir"));
+    data1_set_tabpath (zi->dh, res_get(zi->res, "profilePath"));
+    zi->sets = NULL;
+    zi->registerState = -1;  /* trigger open of registers! */
+    zi->registerChange = 0;
+
+    zi->records = NULL;
+    zi->registered_sets = NULL;
+    zi->zebra_maps = zebra_maps_open (res_get(zi->res, "profilePath"),
+                                     zi->res);
+    return r;
 }
 
 bend_searchresult *bend_search (void *handle, bend_searchrequest *q, int *fd)
 {
-    static bend_searchresult r;
+    ZServerInfo *zi = handle;
+    bend_searchresult *r = odr_malloc (q->stream, sizeof(*r));
 
-    r.errcode = 0;
-    r.errstring = 0;
-    r.hits = 0;
+    r->errcode = 0;
+    r->errstring = 0;
+    r->hits = 0;
 
-    register_lock (&server_info);
-    odr_reset (server_info.odr);
-    server_info.errCode = 0;
-    server_info.errString = NULL;
+    register_lock (zi);
+    zi->errCode = 0;
+    zi->errString = NULL;
 
     logf (LOG_LOG, "ResultSet '%s'", q->setname);
     switch (q->query->which)
     {
     case Z_Query_type_1: case Z_Query_type_101:
-        r.errcode = rpn_search (&server_info, q->query->u.type_1,
+        r->errcode = rpn_search (zi, q->stream, q->query->u.type_1,
                                 q->num_bases, q->basenames, q->setname,
-                                &r.hits);
-        r.errstring = server_info.errString;
+                                &r->hits);
+        r->errstring = zi->errString;
         break;
     default:
-        r.errcode = 107;
+        r->errcode = 107;
     }
-    register_unlock (&server_info);
-    return &r;
+    register_unlock (zi);
+    return r;
 }
 
-static int record_offset;
+struct fetch_control {
+    int record_offset;
+    int record_int_pos;
+    char *record_int_buf;
+    int record_int_len;
+    int fd;
+};
 
 static int record_ext_read (void *fh, char *buf, size_t count)
 {
-    return read (*((int*) fh), buf, count);
+    struct fetch_control *fc = fh;
+    return read (fc->fd, buf, count);
 }
 
 static off_t record_ext_seek (void *fh, off_t offset)
 {
-    return lseek (*((int*) fh), offset + record_offset, SEEK_SET);
+    struct fetch_control *fc = fh;
+    return lseek (fc->fd, offset + fc->record_offset, SEEK_SET);
 }
 
-static int record_int_pos;
-static char *record_int_buf;
-static int record_int_len;
+static off_t record_ext_tell (void *fh)
+{
+    struct fetch_control *fc = fh;
+    return lseek (fc->fd, 0, SEEK_CUR) - fc->record_offset;
+}
 
 static off_t record_int_seek (void *fh, off_t offset)
 {
-    return (off_t) (record_int_pos = offset);
+    struct fetch_control *fc = fh;
+    return (off_t) (fc->record_int_pos = offset);
+}
+
+static off_t record_int_tell (void *fh)
+{
+    struct fetch_control *fc = fh;
+    return (off_t) fc->record_int_pos;
 }
 
 static int record_int_read (void *fh, char *buf, size_t count)
 {
-    int l = record_int_len - record_int_pos;
+    struct fetch_control *fc = fh;
+    int l = fc->record_int_len - fc->record_int_pos;
     if (l <= 0)
         return 0;
     l = (l < count) ? l : count;
-    memcpy (buf, record_int_buf + record_int_pos, l);
-    record_int_pos += l;
+    memcpy (buf, fc->record_int_buf + fc->record_int_pos, l);
+    fc->record_int_pos += l;
     return l;
 }
 
@@ -386,9 +438,9 @@ static int record_fetch (ZServerInfo *zi, int sysno, int score, ODR stream,
     Record rec;
     char *fname, *file_type, *basename;
     RecType rt;
-    int fd = -1;
     struct recRetrieveCtrl retrieveCtrl;
     char subType[128];
+    struct fetch_control fc;
 
     rec = rec_get (zi->records, sysno);
     if (!rec)
@@ -404,35 +456,37 @@ static int record_fetch (ZServerInfo *zi, int sysno, int score, ODR stream,
 
     if (!(rt = recType_byName (file_type, subType)))
     {
-        logf (LOG_FATAL|LOG_ERRNO, "Retrieve: Cannot handle type %s", 
-              file_type);
-        exit (1);
+        logf (LOG_WARN, "Retrieve: Cannot handle type %s",  file_type);
+       return 14;
     }
     logf (LOG_DEBUG, "retrieve localno=%d score=%d", sysno, score);
+    retrieveCtrl.fh = &fc;
+    fc.fd = -1;
     if (rec->size[recInfo_storeData] > 0)
     {
         retrieveCtrl.readf = record_int_read;
         retrieveCtrl.seekf = record_int_seek;
-        record_int_len = rec->size[recInfo_storeData];
-        record_int_buf = rec->info[recInfo_storeData];
-        record_int_pos = 0;
-        logf (LOG_DEBUG, "Internal retrieve. %d bytes", record_int_len);
+        retrieveCtrl.tellf = record_int_tell;
+        fc.record_int_len = rec->size[recInfo_storeData];
+        fc.record_int_buf = rec->info[recInfo_storeData];
+        fc.record_int_pos = 0;
+        logf (LOG_DEBUG, "Internal retrieve. %d bytes", fc.record_int_len);
     }
     else 
     {
-        if ((fd = open (fname, O_RDONLY)) == -1)
+        if ((fc.fd = open (fname, O_BINARY|O_RDONLY)) == -1)
         {
             logf (LOG_WARN|LOG_ERRNO, "Retrieve fail; missing file: %s",
                  fname);
             rec_rm (&rec);
             return 14;
         }
-        memcpy (&record_offset, rec->info[recInfo_offset],
-                sizeof(record_offset));
+        memcpy (&fc.record_offset, rec->info[recInfo_offset],
+                sizeof(fc.record_offset));
 
-        retrieveCtrl.fh = &fd;
         retrieveCtrl.readf = record_ext_read;
         retrieveCtrl.seekf = record_ext_seek;
+        retrieveCtrl.tellf = record_ext_tell;
 
         record_ext_seek (retrieveCtrl.fh, 0);
     }
@@ -443,12 +497,13 @@ static int record_fetch (ZServerInfo *zi, int sysno, int score, ODR stream,
     retrieveCtrl.input_format = retrieveCtrl.output_format = input_format;
     retrieveCtrl.comp = comp;
     retrieveCtrl.diagnostic = 0;
+    retrieveCtrl.dh = zi->dh;
     (*rt->retrieve)(&retrieveCtrl);
     *output_format = retrieveCtrl.output_format;
     *rec_bufp = retrieveCtrl.rec_buf;
     *rec_lenp = retrieveCtrl.rec_len;
-    if (fd != -1)
-        close (fd);
+    if (fc.fd != -1)
+        close (fc.fd);
     rec_rm (&rec);
 
     return retrieveCtrl.diagnostic;
@@ -456,88 +511,132 @@ static int record_fetch (ZServerInfo *zi, int sysno, int score, ODR stream,
 
 bend_fetchresult *bend_fetch (void *handle, bend_fetchrequest *q, int *num)
 {
-    static bend_fetchresult r;
+    ZServerInfo *zi = handle;
+    bend_fetchresult *r = odr_malloc (q->stream, sizeof(*r));
     int positions[2];
     ZServerSetSysno *records;
 
-    register_lock (&server_info);
+    register_lock (zi);
 
-    r.errstring = 0;
-    r.last_in_set = 0;
-    r.basename = "base";
+    r->errstring = 0;
+    r->last_in_set = 0;
+    r->basename = "base";
 
-    odr_reset (server_info.odr);
-    server_info.errCode = 0;
+    zi->errCode = 0;
 
     positions[0] = q->number;
-    records = resultSetSysnoGet (&server_info, q->setname, 1, positions);
+    records = resultSetSysnoGet (zi, q->setname, 1, positions);
     if (!records)
     {
         logf (LOG_DEBUG, "resultSetRecordGet, error");
-        r.errcode = 13;
-        register_unlock (&server_info);
-        return &r;
+        r->errcode = 13;
+        register_unlock (zi);
+        return r;
     }
     if (!records[0].sysno)
     {
-        r.errcode = 13;
+        r->errcode = 13;
         logf (LOG_DEBUG, "Out of range. pos=%d", q->number);
-        register_unlock (&server_info);
-        return &r;
+        register_unlock (zi);
+        return r;
     }
-    r.errcode = record_fetch (&server_info, records[0].sysno,
+    r->errcode = record_fetch (zi, records[0].sysno,
                               records[0].score, q->stream, q->format,
-                              q->comp, &r.format, &r.record, &r.len,
-                              &r.basename);
-    resultSetSysnoDel (&server_info, records, 1);
-    register_unlock (&server_info);
-    return &r;
+                              q->comp, &r->format, &r->record, &r->len,
+                              &r->basename);
+    resultSetSysnoDel (zi, records, 1);
+    register_unlock (zi);
+    return r;
 }
 
 bend_deleteresult *bend_delete (void *handle, bend_deleterequest *q, int *num)
 {
-    register_lock (&server_info);
-    register_unlock (&server_info);
+    ZServerInfo *zi = handle;
+    register_lock (zi);
+    register_unlock (zi);
     return 0;
 }
 
 bend_scanresult *bend_scan (void *handle, bend_scanrequest *q, int *num)
 {
-    static bend_scanresult r;
+    ZServerInfo *zi = handle;
+    bend_scanresult *r = odr_malloc (q->stream, sizeof(*r));
     int status;
 
-    register_lock (&server_info);
-    odr_reset (server_info.odr);
-    server_info.errCode = 0;
-    server_info.errString = 0;
+    register_lock (zi);
+    zi->errCode = 0;
+    zi->errString = 0;
 
-    r.term_position = q->term_position;
-    r.num_entries = q->num_entries;
-    r.errcode = rpn_scan (&server_info, q->term,
+    r->term_position = q->term_position;
+    r->num_entries = q->num_entries;
+    r->errcode = rpn_scan (zi, q->stream, q->term,
                           q->attributeset,
                           q->num_bases, q->basenames,
-                          &r.term_position,
-                          &r.num_entries, &r.entries, &status);
-    r.errstring = server_info.errString;
-    r.status = status;
-    register_unlock (&server_info);
-    return &r;
+                          &r->term_position,
+                          &r->num_entries, &r->entries, &status);
+    r->errstring = zi->errString;
+    r->status = status;
+    register_unlock (zi);
+    return r;
 }
 
 void bend_close (void *handle)
 {
-    if (server_info.records)
+    ZServerInfo *zi = handle;
+
+    if (zi->records)
     {
-        resultSetDestroy (&server_info);
-        dict_close (server_info.dict);
-        if (server_info.isam)
-            is_close (server_info.isam);
-        if (server_info.isamc)
-            isc_close (server_info.isamc);
-        rec_close (&server_info.records);
-        register_unlock (&server_info);
+        resultSetDestroy (zi);
+        zebTargetInfo_close (zi->zti, 0);
+        dict_close (zi->dict);
+       sortIdx_close (zi->sortIdx);
+        if (zi->isam)
+            is_close (zi->isam);
+        if (zi->isamc)
+            isc_close (zi->isamc);
+        rec_close (&zi->records);
+        register_unlock (zi);
     }
-    return;
+    zebra_maps_close (zi->zebra_maps);
+    bfs_destroy (zi->bfs);
+    data1_destroy (zi->dh);
+    zebra_server_lock_destroy (zi);
+
+    res_close (zi->res);
+    xfree (zi);
+}
+
+#ifndef WINDOWS
+static void pre_init (struct statserv_options_block *sob)
+{
+    char *pidfile = "zebrasrv.pid";
+    int fd = creat (pidfile, 0666);
+    
+    if (fd == -1)
+       logf (LOG_WARN|LOG_ERRNO, "creat %s", pidfile);
+    else
+    {
+       char pidstr[30];
+       
+       sprintf (pidstr, "%ld", (long) getpid ());
+       write (fd, pidstr, strlen(pidstr));
+       close (fd);
+    }
+}
+#endif
+
+int bend_sort (void *handle, bend_sort_rr *rr)
+{
+    ZServerInfo *zi = handle;
+
+#if 1
+    register_lock (zi);
+
+    resultSetSort (zi, rr);
+
+    register_unlock (zi);
+#endif
+    return 0;
 }
 
 int main (int argc, char **argv)
@@ -546,6 +645,9 @@ int main (int argc, char **argv)
 
     sob = statserv_getcontrol ();
     strcpy (sob->configname, FNAME_CONFIG);
+#ifndef WINDOWS
+    sob->pre_init = pre_init;
+#endif
     statserv_setcontrol (sob);
 
     return statserv_main (argc, argv);