Zebra config renamed.
[idzebra-moved-to-github.git] / index / zserver.c
index 863780a..2bfe9c8 100644 (file)
@@ -4,7 +4,70 @@
  * Sebastian Hammer, Adam Dickmeiss
  *
  * $Log: zserver.c,v $
- * Revision 1.9  1995-10-02 15:18:52  adam
+ * Revision 1.28  1995-11-28 09:09:48  adam
+ * Zebra config renamed.
+ * Use setting 'recordId' to identify record now.
+ * Bug fix in recindex.c: rec_release_blocks was invokeded even
+ * though the blocks were already released.
+ * File traversal properly deletes records when needed.
+ *
+ * Revision 1.27  1995/11/27  13:58:54  adam
+ * New option -t. storeStore data implemented in server.
+ *
+ * Revision 1.26  1995/11/25  10:24:07  adam
+ * More record fields - they are enumerated now.
+ * New options: flagStoreData flagStoreKey.
+ *
+ * Revision 1.25  1995/11/21  15:29:13  adam
+ * Config file 'base' read by default by both indexer and server.
+ *
+ * Revision 1.24  1995/11/20  16:59:47  adam
+ * New update method: the 'old' keys are saved for each records.
+ *
+ * Revision 1.23  1995/11/16  17:00:56  adam
+ * Better logging of rpn query.
+ *
+ * Revision 1.22  1995/11/16  15:34:55  adam
+ * Uses new record management system in both indexer and server.
+ *
+ * Revision 1.21  1995/11/01  16:25:52  quinn
+ * *** empty log message ***
+ *
+ * Revision 1.20  1995/10/27  14:00:12  adam
+ * Implemented detection of database availability.
+ *
+ * Revision 1.19  1995/10/17  18:02:11  adam
+ * New feature: databases. Implemented as prefix to words in dictionary.
+ *
+ * Revision 1.18  1995/10/16  14:03:09  quinn
+ * Changes to support element set names and espec1
+ *
+ * Revision 1.17  1995/10/16  09:32:40  adam
+ * More work on relational op.
+ *
+ * Revision 1.16  1995/10/13  12:26:44  adam
+ * Optimization of truncation.
+ *
+ * Revision 1.15  1995/10/12  12:40:55  adam
+ * Bug fixes in rpn_prox.
+ *
+ * Revision 1.14  1995/10/09  16:18:37  adam
+ * Function dict_lookup_grep got extra client data parameter.
+ *
+ * Revision 1.13  1995/10/06  14:38:00  adam
+ * New result set method: r_score.
+ * Local no (sysno) and score is transferred to retrieveCtrl.
+ *
+ * Revision 1.12  1995/10/06  13:52:06  adam
+ * Bug fixes. Handler may abort further scanning.
+ *
+ * Revision 1.11  1995/10/06  10:43:57  adam
+ * Scan added. 'occurrences' in scan entries not set yet.
+ *
+ * Revision 1.10  1995/10/02  16:43:32  quinn
+ * Set default resulting record type in fetch.
+ *
+ * Revision 1.9  1995/10/02  15:18:52  adam
  * New member in recRetrieveCtrl: diagnostic.
  *
  * Revision 1.8  1995/09/28  09:19:47  adam
 #include <unistd.h>
 #include <fcntl.h>
 
+#include <common.h>
+#include <data1.h>
 #include <recctrl.h>
-#include <backend.h>
 #include <dmalloc.h>
 #include "zserver.h"
 
@@ -56,36 +120,42 @@ bend_initresult *bend_init (bend_initrequest *q)
     r.errstring = 0;
     r.handle = name;
 
-    server_info.sets = NULL;
-    if (!(server_info.sys_idx_fd = open (FNAME_SYS_IDX, O_RDONLY)))
+    logf (LOG_DEBUG, "bend_init");
+
+    if (!common_resource)
     {
-        r.errcode = 1;
-        r.errstring = "dict_open fail: filedict";
-        return &r;
+        struct statserv_options_block *sob;
+
+        sob = statserv_getcontrol ();
+        logf (LOG_LOG, "Reading resources from %s", sob->configname);
+        if (!(common_resource = res_open (sob->configname)))
+        {
+            logf (LOG_FATAL, "Cannot open resource `%s'", sob->configname);
+            exit (1);
+        }
     }
-    if (!(server_info.fileDict = dict_open (FNAME_FILE_DICT, 10, 0)))
-    {
-        r.errcode = 1;
-        r.errstring = "dict_open fail: filedict";
-        return &r;
-    }    
+
+    data1_tabpath = res_get(common_resource, "profilePath");
+    server_info.sets = NULL;
+
+    server_info.records = rec_open (0);
     if (!(server_info.wordDict = dict_open (FNAME_WORD_DICT, 40, 0)))
     {
-        dict_close (server_info.fileDict);
+        logf (LOG_WARN, "dict_open fail: word dict");
         r.errcode = 1;
-        r.errstring = "dict_open fail: worddict";
+        r.errstring = "dict_open fail: word dict";
         return &r;
     }    
     if (!(server_info.wordIsam = is_open (FNAME_WORD_ISAM, key_compare, 0,
                                           sizeof (struct it_key))))
     {
+        logf (LOG_WARN, "is_open fail: word isam");
         dict_close (server_info.wordDict);
-        dict_close (server_info.fileDict);
         r.errcode = 1;
-        r.errstring = "is_open fail: wordisam";
+        r.errstring = "is_open fail: word isam";
         return &r;
     }
-    server_info.recordBuf = NULL;
+    server_info.odr = odr_createmem (ODR_ENCODE);
     return &r;
 }
 
@@ -97,12 +167,19 @@ bend_searchresult *bend_search (void *handle, bend_searchrequest *q, int *fd)
     r.errstring = 0;
     r.hits = 0;
 
+
+    odr_reset (server_info.odr);
+    server_info.errCode = 0;
+    server_info.errString = NULL;
+
+    logf (LOG_LOG, "ResultSet '%s'", q->setname);
     switch (q->query->which)
     {
     case Z_Query_type_1:
         r.errcode = rpn_search (&server_info, q->query->u.type_1,
                                 q->num_bases, q->basenames, q->setname,
                                 &r.hits);
+        r.errstring = server_info.errString;
         break;
     default:
         r.errcode = 107;
@@ -110,53 +187,82 @@ bend_searchresult *bend_search (void *handle, bend_searchrequest *q, int *fd)
     return &r;
 }
 
-static int record_read (int fd, char *buf, size_t count)
+static int record_ext_read (int fd, char *buf, size_t count)
 {
     return read (fd, buf, count);
 }
 
-static int record_fetch (ZServerInfo *zi, int sysno, ODR stream,
-                          oid_value input_format, oid_value *output_format,
-                          char **rec_bufp, int *rec_lenp)
+static int record_int_pos;
+static char *record_int_buf;
+static int record_int_len;
+
+static int record_int_read (int fd, char *buf, size_t count)
+{
+    int l = record_int_len - record_int_pos;
+    if (l <= 0)
+        return 0;
+    l = (l < count) ? l : count;
+    memcpy (buf, record_int_buf + record_int_pos, l);
+    record_int_pos += l;
+    return l;
+}
+
+static int record_fetch (ZServerInfo *zi, int sysno, int score, ODR stream,
+                          oid_value input_format, Z_RecordComposition *comp,
+                         oid_value *output_format, char **rec_bufp,
+                         int *rec_lenp)
 {
-    char record_info[SYS_IDX_ENTRY_LEN];
+    Record rec;
     char *fname, *file_type;
     RecType rt;
     struct recRetrieveCtrl retrieveCtrl;
 
-    if (lseek (zi->sys_idx_fd, sysno * SYS_IDX_ENTRY_LEN,
-               SEEK_SET) == -1)
-    {
-        logf (LOG_FATAL|LOG_ERRNO, "Retrieve: lseek of sys_idx");
-        exit (1);
-    }
-    if (read (zi->sys_idx_fd, record_info, SYS_IDX_ENTRY_LEN) == -1)
-    {
-        logf (LOG_FATAL|LOG_ERRNO, "Retrieve: read of sys_idx");
-        exit (1);
-    }
-    file_type = record_info;
-    fname = record_info + strlen(record_info) + 1;
+    rec = rec_get (zi->records, sysno);
+    file_type = rec->info[recInfo_fileType];
+    fname = rec->info[recInfo_filename];
+
     if (!(rt = recType_byName (file_type)))
     {
         logf (LOG_FATAL|LOG_ERRNO, "Retrieve: Cannot handle type %s", 
               file_type);
         exit (1);
     }
-    if ((retrieveCtrl.fd = open (fname, O_RDONLY)) == -1)
+    logf (LOG_DEBUG, "retrieve localno=%d score=%d", sysno, score);
+    if (rec->size[recInfo_storeData] > 0)
     {
-        logf (LOG_FATAL|LOG_ERRNO, "Retrieve: Open record file %s", fname);
-        exit (1);
+        retrieveCtrl.readf = record_int_read;
+        record_int_len = rec->size[recInfo_storeData];
+        record_int_buf = rec->info[recInfo_storeData];
+        record_int_pos = 0;
+        logf (LOG_DEBUG, "Internal retrieve. %d bytes", record_int_len);
+    }
+    else 
+    {
+        if ((retrieveCtrl.fd = open (fname, O_RDONLY)) == -1)
+        {
+            char *msg = "Record doesn't exist";
+            logf (LOG_WARN|LOG_ERRNO, "Retrieve: Open record file %s", fname);
+            *output_format = VAL_SUTRS;
+            *rec_bufp = msg;
+            *rec_lenp = strlen (msg);
+            rec_rm (&rec);
+            return 0;     /* or 14: System error in presenting records */
+        }
+        retrieveCtrl.readf = record_ext_read;
     }
+    retrieveCtrl.localno = sysno;
+    retrieveCtrl.score = score;
     retrieveCtrl.odr = stream;
-    retrieveCtrl.readf = record_read;
-    retrieveCtrl.input_format = input_format;
+    retrieveCtrl.input_format = retrieveCtrl.output_format = input_format;
+    retrieveCtrl.comp = comp;
     retrieveCtrl.diagnostic = 0;
     (*rt->retrieve)(&retrieveCtrl);
     *output_format = retrieveCtrl.output_format;
     *rec_bufp = retrieveCtrl.rec_buf;
     *rec_lenp = retrieveCtrl.rec_len;
     close (retrieveCtrl.fd);
+    rec_rm (&rec);
+
     return retrieveCtrl.diagnostic;
 }
 
@@ -170,8 +276,9 @@ bend_fetchresult *bend_fetch (void *handle, bend_fetchrequest *q, int *num)
     r.last_in_set = 0;
     r.basename = "base";
 
-    xfree (server_info.recordBuf);
-    server_info.recordBuf = NULL;
+    odr_reset (server_info.odr);
+    server_info.errCode = 0;
+
     positions[0] = q->number;
     records = resultSetSysnoGet (&server_info, q->setname, 1, positions);
     if (!records)
@@ -186,8 +293,10 @@ bend_fetchresult *bend_fetch (void *handle, bend_fetchrequest *q, int *num)
         logf (LOG_DEBUG, "Out of range. pos=%d", q->number);
         return &r;
     }
-    r.errcode = record_fetch (&server_info, records[0].sysno, q->stream,
-                              q->format, &r.format, &r.record, &r.len);
+    r.errcode = record_fetch (&server_info, records[0].sysno,
+                              records[0].score, q->stream, q->format,
+                              q->comp, &r.format, &r.record, &r.len);
+    resultSetSysnoDel (&server_info, records, 1);
     return &r;
 }
 
@@ -198,44 +307,39 @@ bend_deleteresult *bend_delete (void *handle, bend_deleterequest *q, int *num)
 
 bend_scanresult *bend_scan (void *handle, bend_scanrequest *q, int *num)
 {
-    static struct scan_entry list[200];
-    static char buf[200][200];
     static bend_scanresult r;
-    int i;
+    int status;
+
+    odr_reset (server_info.odr);
+    server_info.errCode = 0;
+    server_info.errString = 0;
 
     r.term_position = q->term_position;
     r.num_entries = q->num_entries;
-    r.entries = list;
-    for (i = 0; i < r.num_entries; i++)
-    {
-       list[i].term = buf[i];
-       sprintf(list[i].term, "term-%d", i+1);
-       list[i].occurrences = rand() % 100000;
-    }
-    r.errcode = 0;
-    r.errstring = 0;
+    r.errcode = rpn_scan (&server_info, q->term,
+                          q->num_bases, q->basenames,
+                          &r.term_position,
+                          &r.num_entries, &r.entries, &status);
+    r.errstring = server_info.errString;
+    r.status = status;
     return &r;
 }
 
 void bend_close (void *handle)
 {
-    dict_close (server_info.fileDict);
     dict_close (server_info.wordDict);
     is_close (server_info.wordIsam);
-    close (server_info.sys_idx_fd);
-    xfree (server_info.recordBuf);
-    server_info.recordBuf = NULL;
+    rec_close (&server_info.records);
     return;
 }
 
 int main (int argc, char **argv)
 {
-    char *base_name = "base";
+    struct statserv_options_block *sob;
+
+    sob = statserv_getcontrol ();
+    strcpy (sob->configname, FNAME_CONFIG);
+    statserv_setcontrol (sob);
 
-    if (!(common_resource = res_open (base_name)))
-    {
-        logf (LOG_FATAL, "Cannot open resource `%s'", base_name);
-        exit (1);
-    }
     return statserv_main (argc, argv);
 }