Commit files use separate meta file area.
[idzebra-moved-to-github.git] / index / main.c
index 916f248..17fdbb4 100644 (file)
@@ -4,7 +4,57 @@
  * Sebastian Hammer, Adam Dickmeiss
  *
  * $Log: main.c,v $
- * Revision 1.11  1995-09-29 14:01:45  adam
+ * Revision 1.25  1995-12-01 16:24:39  adam
+ * Commit files use separate meta file area.
+ *
+ * Revision 1.24  1995/11/30  17:01:38  adam
+ * New setting commitCache: points to commit directories/files.
+ * New command commit: commits at the end of a zebraidx run.
+ *
+ * Revision 1.23  1995/11/30  08:34:31  adam
+ * Started work on commit facility.
+ * Changed a few malloc/free to xmalloc/xfree.
+ *
+ * Revision 1.22  1995/11/28  09:09:42  adam
+ * Zebra config renamed.
+ * Use setting 'recordId' to identify record now.
+ * Bug fix in recindex.c: rec_release_blocks was invokeded even
+ * though the blocks were already released.
+ * File traversal properly deletes records when needed.
+ *
+ * Revision 1.21  1995/11/27  14:27:39  adam
+ * Renamed 'update' command to 'dir'.
+ *
+ * Revision 1.20  1995/11/27  13:58:53  adam
+ * New option -t. storeStore data implemented in server.
+ *
+ * Revision 1.19  1995/11/25  10:24:06  adam
+ * More record fields - they are enumerated now.
+ * New options: flagStoreData flagStoreKey.
+ *
+ * Revision 1.18  1995/11/22  17:19:17  adam
+ * Record management uses the bfile system.
+ *
+ * Revision 1.17  1995/11/21  15:01:16  adam
+ * New general match criteria implemented.
+ * New feature: document groups.
+ *
+ * Revision 1.16  1995/11/20  11:56:27  adam
+ * Work on new traversal.
+ *
+ * Revision 1.15  1995/11/01  16:25:51  quinn
+ * *** empty log message ***
+ *
+ * Revision 1.14  1995/10/17  18:02:09  adam
+ * New feature: databases. Implemented as prefix to words in dictionary.
+ *
+ * Revision 1.13  1995/10/10  12:24:39  adam
+ * Temporary sort files are compressed.
+ *
+ * Revision 1.12  1995/10/04  16:57:20  adam
+ * Key input and merge sort in one pass.
+ *
+ * Revision 1.11  1995/09/29  14:01:45  adam
  * Bug fixes.
  *
  * Revision 1.10  1995/09/28  14:22:57  adam
 #include <unistd.h>
 
 #include <alexutil.h>
+#include <data1.h>
 #include "index.h"
 
 char *prog;
 size_t mem_max = 4*1024*1024;
+extern char *data1_tabpath;
 
 int main (int argc, char **argv)
 {
+    int commit_at_end = 0;
     int ret;
     int cmd = 0;
     char *arg;
-    char *base_name = NULL;
-    char *base_path = NULL;
+    char *configName = NULL;
     int nsections;
-    char **mbuf;
+    int key_open_flag = 0;
+
+    struct recordGroup rGroupDef;
+    
+    rGroupDef.groupName = NULL;
+    rGroupDef.databaseName = NULL;
+    rGroupDef.path = NULL;
+    rGroupDef.recordId = NULL;
+    rGroupDef.recordType = NULL;
+    rGroupDef.flagStoreData = -1;
+    rGroupDef.flagStoreKeys = -1;
 
     prog = *argv;
-    while ((ret = options ("r:v:m:", argv, argc, &arg)) != -2)
+    if (argc < 2)
+    {
+        fprintf (stderr, "zebraidx [options] command <dir> ...\n"
+        "Commands:\n"
+        " update <dir>  Update index with files below <dir>.\n"
+       "               If <dir> is empty filenames are read from stdin.\n"
+        " delete <dir>  Delete index with files below <dir>.\n"
+        "Options:\n"
+       " -t <type>     Index files as <type> (grs or text).\n"
+       " -c <config>   Read configuration file <config>.\n"
+       " -g <group>    Index files according to group settings.\n"
+       " -d <database> Records belong to Z39.50 database <database>.\n"
+       " -m <mbytes>   Use <mbytes> before flushing keys to disk.\n"
+       " -v <level>    Set logging to <level>.\n");
+        exit (1);
+    }
+    while ((ret = options ("t:c:g:d:m:v:", argv, argc, &arg)) != -2)
     {
         if (ret == 0)
         {
-            if (!base_name)
+            if(cmd == 0) /* command */
             {
-                base_name = arg;
-
-                common_resource = res_open (base_name);
                 if (!common_resource)
                 {
-                    logf (LOG_FATAL, "Cannot open resource `%s'", base_name);
-                    exit (1);
-                }
-            }
-            else if(cmd == 0) /* command */
-            {
-                if (!strcmp (arg, "add"))
-                {
-                    cmd = 'a';
+                    const char *rval;
+                    common_resource = res_open (configName ?
+                                                configName : FNAME_CONFIG);
+                    if (!common_resource)
+                    {
+                        logf (LOG_FATAL, "Cannot open resource `%s'",
+                              configName);
+                        exit (1);
+                    }
+                    data1_tabpath = res_get (common_resource, "profilePath");
+                    rval = res_get (common_resource, "commitEnable");
+                    if (rval && atoi(rval))
+                        bf_cache ();
                 }
-                else if (!strcmp (arg, "del"))
-                {
+                if (!strcmp (arg, "update"))
+                    cmd = 'u';
+                else if (!strcmp (arg, "del") || !strcmp(arg, "delete"))
                     cmd = 'd';
-                }
+                else if (!strcmp (arg, "commit"))
+                    commit_at_end = 1;
                 else
                 {
                     logf (LOG_FATAL, "Unknown command: %s", arg);
@@ -94,9 +175,19 @@ int main (int argc, char **argv)
             }
             else
             {
-                unlink ("keys.tmp");
-                key_open (mem_max);
-                repository (cmd, arg, base_path);
+                struct recordGroup rGroup;
+
+                memcpy (&rGroup, &rGroupDef, sizeof(rGroup));
+                if (!key_open_flag)
+                {
+                    key_open (mem_max);
+                    key_open_flag = 1;
+                }
+                rGroup.path = arg;
+                if (cmd == 'u')
+                    repositoryUpdate (&rGroup);
+                else if (cmd == 'd')
+                    repositoryDelete (&rGroup);
                 cmd = 0;
             }
         }
@@ -104,35 +195,42 @@ int main (int argc, char **argv)
         {
             log_init (log_mask_str(arg), prog, NULL);
         }
-        else if (ret == 'r')
-        {
-            base_path = arg;
-        }
         else if (ret == 'm')
         {
             mem_max = 1024*1024*atoi(arg);
         }
+        else if (ret == 'd')
+        {
+            rGroupDef.databaseName = arg;
+        }
+        else if (ret == 'g')
+        {
+            rGroupDef.groupName = arg;
+        }
+        else if (ret == 'c')
+            configName = arg;
+        else if (ret == 't')
+            rGroupDef.recordType = arg;
         else
         {
             logf (LOG_FATAL, "Unknown option '-%s'", arg);
             exit (1);
         }
     }
-    if (!base_name)
+    if (key_open_flag)
     {
-        fprintf (stderr, "index [-v log] [-r repository] "
-                 "base cmd1 dir1 cmd2 dir2 ...\n");
-        exit (1);
+        nsections = key_close ();
+        if (nsections)
+        {
+            logf (LOG_LOG, "Merging with index");
+            key_input (FNAME_WORD_DICT, FNAME_WORD_ISAM, nsections, 60);
+        }
+    }
+    if (commit_at_end)
+    {
+        logf (LOG_LOG, "commiting");
+        bf_commit ();
     }
-    nsections = key_close ();
-    if (!nsections)
-        exit (0);
-    logf (LOG_LOG, "Merge sorting");
-    mbuf = xmalloc (100000);
-    merge_sort (mbuf, 1, nsections+1);
-    xfree (mbuf);
-    logf (LOG_LOG, "Input");
-    key_input (FNAME_WORD_DICT, FNAME_WORD_ISAM, "keys1.tmp", 60);
     exit (0);
 }