The rec_get function returns NULL if record doesn't exist - will
[idzebra-moved-to-github.git] / index / zrpn.c
index 0f385e1..a51d937 100644 (file)
@@ -4,7 +4,38 @@
  * Sebastian Hammer, Adam Dickmeiss
  *
  * $Log: zrpn.c,v $
- * Revision 1.30  1995-10-16 09:32:38  adam
+ * Revision 1.38  1995-12-11 09:12:55  adam
+ * The rec_get function returns NULL if record doesn't exist - will
+ * happen in the server if the result set records have been deleted since
+ * the creation of the set (i.e. the search).
+ * The server saves a result temporarily if it is 'volatile', i.e. the
+ * set is register dependent.
+ *
+ * Revision 1.37  1995/12/06  15:05:28  adam
+ * More verbose in count_set.
+ *
+ * Revision 1.36  1995/12/06  12:41:27  adam
+ * New command 'stat' for the index program.
+ * Filenames can be read from stdin by specifying '-'.
+ * Bug fix/enhancement of the transformation from terms to regular
+ * expressons in the search engine.
+ *
+ * Revision 1.35  1995/11/27  09:29:00  adam
+ * Bug fixes regarding conversion to regular expressions.
+ *
+ * Revision 1.34  1995/11/16  17:00:56  adam
+ * Better logging of rpn query.
+ *
+ * Revision 1.33  1995/11/01  13:58:28  quinn
+ * Moving data1 to yaz/retrieval
+ *
+ * Revision 1.32  1995/10/27  14:00:11  adam
+ * Implemented detection of database availability.
+ *
+ * Revision 1.31  1995/10/17  18:02:10  adam
+ * New feature: databases. Implemented as prefix to words in dictionary.
+ *
+ * Revision 1.30  1995/10/16  09:32:38  adam
  * More work on relational op.
  *
  * Revision 1.29  1995/10/13  16:01:49  adam
 #include <stdio.h>
 #include <assert.h>
 #include <unistd.h>
+#include <ctype.h>
 
 #include "zserver.h"
-#include <attribute.h>
+#include "attribute.h"
 
 #include <rsisam.h>
 #include <rstemp.h>
 #include <rsbool.h>
 #include <rsrel.h>
 
-int index_word_prefix_map (char *string, oid_value attrSet, int attrUse)
+int index_word_prefix_map (char *string, oid_value attrSet, int attrUse,
+                           char *basename)
 {
     attent *attp;
 
@@ -124,46 +157,7 @@ int index_word_prefix_map (char *string, oid_value attrSet, int attrUse)
         return -1;
     logf (LOG_DEBUG, "ord=%d", attp->attset_ordinal);
     return index_word_prefix (string, attp->attset_ordinal,
-                              attp->local_attribute);
-}
-
-/*
- * attr_print: log attributes
- */
-static void attr_print (Z_AttributesPlusTerm *t)
-{
-    int of, i;
-    for (of = 0; of < t->num_attributes; of++)
-    {
-        Z_AttributeElement *element;
-        element = t->attributeList[of];
-
-        switch (element->which) 
-        {
-        case Z_AttributeValue_numeric:
-            logf (LOG_DEBUG, "attributeType=%d value=%d", 
-                  *element->attributeType,
-                  *element->value.numeric);
-            break;
-        case Z_AttributeValue_complex:
-            logf (LOG_DEBUG, "attributeType=%d complex", 
-                  *element->attributeType);
-            for (i = 0; i<element->value.complex->num_list; i++)
-            {
-                if (element->value.complex->list[i]->which ==
-                    Z_StringOrNumeric_string)
-                    logf (LOG_DEBUG, "   string: '%s'",
-                          element->value.complex->list[i]->u.string);
-                else if (element->value.complex->list[i]->which ==
-                         Z_StringOrNumeric_numeric)
-                    logf (LOG_DEBUG, "   numeric: '%d'",
-                          *element->value.complex->list[i]->u.numeric);
-            }
-            break;
-        default:
-            assert (0);
-        }
-    }
+                              attp->local_attribute, basename);
 }
 
 typedef struct {
@@ -504,7 +498,7 @@ static int grep_handle (Dict_char *name, const char *info, void *p)
     return 0;
 }
 
-static void gen_regular_ge (char *dst, int val)
+static void gen_regular_rel (char *dst, int val, int islt)
 {
     int dst_p = 1;
     int w, d, i;
@@ -512,33 +506,55 @@ static void gen_regular_ge (char *dst, int val)
     char numstr[20];
 
     *dst = '(';
-    if (val < 0) 
-        val = 0;
     sprintf (numstr, "%d", val);
     for (w = strlen(numstr); --w >= 0; pos++)
     {
         d = numstr[w];
         if (pos > 0)
         {
-            if (d == '9')
-                continue;
-            d++;
+            if (islt)
+            {
+                if (d == '0')
+                    continue;
+                d--;
+            } 
+            else
+            {
+                if (d == '9')
+                    continue;
+                d++;
+            }
         }
         
         strcpy (dst + dst_p, numstr);
         dst_p = strlen(dst) - pos - 1;
 
-        if (d <= '8')
-        { 
-            dst[dst_p++] = '[';
-            dst[dst_p++] = d;
-            dst[dst_p++] = '-';
-            dst[dst_p++] = '9';
-            dst[dst_p++] = ']';
+        if (islt)
+        {
+            if (d != '0')
+            {
+                dst[dst_p++] = '[';
+                dst[dst_p++] = '0';
+                dst[dst_p++] = '-';
+                dst[dst_p++] = d;
+                dst[dst_p++] = ']';
+            }
+            else
+                dst[dst_p++] = d;
         }
         else
-            dst[dst_p++] = d;
-
+        {
+            if (d != '9')
+            { 
+                dst[dst_p++] = '[';
+                dst[dst_p++] = d;
+                dst[dst_p++] = '-';
+                dst[dst_p++] = '9';
+                dst[dst_p++] = ']';
+            }
+            else
+                dst[dst_p++] = d;
+        }
         for (i = 0; i<pos; i++)
         {
             dst[dst_p++] = '[';
@@ -550,24 +566,92 @@ static void gen_regular_ge (char *dst, int val)
         dst[dst_p++] = '|';
     }
     dst[dst_p] = '\0';
-    for (i = 0; i <= pos; i++)
-        strcat (dst, "[0-9]");
-    strcat (dst, "[0-9]*)");
+    if (islt)
+    {
+        for (i=1; i<pos; i++)
+            strcat (dst, "[0-9]?");
+    }
+    else
+    {
+        for (i = 0; i <= pos; i++)
+            strcat (dst, "[0-9]");
+        strcat (dst, "[0-9]*");
+    }
+    strcat (dst, ")");
+}
+
+static int relational_term (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
+                            const char *term_sub,
+                            char *term_dict,
+                            oid_value attributeSet,
+                            struct grep_info *grep_info,
+                            int *max_pos)
+{
+    AttrType relation;
+    int relation_value;
+    int term_value;
+    int r;
+
+    attr_init (&relation, zapt, 2);
+    relation_value = attr_find (&relation, NULL);
+    term_value = atoi (term_sub);
+
+    switch (relation_value)
+    {
+    case 1:
+        if (term_value <= 0)
+            return 1;
+        logf (LOG_DEBUG, "Relation <");
+        gen_regular_rel (term_dict + strlen(term_dict), term_value-1, 1);
+        break;
+    case 2:
+        if (term_value < 0)
+            return 1;
+        logf (LOG_DEBUG, "Relation <=");
+        gen_regular_rel (term_dict + strlen(term_dict), term_value, 1);
+        break;
+    case 4:
+        if (term_value < 0)
+            term_value = 0;
+        logf (LOG_DEBUG, "Relation >=");
+        gen_regular_rel (term_dict + strlen(term_dict), term_value, 0);
+        break;
+    case 5:
+        if (term_value < 0)
+            term_value = 0;
+        logf (LOG_DEBUG, "Relation >");
+        gen_regular_rel (term_dict + strlen(term_dict), term_value+1, 0);
+        break;
+    default:
+        return 0;
+    }
+    logf (LOG_DEBUG, "dict_lookup_grep: %s", term_dict);
+    r = dict_lookup_grep (zi->wordDict, term_dict, 0, grep_info, max_pos,
+                          grep_handle);
+    if (r)
+        logf (LOG_WARN, "dict_lookup_grep fail, rel=gt: %d", r);
+    logf (LOG_DEBUG, "%d positions", grep_info->isam_p_indx);
+    return 1;
+}
+
+static void verbatim_char (int ch, int *indx, char *dst)
+{
+    if (!isalnum (ch))
+        dst[(*indx)++] = '\\';
+    dst[(*indx)++] = ch;
 }
 
 static int trunc_term (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
                        const char *term_sub,
-                       oid_value attributeSet, struct grep_info *grep_info)
+                       oid_value attributeSet, struct grep_info *grep_info,
+                       int num_bases, char **basenames)
 {
-    char term_dict[10*IT_MAX_WORD+2];
-    int i, j, r;
-    const char *info;    
+    char term_dict[2*IT_MAX_WORD+2];
+    int i, j, r, base_no;
     AttrType truncation;
     int truncation_value;
     AttrType use;
     int use_value;
-    AttrType relation;
-    int relation_value;
     oid_value curAttributeSet = attributeSet;
 
     attr_init (&use, zapt, 1);
@@ -577,87 +661,86 @@ static int trunc_term (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
     truncation_value = attr_find (&truncation, NULL);
     logf (LOG_DEBUG, "truncation value %d", truncation_value);
 
-    attr_init (&relation, zapt, 2);
-    relation_value = attr_find (&relation, NULL);
-
     if (use_value == -1)
         use_value = 1016;
-    i = index_word_prefix_map (term_dict, curAttributeSet, use_value);
-    if (i < 0)
-    {
-        zi->errCode = 114;
-        return -1;
-    }
-    switch (relation_value)
-    {
-    case 1:
-    case 2:
-        break;
-    case 4:
-        logf (LOG_LOG, "Relation ge");
-        gen_regular_ge (term_dict + strlen(term_dict), atoi(term_sub));
-        logf (LOG_LOG, "dict_lookup_grep: %s", term_dict);
-        r = dict_lookup_grep (zi->wordDict, term_dict, 0, grep_info, 
-                              grep_handle);
-        if (r)
-            logf (LOG_WARN, "dict_lookup_grep fail, rel=ge: %d", r);
-        logf (LOG_LOG, "%d positions", grep_info->isam_p_indx);
-        return 0;
-    case 5:
-        logf (LOG_LOG, "Relation gt");
-        gen_regular_ge (term_dict + strlen(term_dict), atoi(term_sub)+1);
-        logf (LOG_LOG, "dict_lookup_grep: %s", term_dict);
-        r = dict_lookup_grep (zi->wordDict, term_dict, 0, grep_info, 
-                              grep_handle);
-        if (r)
-            logf (LOG_WARN, "dict_lookup_grep fail, rel=gt: %d", r);
-        logf (LOG_LOG, "%d positions", grep_info->isam_p_indx);
-        return 0;
-    }
-    switch (truncation_value)
+
+    for (base_no = 0; base_no < num_bases; base_no++)
     {
-    case -1:         /* not specified */
-    case 100:        /* do not truncate */
-        strcat (term_dict, term_sub);
-        logf (LOG_DEBUG, "dict_lookup: %s", term_dict);
-        if ((info = dict_lookup (zi->wordDict, term_dict)))
-            add_isam_p (info, grep_info);
-        break;
-    case 1:          /* right truncation */
-        strcat (term_dict, term_sub);
-        strcat (term_dict, ".*");
-        dict_lookup_grep (zi->wordDict, term_dict, 0, grep_info, grep_handle);
-        break;
-    case 2:          /* left truncation */
-    case 3:          /* left&right truncation */
-        zi->errCode = 120;
-        return -1;
-    case 101:        /* process # in term */
-        for (j = strlen(term_dict), i = 0; term_sub[i] && i < 2; i++)
-            term_dict[j++] = term_sub[i];
-        for (; term_sub[i]; i++)
-            if (term_sub[i] == '#')
+        int max_pos;
+        int prefix_len = index_word_prefix_map (term_dict, curAttributeSet,
+                                                use_value,
+                                                basenames[base_no]);
+        if (prefix_len < 0)
+        {
+            zi->errCode = 114;
+            return -1;
+        }
+        if (!relational_term (zi, zapt, term_sub, term_dict,
+                              attributeSet, grep_info, &max_pos))
+        {
+            switch (truncation_value)
             {
-                term_dict[j++] = '.';
-                term_dict[j++] = '*';
+            case -1:         /* not specified */
+            case 100:        /* do not truncate */
+                j = strlen(term_dict);
+                term_dict[j++] = '(';
+                for (i = 0; term_sub[i]; i++)
+                    verbatim_char (term_sub[i], &j, term_dict);
+                strcpy (term_dict+j, ")");
+                r = dict_lookup_grep (zi->wordDict, term_dict, 0, grep_info,
+                                      &max_pos, grep_handle);
+                if (r)
+                    logf (LOG_WARN, "dict_lookup_grep err, trunc=none:%d", r);
+                break;
+            case 1:          /* right truncation */
+                j = strlen(term_dict);
+                term_dict[j++] = '(';
+                for (i = 0; term_sub[i]; i++)
+                    verbatim_char (term_sub[i], &j, term_dict);
+                strcpy (term_dict+j, ".*)");
+                dict_lookup_grep (zi->wordDict, term_dict, 0, grep_info,
+                                  &max_pos, grep_handle);
+                break;
+            case 2:          /* left truncation */
+            case 3:          /* left&right truncation */
+                zi->errCode = 120;
+                return -1;
+            case 101:        /* process # in term */
+                j = strlen(term_dict);
+                term_dict[j++] = '(';
+                for (i=0; term_sub[i]; i++)
+                    if (term_sub[i] == '#' && i > 2)
+                    {
+                        term_dict[j++] = '.';
+                        term_dict[j++] = '*';
+                    }
+                    else
+                        verbatim_char (term_sub[i], &j, term_dict);
+                strcpy (term_dict+j, ")");
+                r = dict_lookup_grep (zi->wordDict, term_dict, 0, grep_info,
+                                      &max_pos, grep_handle);
+                if (r)
+                    logf (LOG_WARN, "dict_lookup_grep err, trunc=#: %d",
+                          r);
+                break;
+            case 102:        /* regular expression */
+               sprintf (term_dict + strlen(term_dict), "(%s)", term_sub);
+                r = dict_lookup_grep (zi->wordDict, term_dict, 0, grep_info,
+                                      &max_pos, grep_handle);
+                if (r)
+                    logf (LOG_WARN, "dict_lookup_grep err, trunc=regular: %d",
+                          r);
+                break;
             }
-            else
-                term_dict[j++] = term_sub[i];
-        term_dict[j] = '\0';
-        dict_lookup_grep (zi->wordDict, term_dict, 0, grep_info, grep_handle);
-        break;
-    case 102:        /* regular expression */
-        strcat (term_dict, "(");
-        strcat (term_dict, term_sub);
-        strcat (term_dict, ")");
-        logf (LOG_LOG, "dict_lookup_grep: %s", term_dict);
-        r = dict_lookup_grep (zi->wordDict, term_dict, 0, grep_info,
-                              grep_handle);
-        if (r)
-            logf (LOG_WARN, "dict_lookup_grep fail, truncation=regular: %d", r);
-        break;
+        }
+        if (max_pos <= strlen(basenames[base_no]))
+        {
+            zi->errCode = 109; /* Database unavailable */
+            zi->errString = basenames[base_no];
+            return -1;
+        }
     }
-    logf (LOG_LOG, "%d positions", grep_info->isam_p_indx);
+    logf (LOG_DEBUG, "%d positions", grep_info->isam_p_indx);
     return 0;
 }
 
@@ -677,7 +760,8 @@ static void trans_term (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
 
 static RSET rpn_search_APT_relevance (ZServerInfo *zi, 
                                       Z_AttributesPlusTerm *zapt,
-                                      oid_value attributeSet)
+                                      oid_value attributeSet,
+                                      int num_bases, char **basenames)
 {
     rset_relevance_parms parms;
     char termz[IT_MAX_WORD+1];
@@ -709,7 +793,8 @@ static RSET rpn_search_APT_relevance (ZServerInfo *zi,
         }
         else
             strcpy (term_sub, p0);
-        if (trunc_term (zi, zapt, term_sub, attributeSet, &grep_info))
+        if (trunc_term (zi, zapt, term_sub, attributeSet, &grep_info,
+                        num_bases, basenames))
             return NULL;
         if (!p1)
             break;
@@ -729,7 +814,8 @@ static RSET rpn_search_APT_relevance (ZServerInfo *zi,
 
 static RSET rpn_search_APT_word (ZServerInfo *zi,
                                  Z_AttributesPlusTerm *zapt,
-                                 oid_value attributeSet)
+                                 oid_value attributeSet,
+                                 int num_bases, char **basenames)
 {
     rset_isam_parms parms;
     char termz[IT_MAX_WORD+1];
@@ -747,7 +833,8 @@ static RSET rpn_search_APT_word (ZServerInfo *zi,
     grep_info.isam_p_size = 0;
     grep_info.isam_p_buf = NULL;
 
-    if (trunc_term (zi, zapt, termz, attributeSet, &grep_info))
+    if (trunc_term (zi, zapt, termz, attributeSet, &grep_info,
+                    num_bases, basenames))
         return NULL;
     if (grep_info.isam_p_indx < 1)
         result = rset_create (rset_kind_null, NULL);
@@ -852,7 +939,8 @@ static RSET rpn_prox (RSET *rset, int rset_no)
 
 static RSET rpn_search_APT_phrase (ZServerInfo *zi,
                                    Z_AttributesPlusTerm *zapt,
-                                   oid_value attributeSet)
+                                   oid_value attributeSet,
+                                   int num_bases, char **basenames)
 {
     char termz[IT_MAX_WORD+1];
     char term_sub[IT_MAX_WORD+1];
@@ -882,7 +970,8 @@ static RSET rpn_search_APT_phrase (ZServerInfo *zi,
             strcpy (term_sub, p0);
 
         grep_info.isam_p_indx = 0;
-        if (trunc_term (zi, zapt, term_sub, attributeSet, &grep_info))
+        if (trunc_term (zi, zapt, term_sub, attributeSet, &grep_info,
+                        num_bases, basenames))
             return NULL;
         if (grep_info.isam_p_indx == 0)
             rset[rset_no] = rset_create (rset_kind_null, NULL);
@@ -947,7 +1036,8 @@ static RSET rpn_search_APT_local (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
 }
 
 static RSET rpn_search_APT (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
-                            oid_value attributeSet)
+                            oid_value attributeSet,
+                            int num_bases, char **basenames)
 {
     AttrType relation;
     AttrType structure;
@@ -962,17 +1052,23 @@ static RSET rpn_search_APT (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
     {
     case -1:
         if (relation_value == 102) /* relevance relation */
-            return rpn_search_APT_relevance (zi, zapt, attributeSet);
-        return rpn_search_APT_phrase (zi, zapt, attributeSet);
+            return rpn_search_APT_relevance (zi, zapt, attributeSet,
+                                             num_bases, basenames);
+        return rpn_search_APT_phrase (zi, zapt, attributeSet,
+                                      num_bases, basenames);
     case 1: /* phrase */
         if (relation_value == 102) /* relevance relation */
-            return rpn_search_APT_relevance (zi, zapt, attributeSet);
-        return rpn_search_APT_phrase (zi, zapt, attributeSet);
+            return rpn_search_APT_relevance (zi, zapt, attributeSet,
+                                             num_bases, basenames);
+        return rpn_search_APT_phrase (zi, zapt, attributeSet,
+                                      num_bases, basenames);
         break;
     case 2: /* word */
         if (relation_value == 102) /* relevance relation */
-            return rpn_search_APT_relevance (zi, zapt, attributeSet);
-        return rpn_search_APT_word (zi, zapt, attributeSet);
+            return rpn_search_APT_relevance (zi, zapt, attributeSet,
+                                             num_bases, basenames);
+        return rpn_search_APT_word (zi, zapt, attributeSet,
+                                    num_bases, basenames);
     case 3: /* key */
         break;
     case 4: /* year */
@@ -980,7 +1076,8 @@ static RSET rpn_search_APT (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
     case 5: /* date - normalized */
         break;
     case 6: /* word list */
-        return rpn_search_APT_relevance (zi, zapt, attributeSet);
+        return rpn_search_APT_relevance (zi, zapt, attributeSet,
+                                         num_bases, basenames);
     case 100: /* date - un-normalized */
         break;
     case 101: /* name - normalized */
@@ -992,13 +1089,16 @@ static RSET rpn_search_APT (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
     case 104: /* urx */
         break;
     case 105: /* free-form-text */
-        return rpn_search_APT_relevance (zi, zapt, attributeSet);
+        return rpn_search_APT_relevance (zi, zapt, attributeSet,
+                                         num_bases, basenames);
     case 106: /* document-text */
-        return rpn_search_APT_relevance (zi, zapt, attributeSet);
+        return rpn_search_APT_relevance (zi, zapt, attributeSet,
+                                         num_bases, basenames);
     case 107: /* local-number */
         return rpn_search_APT_local (zi, zapt, attributeSet);
     case 108: /* string */ 
-        return rpn_search_APT_word (zi, zapt, attributeSet);
+        return rpn_search_APT_word (zi, zapt, attributeSet,
+                                    num_bases, basenames);
     case 109: /* numeric string */
         break;
     }
@@ -1016,37 +1116,45 @@ static RSET rpn_search_ref (ZServerInfo *zi, Z_ResultSetId *resultSetId)
 }
 
 static RSET rpn_search_structure (ZServerInfo *zi, Z_RPNStructure *zs,
-                                  oid_value attributeSet)
+                                  oid_value attributeSet,
+                                  int num_bases, char **basenames)
 {
     RSET r = NULL;
     if (zs->which == Z_RPNStructure_complex)
     {
         rset_bool_parms bool_parms;
+        int soft = 0;
 
         bool_parms.rset_l = rpn_search_structure (zi, zs->u.complex->s1,
-                                                  attributeSet);
+                                                  attributeSet,
+                                                  num_bases, basenames);
         if (bool_parms.rset_l == NULL)
             return NULL;
+        if (rset_is_ranked(bool_parms.rset_l))
+            soft = 1;
         bool_parms.rset_r = rpn_search_structure (zi, zs->u.complex->s2,
-                                                  attributeSet);
+                                                  attributeSet,
+                                                  num_bases, basenames);
         if (bool_parms.rset_r == NULL)
         {
             rset_delete (bool_parms.rset_l);
             return NULL;
         }
+        if (rset_is_ranked(bool_parms.rset_r))
+            soft = 1;
         bool_parms.key_size = sizeof(struct it_key);
         bool_parms.cmp = key_compare;
 
         switch (zs->u.complex->operator->which)
         {
         case Z_Operator_and:
-            r = rset_create (rset_kind_and, &bool_parms);
+            r = rset_create (soft ? rset_kind_sand:rset_kind_and, &bool_parms);
             break;
         case Z_Operator_or:
-            r = rset_create (rset_kind_or, &bool_parms);
+            r = rset_create (soft ? rset_kind_sor:rset_kind_or, &bool_parms);
             break;
         case Z_Operator_and_not:
-            r = rset_create (rset_kind_not, &bool_parms);
+            r = rset_create (soft ? rset_kind_snot:rset_kind_not, &bool_parms);
             break;
         default:
             assert (0);
@@ -1058,7 +1166,7 @@ static RSET rpn_search_structure (ZServerInfo *zi, Z_RPNStructure *zs,
         {
             logf (LOG_DEBUG, "rpn_search_APT");
             r = rpn_search_APT (zi, zs->u.simple->u.attributesPlusTerm,
-                                attributeSet);
+                                attributeSet, num_bases, basenames);
         }
         else if (zs->u.simple->which == Z_Operand_resultSetId)
         {
@@ -1077,13 +1185,46 @@ static RSET rpn_search_structure (ZServerInfo *zi, Z_RPNStructure *zs,
     return r;
 }
 
+void count_set_save (RSET *r, int *count)
+{
+    int psysno = 0;
+    int kno = 0;
+    struct it_key key;
+    RSFD rfd, wfd;
+    RSET w;
+    rset_temp_parms parms;
+
+    logf (LOG_DEBUG, "count_set_save");
+    *count = 0;
+    parms.key_size = sizeof(struct it_key);
+    w = rset_create (rset_kind_temp, &parms);
+    wfd = rset_open (w, RSETF_WRITE|RSETF_SORT_SYSNO);
+    rfd = rset_open (*r, RSETF_READ|RSETF_SORT_SYSNO);
+    while (rset_read (*r, rfd, &key))
+    {
+        if (key.sysno != psysno)
+        {
+            rset_write (w, wfd, &key);
+            psysno = key.sysno;
+            (*count)++;
+        }
+        kno++;
+    }
+    rset_close (*r, rfd);
+    rset_delete (*r);
+    rset_close (w, wfd);
+    *r = w;
+    logf (LOG_DEBUG, "%d keys, %d distinct sysnos", kno, *count);
+}
+
 static void count_set (RSET r, int *count)
 {
     int psysno = 0;
+    int kno = 0;
     struct it_key key;
     RSFD rfd;
 
-    logf (LOG_DEBUG, "rpn_save_set");
+    logf (LOG_DEBUG, "count_set");
     *count = 0;
     rfd = rset_open (r, RSETF_READ|RSETF_SORT_SYSNO);
     while (rset_read (r, rfd, &key))
@@ -1093,9 +1234,10 @@ static void count_set (RSET r, int *count)
             psysno = key.sysno;
             (*count)++;
         }
+        kno++;
     }
     rset_close (r, rfd);
-    logf (LOG_DEBUG, "%d distinct sysnos", *count);
+    logf (LOG_DEBUG, "%d keys, %d distinct sysnos", kno, *count);
 }
 
 int rpn_search (ZServerInfo *zi,
@@ -1106,16 +1248,21 @@ int rpn_search (ZServerInfo *zi,
     oident *attrset;
     oid_value attributeSet;
 
+    zlog_rpn (rpn);
+
     zi->errCode = 0;
     zi->errString = NULL;
-    
+
     attrset = oid_getentbyoid (rpn->attributeSetId);
     attributeSet = attrset->value;
-
-    rset = rpn_search_structure (zi, rpn->RPNStructure, attributeSet);
+    rset = rpn_search_structure (zi, rpn->RPNStructure, attributeSet,
+                                 num_bases, basenames);
     if (!rset)
         return zi->errCode;
-    count_set (rset, hits);
+    if (rset_is_volatile(rset))
+        count_set_save(&rset,hits);
+    else
+        count_set (rset, hits);
     resultSetAdd (zi, setname, 1, rset);
     if (zi->errCode)
         logf (LOG_DEBUG, "search error: %d", zi->errCode);
@@ -1165,11 +1312,18 @@ static int scan_handle (Dict_char *name, const char *info, int pos,
     return 0;
 }
 
-int rpn_scan (ZServerInfo *zi, ODR odr, Z_AttributesPlusTerm *zapt,
+
+static int dummy_handle (Dict_char *name, const char *info, void *p)
+{
+    return 0;
+}
+
+int rpn_scan (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
+              int num_bases, char **basenames,
               int *position, int *num_entries, struct scan_entry **list,
               int *status)
 {
-    int i, j, sizez;
+    int i, j, sizez, max_pos;
     int pos = *position;
     int num = *num_entries;
     int before;
@@ -1181,14 +1335,18 @@ int rpn_scan (ZServerInfo *zi, ODR odr, Z_AttributesPlusTerm *zapt,
     struct scan_info scan_info;
 
     logf (LOG_DEBUG, "scan, position = %d, num = %d", pos, num);
+
+    if (num_bases != 1)
+        return 111;
     scan_info.before = before = pos-1;
     scan_info.after = after = 1+num-pos;
-    scan_info.odr = odr;
+    scan_info.odr = zi->odr;
 
     logf (LOG_DEBUG, "scan, before = %d, after = %d", before, after);
     
     scan_info.isam = zi->wordIsam;
-    scan_info.list = odr_malloc (odr, (before+after)*sizeof(*scan_info.list));
+    scan_info.list = odr_malloc (zi->odr, (before+after)*
+                                 sizeof(*scan_info.list));
     for (j = 0; j<before+after; j++)
         scan_info.list[j].term = NULL;
     attr_init (&use, zapt, 1);
@@ -1197,7 +1355,15 @@ int rpn_scan (ZServerInfo *zi, ODR odr, Z_AttributesPlusTerm *zapt,
 
     if (use_value == -1)
         use_value = 1016;
-    i = index_word_prefix (termz, 1, use_value);
+    i = index_word_prefix (termz, 1, use_value, *basenames);
+
+    dict_lookup_grep (zi->wordDict, termz, 0, NULL, &max_pos,
+                      dummy_handle);
+    if (max_pos <= strlen(*basenames))
+    {
+        zi->errString = *basenames;
+        return zi->errCode = 109; /* Database unavailable */
+    }
     strcpy (scan_info.prefix, termz);
     sizez = term->u.general->len;
     if (sizez > IT_MAX_WORD)