Work on relations.
[idzebra-moved-to-github.git] / index / zrpn.c
index fb9d9ea..fb9ad2e 100644 (file)
@@ -4,7 +4,25 @@
  * Sebastian Hammer, Adam Dickmeiss
  *
  * $Log: zrpn.c,v $
- * Revision 1.23  1995-10-06 16:33:37  adam
+ * Revision 1.29  1995-10-13 16:01:49  adam
+ * Work on relations.
+ *
+ * Revision 1.28  1995/10/13  12:26:43  adam
+ * Optimization of truncation.
+ *
+ * Revision 1.27  1995/10/12  17:07:22  adam
+ * Truncation works.
+ *
+ * Revision 1.26  1995/10/12  12:40:54  adam
+ * Bug fixes in rpn_prox.
+ *
+ * Revision 1.25  1995/10/10  13:59:24  adam
+ * Function rset_open changed its wflag parameter to general flags.
+ *
+ * Revision 1.24  1995/10/09  16:18:37  adam
+ * Function dict_lookup_grep got extra client data parameter.
+ *
+ * Revision 1.23  1995/10/06  16:33:37  adam
  * Use attribute mappings.
  *
  * Revision 1.22  1995/10/06  15:07:39  adam
@@ -97,10 +115,10 @@ int index_word_prefix_map (char *string, oid_value attrSet, int attrUse)
 {
     attent *attp;
 
-    logf (LOG_DEBUG, "oid_value attrSet = %d", attrSet);
-    logf (LOG_DEBUG, "int attrUse = %d", attrUse);
+    logf (LOG_DEBUG, "oid_value attrSet = %d, attrUse = %d", attrSet, attrUse);
     attp = att_getentbyatt (attrSet, attrUse);
-    assert (attp);
+    if (!attp)
+        return -1;
     logf (LOG_DEBUG, "ord=%d", attp->attset_ordinal);
     return index_word_prefix (string, attp->attset_ordinal,
                               attp->local_attribute);
@@ -207,6 +225,7 @@ static void attr_init (AttrType *src, Z_AttributesPlusTerm *zapt,
 }
 
 struct trunc_info {
+    int  *ptr;
     int  *indx;
     char **heap;
     int  heapnum;
@@ -221,27 +240,23 @@ static void heap_swap (struct trunc_info *ti, int i1, int i2)
 {
     int swap;
 
-    memcpy (ti->swapbuf, ti->heap[i1], ti->keysize);
-    memcpy (ti->heap[i1], ti->heap[i2], ti->keysize);
-    memcpy (ti->heap[i2], ti->swapbuf, ti->keysize);
-
-    swap = ti->indx[i1];
-    ti->indx[i1] = ti->indx[i2];
-    ti->indx[i2] = swap;
+    swap = ti->ptr[i1];
+    ti->ptr[i1] = ti->ptr[i2];
+    ti->ptr[i2] = swap;
 }
 
 static void heap_delete (struct trunc_info *ti)
 {
     int cur = 1, child = 2;
 
-    assert (ti->heapnum > 0);
-    memcpy (ti->heap[1], ti->heap[ti->heapnum], ti->keysize);
-    ti->indx[1] = ti->indx[ti->heapnum--];
+    heap_swap (ti, 1, ti->heapnum--);
     while (child <= ti->heapnum) {
         if (child < ti->heapnum &&
-            (*ti->cmp)(ti->heap[child], ti->heap[1+child]) > 0)
+            (*ti->cmp)(ti->heap[ti->ptr[child]],
+                       ti->heap[ti->ptr[1+child]]) > 0)
             child++;
-        if ((*ti->cmp)(ti->heap[cur], ti->heap[child]) > 0)
+        if ((*ti->cmp)(ti->heap[ti->ptr[cur]],
+                       ti->heap[ti->ptr[child]]) > 0)
         {
             heap_swap (ti, cur, child);
             cur = child;
@@ -257,10 +272,11 @@ static void heap_insert (struct trunc_info *ti, const char *buf, int indx)
     int cur, parent;
 
     cur = ++(ti->heapnum);
-    memcpy (ti->heap[cur], buf, ti->keysize);
-    ti->indx[cur] = indx;
+    memcpy (ti->heap[ti->ptr[cur]], buf, ti->keysize);
+    ti->indx[ti->ptr[cur]] = indx;
     parent = cur/2;
-    while (parent && (*ti->cmp)(ti->heap[parent], ti->heap[cur]) > 0)
+    while (parent && (*ti->cmp)(ti->heap[ti->ptr[parent]],
+                                ti->heap[ti->ptr[cur]]) > 0)
     {
         heap_swap (ti, cur, parent);
         cur = parent;
@@ -281,16 +297,21 @@ struct trunc_info *heap_init (int size, int key_size,
     ti->cmp = cmp;
     ti->indx = xmalloc (size * sizeof(*ti->indx));
     ti->heap = xmalloc (size * sizeof(*ti->heap));
+    ti->ptr = xmalloc (size * sizeof(*ti->ptr));
     ti->swapbuf = xmalloc (ti->keysize);
     ti->tmpbuf = xmalloc (ti->keysize);
     ti->buf = xmalloc (size * ti->keysize);
     for (i = size; --i >= 0; )
+    {
+        ti->ptr[i] = i;
         ti->heap[i] = ti->buf + ti->keysize * i;
+    }
     return ti;
 }
 
 static void heap_close (struct trunc_info *ti)
 {
+    xfree (ti->ptr);
     xfree (ti->indx);
     xfree (ti->heap);
     xfree (ti->swapbuf);
@@ -298,27 +319,85 @@ static void heap_close (struct trunc_info *ti)
     xfree (ti);
 }
 
-static RSET rset_trunc (ISAM isam, ISAM_P *isam_p, int from, int to,
-                        int merge_chunk)
+static RSET rset_trunc_r (ISAM isam, ISAM_P *isam_p, int from, int to,
+                         int merge_chunk)
 {
-    logf (LOG_DEBUG, "rset_trunc, range=%d-%d", from, to-1);
+    RSET result; 
+    RSFD result_rsfd;
+    rset_temp_parms parms;
+
+    parms.key_size = sizeof(struct it_key);
+    result = rset_create (rset_kind_temp, &parms);
+    result_rsfd = rset_open (result, RSETF_WRITE|RSETF_SORT_SYSNO);
+
     if (to - from > merge_chunk)
     {
-        return NULL;
+        RSFD *rsfd;
+        RSET *rset;
+        int i, i_add = (to-from)/merge_chunk + 1;
+        struct trunc_info *ti;
+        int rscur = 0;
+        int rsmax = (to-from)/i_add + 1;
+        
+        rset = xmalloc (sizeof(*rset) * rsmax);
+        rsfd = xmalloc (sizeof(*rsfd) * rsmax);
+        
+        for (i = from; i < to; i += i_add)
+        {
+            if (i_add <= to - i)
+                rset[rscur] = rset_trunc_r (isam, isam_p, i, i+i_add,
+                                            merge_chunk);
+            else
+                rset[rscur] = rset_trunc_r (isam, isam_p, i, to,
+                                            merge_chunk);
+            rscur++;
+        }
+        ti = heap_init (rscur, sizeof(struct it_key), key_compare);
+        for (i = rscur; --i >= 0; )
+        {
+            rsfd[i] = rset_open (rset[i], RSETF_READ|RSETF_SORT_SYSNO);
+            if (rset_read (rset[i], rsfd[i], ti->tmpbuf))
+                heap_insert (ti, ti->tmpbuf, i);
+            else
+            {
+                rset_close (rset[i], rsfd[i]);
+                rset_delete (rset[i]);
+            }
+        }
+        while (ti->heapnum)
+        {
+            int n = ti->indx[ti->ptr[1]];
+
+            rset_write (result, result_rsfd, ti->heap[ti->ptr[1]]);
+
+            while (1)
+            {
+                if (!rset_read (rset[n], rsfd[n], ti->tmpbuf))
+                {
+                    heap_delete (ti);
+                    rset_close (rset[n], rsfd[n]);
+                    rset_delete (rset[n]);
+                    break;
+                }
+                if ((*ti->cmp)(ti->tmpbuf, ti->heap[ti->ptr[1]]) > 1)
+                {
+                    heap_delete (ti);
+                    heap_insert (ti, ti->tmpbuf, n);
+                    break;
+                }
+            }
+        }
+        xfree (rset);
+        xfree (rsfd);
+        heap_close (ti);
     }
     else
     {
         ISPT *ispt;
         int i;
         struct trunc_info *ti;
-        RSET result;
-        RSFD rsfd;
-        rset_temp_parms parms;
 
         ispt = xmalloc (sizeof(*ispt) * (to-from));
-        parms.key_size = sizeof (struct it_key);
-        result = rset_create (rset_kind_temp, &parms);
-        rsfd = rset_open (result, 1);
 
         ti = heap_init (to-from, sizeof(struct it_key),
                         key_compare);
@@ -327,69 +406,153 @@ static RSET rset_trunc (ISAM isam, ISAM_P *isam_p, int from, int to,
             ispt[i] = is_position (isam, isam_p[from+i]);
             if (is_readkey (ispt[i], ti->tmpbuf))
                 heap_insert (ti, ti->tmpbuf, i);
+            else
+                is_pt_free (ispt[i]);
         }
         while (ti->heapnum)
         {
-            int n = ti->indx[1];
+            int n = ti->indx[ti->ptr[1]];
 
-            rset_write (result, rsfd, ti->heap[1]);
+            rset_write (result, result_rsfd, ti->heap[ti->ptr[1]]);
+#if 0
             heap_delete (ti);
             if (is_readkey (ispt[n], ti->tmpbuf))
                 heap_insert (ti, ti->tmpbuf, n);
+            else
+                is_pt_free (ispt[n]);
+#else
+            while (1)
+            {
+                if (!is_readkey (ispt[n], ti->tmpbuf))
+                {
+                    heap_delete (ti);
+                    is_pt_free (ispt[n]);
+                    break;
+                }
+                if ((*ti->cmp)(ti->tmpbuf, ti->heap[ti->ptr[1]]) > 1)
+                {
+                    heap_delete (ti);
+                    heap_insert (ti, ti->tmpbuf, n);
+                    break;
+                }
+            }
+#endif
         }
-        for (i = to-from; --i >= 0; )
-            is_pt_free (ispt[i]);
-        rset_close (result, rsfd);
         heap_close (ti);
         xfree (ispt);
-        return result;
     }
+    rset_close (result, result_rsfd);
+    return result;
 }
 
-static ISAM_P *isam_p_buf = NULL;
-static int isam_p_size = 0;
-static int isam_p_indx;
+static int isam_trunc_cmp (const void *p1, const void *p2)
+{
+    ISAM_P i1 = *(ISAM_P*) p1;
+    ISAM_P i2 = *(ISAM_P*) p2;
+    int d;
+
+    d = is_type (i1) - is_type (i2);
+    if (d)
+        return d;
+    return is_block (i1) - is_block (i2);
+}
 
-static void add_isam_p (const char *info)
+static RSET rset_trunc (ISAM isam, ISAM_P *isam_p, int no)
 {
-    if (isam_p_indx == isam_p_size)
+
+    qsort (isam_p, no, sizeof(*isam_p), isam_trunc_cmp);
+    return rset_trunc_r (isam, isam_p, 0, no, 100);
+}
+
+struct grep_info {
+    ISAM_P *isam_p_buf;
+    int isam_p_size;
+    int isam_p_indx;
+};
+
+static void add_isam_p (const char *info, struct grep_info *p)
+{
+    if (p->isam_p_indx == p->isam_p_size)
     {
         ISAM_P *new_isam_p_buf;
         
-        isam_p_size = 2*isam_p_size + 100;
+        p->isam_p_size = 2*p->isam_p_size + 100;
         new_isam_p_buf = xmalloc (sizeof(*new_isam_p_buf) *
-                                  isam_p_size);
-        if (isam_p_buf)
+                                  p->isam_p_size);
+        if (p->isam_p_buf)
         {
-            memcpy (new_isam_p_buf, isam_p_buf,
-                    isam_p_indx * sizeof(*isam_p_buf));
-            xfree (isam_p_buf);
+            memcpy (new_isam_p_buf, p->isam_p_buf,
+                    p->isam_p_indx * sizeof(*p->isam_p_buf));
+            xfree (p->isam_p_buf);
         }
-        isam_p_buf = new_isam_p_buf;
+        p->isam_p_buf = new_isam_p_buf;
     }
-    assert (*info == sizeof(*isam_p_buf));
-    memcpy (isam_p_buf + isam_p_indx, info+1, sizeof(*isam_p_buf));
-    isam_p_indx++;
+    assert (*info == sizeof(*p->isam_p_buf));
+    memcpy (p->isam_p_buf + p->isam_p_indx, info+1, sizeof(*p->isam_p_buf));
+    (p->isam_p_indx)++;
 }
 
-static int grep_handle (Dict_char *name, const char *info)
+static int grep_handle (Dict_char *name, const char *info, void *p)
 {
     logf (LOG_DEBUG, "dict name: %s", name);
-    add_isam_p (info);
+    add_isam_p (info, p);
     return 0;
 }
 
+static void gen_regular_ge (char *dst, int val)
+{
+    int dst_p = 0;
+    int w = 1;
+    int d;
+    int pos = 0;
+    int i;
+
+    if (val < 0) 
+        val = 0;
+    while ((d=(val % (w*10))/w))
+    {
+        sprintf (dst + dst_p, "%d", val);
+
+        dst_p = strlen(dst) - pos - 1;
+
+        dst[dst_p++] = '[';
+        dst[dst_p++] = d +'1';
+        dst[dst_p++] = '-';
+        dst[dst_p++] = '9';
+        dst[dst_p++] = ']';
+
+        for (i = 0; i<pos; i++)
+        {
+            dst[dst_p++] = '[';
+            dst[dst_p++] = '0';
+            dst[dst_p++] = '-';
+            dst[dst_p++] = '9';
+            dst[dst_p++] = ']';
+        }
+        dst[dst_p++] = '|';
+
+        w = w * 10;
+        pos++;
+    }
+    dst[dst_p] = '\0';
+    for (i = 0; i<pos; i++)
+        strcat (dst, "[0-9]");
+    strcat (dst, "[0-9]*");
+}
+
 static int trunc_term (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
-                       const char *term_sub, ISAM_P **isam_ps,
-                       oid_value attributeSet)
+                       const char *term_sub,
+                       oid_value attributeSet, struct grep_info *grep_info)
 {
-    char term_dict[2*IT_MAX_WORD+2];
+    char term_dict[10*IT_MAX_WORD+2];
     int i, j;
     const char *info;    
     AttrType truncation;
     int truncation_value;
     AttrType use;
     int use_value;
+    AttrType relation;
+    int relation_value;
     oid_value curAttributeSet = attributeSet;
 
     attr_init (&use, zapt, 1);
@@ -399,10 +562,37 @@ static int trunc_term (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
     truncation_value = attr_find (&truncation, NULL);
     logf (LOG_DEBUG, "truncation value %d", truncation_value);
 
+    attr_init (&relation, zapt, 2);
+    relation_value = attr_find (&relation, NULL);
+
     if (use_value == -1)
         use_value = 1016;
     i = index_word_prefix_map (term_dict, curAttributeSet, use_value);
-    
+    if (i < 0)
+    {
+        zi->errCode = 114;
+        return -1;
+    }
+    switch (relation_value)
+    {
+    case 1:
+    case 2:
+        break;
+    case 4:
+        logf (LOG_LOG, "Relation ge");
+        gen_regular_ge (term_dict + strlen(term_dict), atoi(term_sub));
+        logf (LOG_LOG, "dict_lookup_grep: %s", term_dict);
+        dict_lookup_grep (zi->wordDict, term_dict, 0, grep_info, grep_handle);
+        logf (LOG_LOG, "%d positions", grep_info->isam_p_indx);
+        return 0;
+    case 5:
+        logf (LOG_LOG, "Relation gt");
+        gen_regular_ge (term_dict + strlen(term_dict), atoi(term_sub)+1);
+        logf (LOG_LOG, "dict_lookup_grep: %s", term_dict);
+        dict_lookup_grep (zi->wordDict, term_dict, 0, grep_info, grep_handle);
+        logf (LOG_LOG, "%d positions", grep_info->isam_p_indx);
+        return 0;
+    }
     switch (truncation_value)
     {
     case -1:         /* not specified */
@@ -410,12 +600,12 @@ static int trunc_term (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
         strcat (term_dict, term_sub);
         logf (LOG_DEBUG, "dict_lookup: %s", term_dict);
         if ((info = dict_lookup (zi->wordDict, term_dict)))
-            add_isam_p (info);
+            add_isam_p (info, grep_info);
         break;
     case 1:          /* right truncation */
         strcat (term_dict, term_sub);
         strcat (term_dict, ".*");
-        dict_lookup_grep (zi->wordDict, term_dict, 0, grep_handle);
+        dict_lookup_grep (zi->wordDict, term_dict, 0, grep_info, grep_handle);
         break;
     case 2:          /* left truncation */
     case 3:          /* left&right truncation */
@@ -433,15 +623,14 @@ static int trunc_term (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
             else
                 term_dict[j++] = term_sub[i];
         term_dict[j] = '\0';
-        dict_lookup_grep (zi->wordDict, term_dict, 0, grep_handle);
+        dict_lookup_grep (zi->wordDict, term_dict, 0, grep_info, grep_handle);
         break;
     case 102:        /* regular expression */
         strcat (term_dict, term_sub);
-        dict_lookup_grep (zi->wordDict, term_dict, 0, grep_handle);
+        dict_lookup_grep (zi->wordDict, term_dict, 0, grep_info, grep_handle);
         break;
     }
-    *isam_ps = isam_p_buf;
-    logf (LOG_DEBUG, "%d positions", isam_p_indx);
+    logf (LOG_LOG, "%d positions", grep_info->isam_p_indx);
     return 0;
 }
 
@@ -466,7 +655,9 @@ static RSET rpn_search_APT_relevance (ZServerInfo *zi,
     rset_relevance_parms parms;
     char termz[IT_MAX_WORD+1];
     char term_sub[IT_MAX_WORD+1];
+    struct grep_info grep_info;
     char *p0 = termz, *p1 = NULL;
+    RSET result;
 
     parms.key_size = sizeof(struct it_key);
     parms.max_rec = 100;
@@ -479,7 +670,9 @@ static RSET rpn_search_APT_relevance (ZServerInfo *zi,
         return NULL;
     }
     trans_term (zi, zapt, termz);
-    isam_p_indx = 0;  /* global, set by trunc_term - see below */
+    grep_info.isam_p_indx = 0;
+    grep_info.isam_p_size = 0;
+    grep_info.isam_p_buf = NULL;
     while (1)
     {
         if ((p1 = strchr (p0, ' ')))
@@ -489,27 +682,32 @@ static RSET rpn_search_APT_relevance (ZServerInfo *zi,
         }
         else
             strcpy (term_sub, p0);
-        if (trunc_term (zi, zapt, term_sub, &parms.isam_positions,
-                        attributeSet))
+        if (trunc_term (zi, zapt, term_sub, attributeSet, &grep_info))
             return NULL;
         if (!p1)
             break;
-        p0 = p1+1;
+        p0 = p1;
+        while (*++p0 == ' ')
+            ;
     }
-    parms.no_isam_positions = isam_p_indx;
-    if (isam_p_indx > 0)
-        return rset_create (rset_kind_relevance, &parms);
+    parms.isam_positions = grep_info.isam_p_buf;
+    parms.no_isam_positions = grep_info.isam_p_indx;
+    if (grep_info.isam_p_indx > 0)
+        result = rset_create (rset_kind_relevance, &parms);
     else
-        return rset_create (rset_kind_null, NULL);
+        result = rset_create (rset_kind_null, NULL);
+    xfree (grep_info.isam_p_buf);
+    return result;
 }
 
 static RSET rpn_search_APT_word (ZServerInfo *zi,
                                  Z_AttributesPlusTerm *zapt,
                                  oid_value attributeSet)
 {
-    ISAM_P *isam_positions;
     rset_isam_parms parms;
     char termz[IT_MAX_WORD+1];
+    struct grep_info grep_info;
+    RSET result;
 
     if (zapt->term->which != Z_Term_general)
     {
@@ -517,28 +715,124 @@ static RSET rpn_search_APT_word (ZServerInfo *zi,
         return NULL;
     }
     trans_term (zi, zapt, termz);
-    isam_p_indx = 0;  /* global, set by trunc_term - see below */
-    if (trunc_term (zi, zapt, termz, &isam_positions, attributeSet))
+
+    grep_info.isam_p_indx = 0;
+    grep_info.isam_p_size = 0;
+    grep_info.isam_p_buf = NULL;
+
+    if (trunc_term (zi, zapt, termz, attributeSet, &grep_info))
         return NULL;
-    if (isam_p_indx < 1)
-        return rset_create (rset_kind_null, NULL);
-    else if (isam_p_indx == 1)
+    if (grep_info.isam_p_indx < 1)
+        result = rset_create (rset_kind_null, NULL);
+    else if (grep_info.isam_p_indx == 1)
     {
         parms.is = zi->wordIsam;
-        parms.pos = *isam_positions;
-        return rset_create (rset_kind_isam, &parms);
+        parms.pos = *grep_info.isam_p_buf;
+        result = rset_create (rset_kind_isam, &parms);
     }
     else
-        return rset_trunc (zi->wordIsam, isam_positions, 0, isam_p_indx, 400);
+        result = rset_trunc (zi->wordIsam, grep_info.isam_p_buf,
+                             grep_info.isam_p_indx);
+    xfree (grep_info.isam_p_buf);
+    return result;
+}
+
+static RSET rpn_prox (RSET *rset, int rset_no)
+{
+    int i;
+    RSFD *rsfd;
+    int  *more;
+    struct it_key **buf;
+    RSFD rsfd_result;
+    RSET result;
+    rset_temp_parms parms;
+    
+    rsfd = xmalloc (sizeof(*rsfd)*rset_no);
+    more = xmalloc (sizeof(*more)*rset_no);
+    buf = xmalloc (sizeof(*buf)*rset_no);
+
+    for (i = 0; i<rset_no; i++)
+    {
+        buf[i] = xmalloc (sizeof(**buf));
+        rsfd[i] = rset_open (rset[i], RSETF_READ|RSETF_SORT_SYSNO);
+        if (!(more[i] = rset_read (rset[i], rsfd[i], buf[i])))
+        {
+            while (i >= 0)
+            {
+                rset_close (rset[i], rsfd[i]);
+                xfree (buf[i]);
+                --i;
+            }
+            xfree (rsfd);
+            xfree (more);
+            xfree (buf);
+            return rset_create (rset_kind_null, NULL);
+        }
+    }
+    parms.key_size = sizeof (struct it_key);
+    result = rset_create (rset_kind_temp, &parms);
+    rsfd_result = rset_open (result, RSETF_WRITE|RSETF_SORT_SYSNO);
+    
+    while (*more)
+    {
+        for (i = 1; i<rset_no; i++)
+        {
+            int cmp;
+            
+            if (!more[i])
+            {
+                *more = 0;
+                break;
+            }
+            cmp = key_compare (buf[i], buf[i-1]);
+            if (cmp > 1)
+            {
+                more[i-1] = rset_read (rset[i-1], rsfd[i-1], buf[i-1]);
+                break;
+            }
+            else if (cmp == 1)
+            {
+                if (buf[i-1]->seqno+1 != buf[i]->seqno)
+                {
+                    more[i-1] = rset_read (rset[i-1], rsfd[i-1], buf[i-1]);
+                    break;
+                }
+            }
+            else
+            {
+                more[i] = rset_read (rset[i], rsfd[i], buf[i]);
+                break;
+            }
+        }
+        if (i == rset_no)
+        {
+            rset_write (result, rsfd_result, buf[0]);
+            more[0] = rset_read (*rset, *rsfd, *buf);
+        }
+    }
+    
+    for (i = 0; i<rset_no; i++)
+    {
+        rset_close (rset[i], rsfd[i]);
+        xfree (buf[i]);
+    }
+    rset_close (result, rsfd_result);
+    xfree (buf);
+    xfree (more);
+    xfree (rsfd);
+    return result;
 }
 
 static RSET rpn_search_APT_phrase (ZServerInfo *zi,
                                    Z_AttributesPlusTerm *zapt,
                                    oid_value attributeSet)
 {
-    ISAM_P *isam_positions;
-    rset_isam_parms parms;
     char termz[IT_MAX_WORD+1];
+    char term_sub[IT_MAX_WORD+1];
+    char *p0 = termz, *p1 = NULL;
+    RSET rset[60], result;
+    int i, rset_no = 0;
+    struct grep_info grep_info;
 
     if (zapt->term->which != Z_Term_general)
     {
@@ -546,14 +840,56 @@ static RSET rpn_search_APT_phrase (ZServerInfo *zi,
         return NULL;
     }
     trans_term (zi, zapt, termz);
-    isam_p_indx = 0;  /* global, set by trunc_term - see below */
-    if (trunc_term (zi, zapt, termz, &isam_positions, attributeSet))
-        return NULL;
-    if (isam_p_indx != 1)
+
+    grep_info.isam_p_size = 0;
+    grep_info.isam_p_buf = NULL;
+
+    while (1)
+    {
+        if ((p1 = strchr (p0, ' ')))
+        {
+            memcpy (term_sub, p0, p1-p0);
+            term_sub[p1-p0] = '\0';
+        }
+        else
+            strcpy (term_sub, p0);
+
+        grep_info.isam_p_indx = 0;
+        if (trunc_term (zi, zapt, term_sub, attributeSet, &grep_info))
+            return NULL;
+        if (grep_info.isam_p_indx == 0)
+            rset[rset_no] = rset_create (rset_kind_null, NULL);
+        else if (grep_info.isam_p_indx > 1)
+            rset[rset_no] = rset_trunc (zi->wordIsam,
+                                        grep_info.isam_p_buf,
+                                        grep_info.isam_p_indx);
+        else
+        {
+            rset_isam_parms parms;
+            
+            parms.is = zi->wordIsam;
+            parms.pos = *grep_info.isam_p_buf;
+            rset[rset_no] = rset_create (rset_kind_isam, &parms);
+        }
+        assert (rset[rset_no]);
+        if (++rset_no >= sizeof(rset)/sizeof(*rset))
+            break;
+        if (!p1)
+            break;
+        p0 = p1;
+        while (*++p0 == ' ')
+            ;
+    }
+    xfree (grep_info.isam_p_buf);
+    if (rset_no == 0)
         return rset_create (rset_kind_null, NULL);
-    parms.is = zi->wordIsam;
-    parms.pos = *isam_positions;
-    return rset_create (rset_kind_isam, &parms);
+    else if (rset_no == 1)
+        return (rset[0]);
+
+    result = rpn_prox (rset, rset_no);
+    for (i = 0; i<rset_no; i++)
+        rset_delete (rset[i]);
+    return result;
 }
 
 static RSET rpn_search_APT_local (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
@@ -572,7 +908,7 @@ static RSET rpn_search_APT_local (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
     }
     parms.key_size = sizeof (struct it_key);
     result = rset_create (rset_kind_temp, &parms);
-    rsfd = rset_open (result, 1);
+    rsfd = rset_open (result, RSETF_WRITE|RSETF_SORT_SYSNO);
 
     trans_term (zi, zapt, termz);
     key.sysno = atoi (termz);
@@ -583,7 +919,6 @@ static RSET rpn_search_APT_local (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
     return result;
 }
 
-
 static RSET rpn_search_APT (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
                             oid_value attributeSet)
 {
@@ -601,7 +936,7 @@ static RSET rpn_search_APT (ZServerInfo *zi, Z_AttributesPlusTerm *zapt,
     case -1:
         if (relation_value == 102) /* relevance relation */
             return rpn_search_APT_relevance (zi, zapt, attributeSet);
-        return rpn_search_APT_word (zi, zapt, attributeSet);
+        return rpn_search_APT_phrase (zi, zapt, attributeSet);
     case 1: /* phrase */
         if (relation_value == 102) /* relevance relation */
             return rpn_search_APT_relevance (zi, zapt, attributeSet);
@@ -723,7 +1058,7 @@ static void count_set (RSET r, int *count)
 
     logf (LOG_DEBUG, "rpn_save_set");
     *count = 0;
-    rfd = rset_open (r, 0);
+    rfd = rset_open (r, RSETF_READ|RSETF_SORT_SYSNO);
     while (rset_read (r, rfd, &key))
     {
         if (key.sysno != psysno)
@@ -760,46 +1095,52 @@ int rpn_search (ZServerInfo *zi,
     return zi->errCode;
 }
 
-static struct scan_entry *scan_list;
-static ODR scan_odr;
-static int scan_before, scan_after;
-static ISAM scan_isam;
-static char scan_prefix[20];
+struct scan_info {
+    struct scan_entry *list;
+    ODR odr;
+    int before, after;
+    ISAM isam;
+    char prefix[20];
+};
 
-static int scan_handle (Dict_char *name, const char *info, int pos)
+static int scan_handle (Dict_char *name, const char *info, int pos, 
+                        void *client)
 {
     int len_prefix, idx;
     ISAM_P isam_p;
     RSET rset;
+    struct scan_info *scan_info = client;
 
     rset_isam_parms parms;
 
-    len_prefix = strlen(scan_prefix);
-    if (memcmp (name, scan_prefix, len_prefix))
+    len_prefix = strlen(scan_info->prefix);
+    if (memcmp (name, scan_info->prefix, len_prefix))
         return 1;
     if (pos > 0)
-        idx = scan_after - pos + scan_before;
+        idx = scan_info->after - pos + scan_info->before;
     else
         idx = - pos - 1;
-    scan_list[idx].term = odr_malloc (scan_odr, strlen(name + len_prefix)+1);
-    strcpy (scan_list[idx].term, name + len_prefix);
+    scan_info->list[idx].term = odr_malloc (scan_info->odr,
+                                            strlen(name + len_prefix)+1);
+    strcpy (scan_info->list[idx].term, name + len_prefix);
     assert (*info == sizeof(isam_p));
     memcpy (&isam_p, info+1, sizeof(isam_p));
-    parms.is = scan_isam;
+    parms.is = scan_info->isam;
     parms.pos = isam_p;
 #if 1
     rset = rset_create (rset_kind_isam, &parms);
-    count_set (rset, &scan_list[idx].occurrences);
+    count_set (rset, &scan_info->list[idx].occurrences);
     rset_delete (rset);
 #else
-    scan_list[idx].occurrences = 1;
+    scan_info->list[idx].occurrences = 1;
 #endif
     logf (LOG_DEBUG, "pos=%3d idx=%3d name=%s", pos, idx, name);
     return 0;
 }
 
 int rpn_scan (ZServerInfo *zi, ODR odr, Z_AttributesPlusTerm *zapt,
-              int *position, int *num_entries, struct scan_entry **list)
+              int *position, int *num_entries, struct scan_entry **list,
+              int *status)
 {
     int i, j, sizez;
     int pos = *position;
@@ -810,18 +1151,19 @@ int rpn_scan (ZServerInfo *zi, ODR odr, Z_AttributesPlusTerm *zapt,
     AttrType use;
     int use_value;
     Z_Term *term = zapt->term;
+    struct scan_info scan_info;
 
     logf (LOG_DEBUG, "scan, position = %d, num = %d", pos, num);
-    scan_before = before = pos-1;
-    scan_after = after = 1+num-pos;
-    scan_odr = odr;
+    scan_info.before = before = pos-1;
+    scan_info.after = after = 1+num-pos;
+    scan_info.odr = odr;
 
     logf (LOG_DEBUG, "scan, before = %d, after = %d", before, after);
     
-    scan_isam = zi->wordIsam;
-    scan_list = *list = odr_malloc (odr, (before+after)*sizeof(**list));
+    scan_info.isam = zi->wordIsam;
+    scan_info.list = odr_malloc (odr, (before+after)*sizeof(*scan_info.list));
     for (j = 0; j<before+after; j++)
-        scan_list[j].term = "------";
+        scan_info.list[j].term = NULL;
     attr_init (&use, zapt, 1);
     use_value = attr_find (&use, NULL);
     logf (LOG_DEBUG, "use value %d", use_value);
@@ -829,7 +1171,7 @@ int rpn_scan (ZServerInfo *zi, ODR odr, Z_AttributesPlusTerm *zapt,
     if (use_value == -1)
         use_value = 1016;
     i = index_word_prefix (termz, 1, use_value);
-    strcpy (scan_prefix, termz);
+    strcpy (scan_info.prefix, termz);
     sizez = term->u.general->len;
     if (sizez > IT_MAX_WORD)
         sizez = IT_MAX_WORD;
@@ -837,10 +1179,35 @@ int rpn_scan (ZServerInfo *zi, ODR odr, Z_AttributesPlusTerm *zapt,
         termz[j+i] = index_char_cvt (term->u.general->buf[j]);
     termz[j+i] = '\0';
     
-    dict_scan (zi->wordDict, termz, &before, &after, scan_handle);
+    dict_scan (zi->wordDict, termz, &before, &after, &scan_info, scan_handle);
+
+    *status = BEND_SCAN_SUCCESS;
+
+    for (i = 0; i<scan_info.after; i++)
+        if (scan_info.list[scan_info.before+scan_info.after-i-1].term)
+            break;
+    *num_entries -= i;
+    if (i)
+        *status = BEND_SCAN_PARTIAL;
 
+    for (i = 0; i<scan_info.before; i++)
+        if (scan_info.list[i].term)
+            break;
+    if (i)
+        *status = BEND_SCAN_PARTIAL;
+    *position -= i;
+    *num_entries -= i;
+
+    *list = scan_info.list+i;       /* list is set to first 'real' entry */
+
+    if (*num_entries == 0)          /* signal 'unsupported use-attribute' */
+        zi->errCode = 114;          /* if no entries was found */
+    logf (LOG_DEBUG, "position = %d, num_entries = %d",
+          *position, *num_entries);
     if (zi->errCode)
         logf (LOG_DEBUG, "scan error: %d", zi->errCode);
     return 0;
 }
               
+
+