Moved isam headers to include/idzebra.
[idzebra-moved-to-github.git] / rset / rsmultiandor.c
index e98c4a7..1d06c37 100644 (file)
@@ -1,4 +1,4 @@
-/* $Id: rsmultiandor.c,v 1.4 2004-09-29 11:00:57 heikki Exp $
+/* $Id: rsmultiandor.c,v 1.11 2004-12-08 14:02:37 adam Exp $
    Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002
    Index Data Aps
 
@@ -40,30 +40,30 @@ Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
 #include <string.h>
 
 #include <zebrautl.h>
-#include <isamc.h>
+#include <idzebra/isamc.h>
 #include <rset.h>
 
 static RSFD r_open_and (RSET ct, int flag);
 static RSFD r_open_or (RSET ct, int flag);
 static void r_close (RSFD rfd);
 static void r_delete (RSET ct);
-static void r_rewind (RSFD rfd);
-static int r_read_and (RSFD rfd, void *buf);
-static int r_read_or (RSFD rfd, void *buf);
+static int r_read_and (RSFD rfd, void *buf, TERMID *term);
+static int r_read_or (RSFD rfd, void *buf, TERMID *term);
 static int r_write (RSFD rfd, const void *buf);
-static int r_forward_and(RSFD rfd, void *buf,
+static int r_forward_and(RSFD rfd, void *buf, TERMID *term,
                      const void *untilbuf);
-static int r_forward_or(RSFD rfd, void *buf,
+static int r_forward_or(RSFD rfd, void *buf, TERMID *term,
                      const void *untilbuf);
 static void r_pos (RSFD rfd, double *current, double *total);
+static void r_get_terms(RSET ct, TERMID *terms, int maxterms, int *curterm);
 
 static const struct rset_control control_or = 
 {
     "multi-or",
     r_delete,
+    r_get_terms,
     r_open_or,
     r_close,
-    r_rewind,
     r_forward_or,
     r_pos,
     r_read_or,
@@ -73,9 +73,9 @@ static const struct rset_control control_and =
 {
     "multi-and",
     r_delete,
+    r_get_terms,
     r_open_and,
     r_close,
-    r_rewind,
     r_forward_and,
     r_pos,
     r_read_and,
@@ -97,6 +97,7 @@ struct heap_item {
     RSFD fd;
     void *buf;
     RSET rset;
+    TERMID term;
 };
 
 struct heap {
@@ -124,6 +125,10 @@ struct rset_multiandor_rfd {
     char *tailbits;
 };
 
+static int log_level=0;
+static int log_level_initialized=0;
+
+
 /* Heap functions ***********************/
 
 #if 0
@@ -132,13 +137,13 @@ static void heap_dump_item( HEAP h, int i, int level) {
     if (i>h->heapnum)
         return;
     (void)rset_pos(h->heap[i]->rset,h->heap[i]->fd, &cur, &tot);
-    logf(LOG_LOG," %d %*s i=%p buf=%p %0.1f/%0.1f",i, level, "",  
+    yaz_log(log_level," %d %*s i=%p buf=%p %0.1f/%0.1f",i, level, "",  
                     &(h->heap[i]), h->heap[i]->buf, cur,tot );
     heap_dump_item(h, 2*i, level+1);
     heap_dump_item(h, 2*i+1, level+1);
 }
 static void heap_dump( HEAP h,char *msg) {
-    logf(LOG_LOG, "heap dump: %s num=%d max=%d",msg, h->heapnum, h->heapmax);
+    yaz_log(log_level, "heap dump: %s num=%d max=%d",msg, h->heapnum, h->heapmax);
     heap_dump_item(h,1,1);
 }
 #endif
@@ -261,8 +266,13 @@ static RSET rsmulti_andor_create( NMEM nmem, const struct key_control *kcontrol,
                            int scope, int no_rsets, RSET* rsets, 
                            const struct rset_control *ctrl)
 {
-    RSET rnew=rset_create_base(ctrl, nmem,kcontrol, scope);
+    RSET rnew=rset_create_base(ctrl, nmem,kcontrol, scope,0);
     struct rset_multiandor_info *info;
+    if (!log_level_initialized)
+    {
+        log_level=yaz_log_module_level("rsmultiandor");
+        log_level_initialized=1;
+    }
     info = (struct rset_multiandor_info *) nmem_malloc(rnew->nmem,sizeof(*info));
     info->no_rsets=no_rsets;
     info->rsets=(RSET*)nmem_malloc(rnew->nmem, no_rsets*sizeof(*rsets));
@@ -306,7 +316,7 @@ static RSFD r_open_andor (RSET ct, int flag, int is_and)
 
     if (flag & RSETF_WRITE)
     {
-        logf (LOG_FATAL, "multiandor set type is read-only");
+        yaz_log (YLOG_FATAL, "multiandor set type is read-only");
         return NULL;
     }
     rfd=rfd_create_base(ct);
@@ -341,7 +351,7 @@ static RSFD r_open_andor (RSET ct, int flag, int is_and)
     { /* read the array and sort it */
         for (i=0; i<info->no_rsets; i++){
             p->items[i].fd=rset_open(info->rsets[i],RSETF_READ);
-            if ( !rset_read(p->items[i].fd, p->items[i].buf) )
+            if (!rset_read(p->items[i].fd, p->items[i].buf, &p->items[i].term))
                 p->eof=1;
             p->tailbits[i]=0;
         }
@@ -350,7 +360,7 @@ static RSFD r_open_andor (RSET ct, int flag, int is_and)
     { /* fill the heap for ORing */
         for (i=0; i<info->no_rsets; i++){
             p->items[i].fd=rset_open(info->rsets[i],RSETF_READ);
-            if ( rset_read(p->items[i].fd, p->items[i].buf) )
+            if ( rset_read(p->items[i].fd, p->items[i].buf, &p->items[i].term))
                 heap_insert(p->h, &(p->items[i]));
         }
     }
@@ -385,7 +395,8 @@ static void r_close (RSFD rfd)
 
 
 
-static int r_forward_or(RSFD rfd, void *buf, const void *untilbuf)
+static int r_forward_or(RSFD rfd, void *buf, 
+                        TERMID *term,const void *untilbuf)
 { /* while heap head behind untilbuf, forward it and rebalance heap */
     struct rset_multiandor_rfd *p=rfd->priv;
     const struct key_control *kctrl=rfd->rset->keycontrol;
@@ -393,7 +404,8 @@ static int r_forward_or(RSFD rfd, void *buf, const void *untilbuf)
         return 0;
     while ( (*kctrl->cmp)(p->h->heap[1]->buf,untilbuf) < -rfd->rset->scope )
     {
-        if ( rset_forward(p->h->heap[1]->fd, p->h->heap[1]->buf, untilbuf) )
+        if (rset_forward(p->h->heap[1]->fd,p->h->heap[1]->buf,
+                         &p->h->heap[1]->term, untilbuf))
             heap_balance(p->h);
         else 
         {
@@ -403,11 +415,11 @@ static int r_forward_or(RSFD rfd, void *buf, const void *untilbuf)
         }
 
     }
-    return r_read_or(rfd,buf);
+    return r_read_or(rfd,buf,term);
 }
 
 
-static int r_read_or (RSFD rfd, void *buf)
+static int r_read_or (RSFD rfd, void *buf, TERMID *term)
 {
     struct rset_multiandor_rfd *mrfd=rfd->priv;
     const struct key_control *kctrl=rfd->rset->keycontrol;
@@ -417,8 +429,10 @@ static int r_read_or (RSFD rfd, void *buf)
         return 0;
     it = mrfd->h->heap[1];
     memcpy(buf,it->buf, kctrl->key_size); 
+    if (term)
+        *term=it->term;
     (mrfd->hits)++;
-    rdres=rset_read(it->fd, it->buf);
+    rdres=rset_read(it->fd, it->buf, &it->term);
     if ( rdres )
         heap_balance(mrfd->h);
     else
@@ -427,7 +441,7 @@ static int r_read_or (RSFD rfd, void *buf)
 
 }
 
-static int r_read_and (RSFD rfd, void *buf)
+static int r_read_and (RSFD rfd, void *buf, TERMID *term)
 { /* Has to return all hits where each item points to the */
   /* same sysno (scope), in order. Keep an extra key (hitkey) */
   /* as long as all records do not point to hitkey, forward */
@@ -459,7 +473,10 @@ static int r_read_and (RSFD rfd, void *buf)
             }
             /* return the lowest tail */
             memcpy(buf, p->items[mintail].buf, kctrl->key_size); 
-            if (!rset_read(p->items[mintail].fd, p->items[mintail].buf))
+            if (term)
+                *term=p->items[mintail].term;
+            if (!rset_read(p->items[mintail].fd, p->items[mintail].buf,
+                           &p->items[mintail].term))
             {
                 p->eof=1; /* game over, once tails have been returned */
                 p->tailbits[mintail]=0; 
@@ -483,7 +500,7 @@ static int r_read_and (RSFD rfd, void *buf)
             cmp=(*kctrl->cmp)(p->items[0].buf,p->items[i].buf);
             if (cmp<=-rfd->rset->scope) { /* [0] was behind, forward it */
                 if (!rset_forward(p->items[0].fd, p->items[0].buf, 
-                                  p->items[i].buf))
+                                  &p->items[0].term, p->items[i].buf))
                 {
                     p->eof=1; /* game over */
                     return 0;
@@ -492,7 +509,7 @@ static int r_read_and (RSFD rfd, void *buf)
             } else if (cmp>=rfd->rset->scope)
             { /* [0] was ahead, forward i */
                 if (!rset_forward(p->items[i].fd, p->items[i].buf, 
-                                  p->items[0].buf))
+                                  &p->items[i].term, p->items[0].buf))
                 {
                     p->eof=1; /* game over */
                     return 0;
@@ -510,7 +527,8 @@ static int r_read_and (RSFD rfd, void *buf)
 }
 
 
-static int r_forward_and(RSFD rfd, void *buf, const void *untilbuf)
+static int r_forward_and(RSFD rfd, void *buf, TERMID *term, 
+                         const void *untilbuf)
 { 
     struct rset_multiandor_rfd *p=rfd->priv;
     const struct key_control *kctrl=rfd->rset->keycontrol;
@@ -526,7 +544,7 @@ static int r_forward_and(RSFD rfd, void *buf, const void *untilbuf)
         {
             killtail=1; /* we are moving to a different hit */
             if (!rset_forward(p->items[i].fd, p->items[i].buf, 
-                              untilbuf))
+                              &p->items[i].term, untilbuf))
             {
                 p->eof=1; /* game over */
                 p->tailcount=0;
@@ -540,7 +558,7 @@ static int r_forward_and(RSFD rfd, void *buf, const void *untilbuf)
             p->tailbits[i]=0;
         p->tailcount=0;
     }
-    return r_read_and(rfd,buf);
+    return r_read_and(rfd,buf,term);
 }
 
 static void r_pos (RSFD rfd, double *current, double *total)
@@ -553,28 +571,46 @@ static void r_pos (RSFD rfd, double *current, double *total)
     int i;
     for (i=0; i<info->no_rsets; i++){
         rset_pos(mrfd->items[i].fd, &cur, &tot);
-        logf(LOG_DEBUG, "r_pos: %d %0.1f %0.1f", i, cur,tot);
+        yaz_log(log_level, "r_pos: %d %0.1f %0.1f", i, cur,tot); 
         scur += cur;
         stot += tot;
     }
     if (stot <1.0) { /* nothing there */
         *current=0;
         *total=0;
+        yaz_log(log_level, "r_pos: NULL  %0.1f %0.1f",  *current, *total);
         return;
     }
     *current=mrfd->hits;
     *total=*current*stot/scur;
+    yaz_log(log_level, "r_pos: =  %0.1f %0.1f",  *current, *total);
 }
 
 
-static void r_rewind (RSFD rfd)
-{
-    assert(!"rewind not implemented yet");
-    /* FIXME - rewind all parts, rebalance heap, clear hits */
-}
 
 static int r_write (RSFD rfd, const void *buf)
 {
-    logf (LOG_FATAL, "multior set type is read-only");
+    yaz_log (YLOG_FATAL, "multior set type is read-only");
     return -1;
 }
+
+static void r_get_terms(RSET ct, TERMID *terms, int maxterms, int *curterm)
+    /* Special case: Some multi-ors have all terms pointing to the same */
+    /* term. We do not want to duplicate those. Other multiors (and ands) */
+    /* have different terms under them. Those we want. */
+{
+    struct rset_multiandor_info *info = 
+        (struct rset_multiandor_info *) ct->priv;
+    int firstterm= *curterm;
+    int i;
+    for (i=0;i<info->no_rsets;i++)
+    {
+        rset_getterms(info->rsets[i], terms, maxterms, curterm);
+        if ( ( (*curterm) > firstterm+1 ) &&
+             ( (*curterm) <= maxterms ) &&
+             ( terms[(*curterm)-1] == terms[firstterm] ) )
+            (*curterm)--; /* forget the term, seen that before */
+    }
+}
+
+