Added the scope parameter to rsets, and using it in all forwards and reads
[idzebra-moved-to-github.git] / rset / rstemp.c
index 691ccb9..f15200b 100644 (file)
-/*
- * Copyright (C) 1994-1995, Index Data I/S 
- * All rights reserved.
- * Sebastian Hammer, Adam Dickmeiss
- *
- * $Log: rstemp.c,v $
- * Revision 1.14  1995-10-10 14:00:04  adam
- * Function rset_open changed its wflag parameter to general flags.
- *
- * Revision 1.13  1995/10/06  14:38:06  adam
- * New result set method: r_score.
- * Local no (sysno) and score is transferred to retrieveCtrl.
- *
- * Revision 1.12  1995/09/28  09:52:11  adam
- * xfree/xmalloc used everywhere.
- *
- * Revision 1.11  1995/09/18  14:17:56  adam
- * Bug fixes.
- *
- * Revision 1.10  1995/09/15  14:45:39  adam
- * Bug fixes.
- *
- * Revision 1.9  1995/09/15  09:20:42  adam
- * Bug fixes.
- *
- * Revision 1.8  1995/09/08  14:52:42  adam
- * Work on relevance feedback.
- *
- * Revision 1.7  1995/09/07  13:58:44  adam
- * New parameter: result-set file descriptor (RSFD) to support multiple
- * positions within the same result-set.
- * Boolean operators: and, or, not implemented.
- *
- * Revision 1.6  1995/09/06  16:11:56  adam
- * More work on boolean sets.
- *
- * Revision 1.5  1995/09/05  16:36:59  adam
- * Minor changes.
- *
- * Revision 1.4  1995/09/05  11:43:24  adam
- * Complete version of temporary sets. Not tested yet though.
- *
- * Revision 1.3  1995/09/04  15:20:40  adam
- * More work on temp sets. is_open member removed.
- *
- * Revision 1.2  1995/09/04  09:10:56  adam
- * Minor changes.
- *
- * Revision 1.1  1994/11/04  13:21:30  quinn
- * Working.
- *
- */
+/* $Id: rstemp.c,v 1.49 2004-09-09 10:08:06 heikki Exp $
+   Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002,2003
+   Index Data Aps
+
+This file is part of the Zebra server.
+
+Zebra is free software; you can redistribute it and/or modify it under
+the terms of the GNU General Public License as published by the Free
+Software Foundation; either version 2, or (at your option) any later
+version.
+
+Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
+WARRANTY; without even the implied warranty of MERCHANTABILITY or
+FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+for more details.
+
+You should have received a copy of the GNU General Public License
+along with Zebra; see the file LICENSE.zebra.  If not, write to the
+Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
+02111-1307, USA.
+*/
 
 #include <fcntl.h>
 #include <assert.h>
+#ifdef WIN32
+#include <io.h>
+#else
 #include <unistd.h>
+#endif
+#include <string.h>
 #include <sys/types.h>
 #include <stdio.h>
 
-#include <alexutil.h>
-#include <rstemp.h>
+#include <zebrautl.h>
+#include <rset.h>
 
-static rset_control *r_create(const struct rset_control *sel, void *parms);
-static RSFD r_open (rset_control *ct, int flag);
+static RSFD r_open (RSET ct, int flag);
 static void r_close (RSFD rfd);
-static void r_delete (rset_control *ct);
+static void r_delete (RSET ct);
 static void r_rewind (RSFD rfd);
-static int r_count (rset_control *ct);
 static int r_read (RSFD rfd, void *buf);
 static int r_write (RSFD rfd, const void *buf);
-static int r_score (RSFD rfd, int *score);
+static void r_pos (RSFD rfd, double *current, double  *total);
+
 
-static const rset_control control = 
+static const struct rset_control control = 
 {
-    "Temporary set",
-    0,
-    r_create,
+    "temp",
+    r_delete,
     r_open,
     r_close,
-    r_delete,
     r_rewind,
-    r_count,
+    rset_default_forward,
+    r_pos, 
     r_read,
     r_write,
-    r_score
 };
 
-const rset_control *rset_kind_temp = &control;
+const struct rset_control *rset_kind_temp = &control;
 
 struct rset_temp_info {
-    int     fd;
-    char   *fname;
-    size_t  key_size;      /* key size */
+    int     fd;            /* file descriptor for temp file */
+    char   *fname;         /* name of temp file */
     char   *buf_mem;       /* window buffer */
     size_t  buf_size;      /* size of window */
     size_t  pos_end;       /* last position in set */
-    size_t  pos_cur;       /* current position in set */
     size_t  pos_buf;       /* position of first byte in window */
     size_t  pos_border;    /* position of last byte+1 in window */
     int     dirty;         /* window is dirty */
+    zint     hits;          /* no of hits */
+    char   *temp_path;
 };
 
 struct rset_temp_rfd {
-    struct rset_temp_info *info;
-    struct rset_temp_rfd *next;
+    void *buf;
+    size_t  pos_cur;       /* current position in set */
+                           /* FIXME - term pos or what ??  */
+    zint cur; /* number of the current hit */
 };
 
-static struct rset_control *r_create(const struct rset_control *sel,
-                                     void *parms)
+RSET rstemp_create( NMEM nmem, const struct key_control *kcontrol,
+                    int scope, 
+                    const char *temp_path)
 {
-    rset_control *newct;
-    rset_temp_parms *temp_parms = parms;
+    RSET rnew=rset_create_base(&control, nmem, kcontrol, scope);
     struct rset_temp_info *info;
-    
-    newct = xmalloc(sizeof(*newct));
-    memcpy(newct, sel, sizeof(*sel));
-    newct->buf = xmalloc (sizeof(struct rset_temp_info));
-    info = newct->buf;
-
+   
+    info = (struct rset_temp_info *) nmem_malloc(rnew->nmem, sizeof(*info));
     info->fd = -1;
     info->fname = NULL;
-    info->key_size = temp_parms->key_size;
     info->buf_size = 4096;
-    info->buf_mem = xmalloc (info->buf_size);
-    info->pos_cur = 0;
+    info->buf_mem = (char *) nmem_malloc (rnew->nmem, info->buf_size);
     info->pos_end = 0;
     info->pos_buf = 0;
     info->dirty = 0;
+    info->hits = 0;
 
-    return newct;
-}
+    if (!temp_path)
+        info->temp_path = NULL;
+    else
+        info->temp_path = nmem_strdup(rnew->nmem,temp_path);
+    rnew->priv=info; 
+    return rnew;
+} /* rstemp_create */
 
-static RSFD r_open (struct rset_control *ct, int flag)
+static void r_delete (RSET ct)
 {
-    struct rset_temp_info *info = ct->buf;
-    struct rset_temp_rfd *rfd;
+    struct rset_temp_info *info = (struct rset_temp_info*) ct->priv;
 
-    assert (info->fd == -1);
+    logf (LOG_DEBUG, "r_delete: set size %ld", (long) info->pos_end);
     if (info->fname)
     {
+        logf (LOG_DEBUG, "r_delete: unlink %s", info->fname);
+        unlink (info->fname);
+    }
+}
+
+
+static RSFD r_open (RSET ct, int flag)
+{
+    struct rset_temp_info *info = (struct rset_temp_info *) ct->priv;
+    RSFD rfd;
+    struct rset_temp_rfd *prfd;
+
+    if (info->fd == -1 && info->fname)
+    {
         if (flag & RSETF_WRITE)
-            info->fd = open (info->fname, O_RDWR|O_CREAT, 0666);
+            info->fd = open (info->fname, O_BINARY|O_RDWR|O_CREAT, 0666);
         else
-            info->fd = open (info->fname, O_RDONLY);
+            info->fd = open (info->fname, O_BINARY|O_RDONLY);
         if (info->fd == -1)
         {
             logf (LOG_FATAL|LOG_ERRNO, "open %s", info->fname);
             exit (1);
         }
     }
-    rfd = xmalloc (sizeof(*rfd));
-    rfd->info = info;
+    rfd = rfd_create_base(ct);
+    if (!rfd->priv){
+        prfd= (struct rset_temp_rfd *) nmem_malloc(ct->nmem, sizeof(*prfd));
+        rfd->priv=(void *)prfd;
+        prfd->buf = nmem_malloc (ct->nmem,ct->keycontrol->key_size);
+    }
     r_rewind (rfd);
     return rfd;
 }
@@ -159,26 +149,46 @@ static RSFD r_open (struct rset_control *ct, int flag)
  */
 static void r_flush (RSFD rfd, int mk)
 {
-    struct rset_temp_info *info = ((struct rset_temp_rfd*) rfd)->info;
+    /* struct rset_temp_info *info = ((struct rset_temp_rfd*) rfd)->info; */
+    struct rset_temp_info *info = rfd->rset->priv;
 
     if (!info->fname && mk)
     {
-        char *s = (char*) tempnam (NULL, "zrs");
+#if HAVE_MKSTEMP
+        char template[1024];
 
-        info->fname = xmalloc (strlen(s)+1);
+        if (info->temp_path)
+            sprintf (template, "%s/zrsXXXXXX", info->temp_path);
+        else
+            sprintf (template, "zrsXXXXXX");
+
+        info->fd = mkstemp (template);
+
+        if (info->fd == -1)
+        {
+            logf (LOG_FATAL|LOG_ERRNO, "mkstemp %s", template);
+            exit (1);
+        }
+        info->fname= nmem_malloc(rfd->rset->nmem,strlen(template)+1);
+        strcpy (info->fname, template);
+#else
+        char *s = (char*) tempnam (info->temp_path, "zrs");
+        info->fname= nmem_malloc(rfd->rset->nmem,strlen(template)+1);
         strcpy (info->fname, s);
 
         logf (LOG_DEBUG, "creating tempfile %s", info->fname);
-        info->fd = open (info->fname, O_RDWR|O_CREAT, 0666);
+        info->fd = open (info->fname, O_BINARY|O_RDWR|O_CREAT, 0666);
         if (info->fd == -1)
         {
             logf (LOG_FATAL|LOG_ERRNO, "open %s", info->fname);
             exit (1);
         }
+#endif
     }
     if (info->fname && info->fd != -1 && info->dirty)
     {
-        size_t r, count;
+        size_t count;
+        int r;
         
         if (lseek (info->fd, info->pos_buf, SEEK_SET) == -1)
         {
@@ -188,7 +198,7 @@ static void r_flush (RSFD rfd, int mk)
         count = info->buf_size;
         if (count > info->pos_end - info->pos_buf)
             count = info->pos_end - info->pos_buf;
-        if ((r = write (info->fd, info->buf_mem, count)) < count)
+        if ((r = write (info->fd, info->buf_mem, count)) < (int) count)
         {
             if (r == -1)
                 logf (LOG_FATAL|LOG_ERRNO, "read %s", info->fname);
@@ -203,32 +213,17 @@ static void r_flush (RSFD rfd, int mk)
 
 static void r_close (RSFD rfd)
 {
-    struct rset_temp_info *info = ((struct rset_temp_rfd*)rfd)->info;
-
+    /*struct rset_temp_rfd *mrfd = (struct rset_temp_rfd*) rfd->priv; */
+    struct rset_temp_info *info = (struct rset_temp_info *)rfd->rset->priv;
     r_flush (rfd, 0);
     if (info->fname && info->fd != -1)
     {
         close (info->fd);
         info->fd = -1;
-    }
+    } /* FIXME - Is this right, don't we risk closing the file too early ?*/
+    rfd_delete_base(rfd);
 }
 
-static void r_delete (struct rset_control *ct)
-{
-    struct rset_temp_info *info = ct->buf;
-
-    if (info->fname)
-        unlink (info->fname);        
-    free (info->buf_mem);
-    logf (LOG_DEBUG, "r_delete: set size %ld", (long) info->pos_end);
-    if (info->fname)
-    {
-        logf (LOG_DEBUG, "r_delete: unlink %s", info->fname);
-        unlink (info->fname);
-        free (info->fname);
-    }
-    free (info);
-}
 
 /* r_reread:
       read from file to window if file is assocated with set -
@@ -236,13 +231,16 @@ static void r_delete (struct rset_control *ct)
  */
 static void r_reread (RSFD rfd)
 {
-    struct rset_temp_info *info = ((struct rset_temp_rfd*)rfd)->info;
+    struct rset_temp_rfd *mrfd = (struct rset_temp_rfd*) rfd->priv; 
+    struct rset_temp_info *info = (struct rset_temp_info *)rfd->rset->priv;
 
     if (info->fname)
     {
-        size_t r, count;
+        size_t count;
+        int r;
 
-        info->pos_border = info->pos_cur + info->buf_size;
+        info->pos_border = mrfd->pos_cur +
+            info->buf_size;
         if (info->pos_border > info->pos_end)
             info->pos_border = info->pos_end;
         count = info->pos_border - info->pos_buf;
@@ -253,7 +251,7 @@ static void r_reread (RSFD rfd)
                 logf (LOG_FATAL|LOG_ERRNO, "lseek %s", info->fname);
                 exit (1);
             }
-            if ((r = read (info->fd, info->buf_mem, count)) < count)
+            if ((r = read (info->fd, info->buf_mem, count)) < (int) count)
             {
                 if (r == -1)
                     logf (LOG_FATAL|LOG_ERRNO, "read %s", info->fname);
@@ -270,65 +268,67 @@ static void r_reread (RSFD rfd)
 
 static void r_rewind (RSFD rfd)
 {
-    struct rset_temp_info *info = ((struct rset_temp_rfd*)rfd)->info;
-
+    struct rset_temp_rfd *mrfd = (struct rset_temp_rfd*) (rfd->priv);  
+    struct rset_temp_info *info = (struct rset_temp_info *)(rfd->rset->priv);
     r_flush (rfd, 0);
-    info->pos_cur = 0;
+    mrfd->pos_cur = 0;
     info->pos_buf = 0;
     r_reread (rfd);
-}
-
-static int r_count (struct rset_control *ct)
-{
-    struct rset_temp_info *info = ct->buf;
-
-    return info->pos_end / info->key_size;
+    mrfd->cur=0;
 }
 
 static int r_read (RSFD rfd, void *buf)
 {
-    struct rset_temp_info *info = ((struct rset_temp_rfd*)rfd)->info;
+    struct rset_temp_rfd *mrfd = (struct rset_temp_rfd*) rfd->priv;  
+    struct rset_temp_info *info = (struct rset_temp_info *)rfd->rset->priv;
 
-    size_t nc = info->pos_cur + info->key_size;
+    size_t nc = mrfd->pos_cur + rfd->rset->keycontrol->key_size;
 
-    if (nc > info->pos_border)
+    if (mrfd->pos_cur < info->pos_buf || nc > info->pos_border)
     {
         if (nc > info->pos_end)
             return 0;
         r_flush (rfd, 0);
-        info->pos_buf = info->pos_cur;
+        info->pos_buf = mrfd->pos_cur;
         r_reread (rfd);
     }
-    memcpy (buf, info->buf_mem + (info->pos_cur - info->pos_buf),
-            info->key_size);
-    info->pos_cur = nc;
+    memcpy (buf, info->buf_mem + (mrfd->pos_cur - info->pos_buf),
+            rfd->rset->keycontrol->key_size);
+    mrfd->pos_cur = nc;
+    mrfd->cur++;
     return 1;
 }
 
 static int r_write (RSFD rfd, const void *buf)
 {
-    struct rset_temp_info *info = ((struct rset_temp_rfd*)rfd)->info;
+    struct rset_temp_rfd *mrfd = (struct rset_temp_rfd*) rfd->priv;  
+    struct rset_temp_info *info = (struct rset_temp_info *)rfd->rset->priv;
 
-    size_t nc = info->pos_cur + info->key_size;
+    size_t nc = mrfd->pos_cur + rfd->rset->keycontrol->key_size;
 
     if (nc > info->pos_buf + info->buf_size)
     {
         r_flush (rfd, 1);
-        info->pos_buf = info->pos_cur;
+        info->pos_buf = mrfd->pos_cur;
         if (info->pos_buf < info->pos_end)
             r_reread (rfd);
     }
     info->dirty = 1;
-    memcpy (info->buf_mem + (info->pos_cur - info->pos_buf), buf,
-            info->key_size);
-    info->pos_cur = nc;
+    memcpy (info->buf_mem + (mrfd->pos_cur - info->pos_buf), buf,
+            rfd->rset->keycontrol->key_size);
+    mrfd->pos_cur = nc;
     if (nc > info->pos_end)
         info->pos_border = info->pos_end = nc;
+    info->hits++;
     return 1;
 }
 
-static int r_score (RSFD rfd, int *score)
+static void r_pos (RSFD rfd, double  *current, double  *total)
 {
-    *score = -1;
-    return -1;
+    /* struct rset_temp_rfd *mrfd = (struct rset_temp_rfd*) rfd; */
+    struct rset_temp_rfd *mrfd = (struct rset_temp_rfd*) rfd->priv;  
+    struct rset_temp_info *info = (struct rset_temp_info *)rfd->rset->priv;
+    
+    *current=(double) mrfd->cur;
+    *total=(double) info->hits;
 }