rset/rstemp.c

   1 /* $Id: rstemp.c,v 1.62 2005-04-26 10:09:38 adam Exp $
   2    Copyright (C) 1995-2005
   3    Index Data ApS
   4
   5 This file is part of the Zebra server.
   6
   7 Zebra is free software; you can redistribute it and/or modify it under
   8 the terms of the GNU General Public License as published by the Free
   9 Software Foundation; either version 2, or (at your option) any later
  10 version.
  11
  12 Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
  13 WARRANTY; without even the implied warranty of MERCHANTABILITY or
  14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15 for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with Zebra; see the file LICENSE.zebra.  If not, write to the
  19 Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
  20 02111-1307, USA.
  21 */
  22
  23 #include <assert.h>
  24 #include <fcntl.h>
  25 #include <stdlib.h>
  26 #include <stdio.h>
  27 #include <string.h>
  28 #ifdef WIN32
  29 #include <io.h>
  30 #else
  31 #include <unistd.h>
  32 #endif
  33 #include <sys/types.h>
  34
  35 #include <idzebra/util.h>
  36 #include <rset.h>
  37
  38 static RSFD r_open(RSET ct, int flag);
  39 static void r_close(RSFD rfd);
  40 static void r_delete(RSET ct);
  41 static int r_read(RSFD rfd, void *buf, TERMID *term);
  42 static int r_write(RSFD rfd, const void *buf);
  43 static void r_pos(RSFD rfd, double *current, double  *total);
  44 static void r_flush(RSFD rfd, int mk);
  45 static void r_reread(RSFD rfd);
  46
  47 static const struct rset_control control =
  48 {
  49     "temp",
  50     r_delete,
  51     rset_get_one_term,
  52     r_open,
  53     r_close,
  54     rset_default_forward,
  55     r_pos,
  56     r_read,
  57     r_write,
  58 };
  59
  60 struct rset_temp_info {
  61     int     fd;            /* file descriptor for temp file */
  62     char   *fname;         /* name of temp file */
  63     char   *buf_mem;       /* window buffer */
  64     size_t  buf_size;      /* size of window */
  65     size_t  pos_end;       /* last position in set */
  66     size_t  pos_buf;       /* position of first byte in window */
  67     size_t  pos_border;    /* position of last byte+1 in window */
  68     int     dirty;         /* window is dirty */
  69     zint    hits;          /* no of hits */
  70     char   *temp_path;
  71 };
  72
  73 struct rset_temp_rfd {
  74     void *buf;
  75     size_t  pos_cur;       /* current position in set */
  76                            /* FIXME - term pos or what ??  */
  77     zint cur; /* number of the current hit */
  78 };
  79
  80 static int log_level = 0;
  81 static int log_level_initialized = 0;
  82
  83 RSET rstemp_create(NMEM nmem, const struct key_control *kcontrol,
  84                    int scope, const char *temp_path, TERMID term)
  85 {
  86     RSET rnew = rset_create_base(&control, nmem, kcontrol, scope,term);
  87     struct rset_temp_info *info;
  88     if (!log_level_initialized)
  89     {
  90         log_level = yaz_log_module_level("rstemp");
  91         log_level_initialized = 1;
  92     }
  93     info = (struct rset_temp_info *) nmem_malloc(rnew->nmem, sizeof(*info));
  94     info->fd = -1;
  95     info->fname = NULL;
  96     info->buf_size = 4096;
  97     info->buf_mem = (char *) nmem_malloc(rnew->nmem, info->buf_size);
  98     info->pos_end = 0;
  99     info->pos_buf = 0;
 100     info->dirty = 0;
 101     info->hits = 0;
 102
 103     if (!temp_path)
 104         info->temp_path = NULL;
 105     else
 106         info->temp_path = nmem_strdup(rnew->nmem, temp_path);
 107     rnew->priv = info;
 108     return rnew;
 109 } /* rstemp_create */
 110
 111 static void r_delete(RSET ct)
 112 {
 113     struct rset_temp_info *info = (struct rset_temp_info*) ct->priv;
 114
 115     yaz_log(log_level, "r_delete: set size %ld", (long) info->pos_end);
 116     if (info->fname)
 117     {
 118         yaz_log(log_level, "r_delete: unlink %s", info->fname);
 119         unlink(info->fname);
 120     }
 121 }
 122
 123 static RSFD r_open(RSET ct, int flag)
 124 {
 125     struct rset_temp_info *info = (struct rset_temp_info *) ct->priv;
 126     RSFD rfd;
 127     struct rset_temp_rfd *prfd;
 128
 129     if (info->fd == -1 && info->fname)
 130     {
 131         if (flag & RSETF_WRITE)
 132             info->fd = open(info->fname, O_BINARY|O_RDWR|O_CREAT, 0666);
 133         else
 134             info->fd = open(info->fname, O_BINARY|O_RDONLY);
 135         if (info->fd == -1)
 136         {
 137             yaz_log(YLOG_FATAL|YLOG_ERRNO, "rstemp: open failed %s", info->fname);
 138             exit(1);
 139         }
 140     }
 141     rfd = rfd_create_base(ct);
 142     if (!rfd->priv)
 143     {
 144         prfd = (struct rset_temp_rfd *) nmem_malloc(ct->nmem, sizeof(*prfd));
 145         rfd->priv = (void *)prfd;
 146         prfd->buf = nmem_malloc(ct->nmem,ct->keycontrol->key_size);
 147     }
 148     else
 149         prfd= rfd->priv;
 150     r_flush(rfd, 0);
 151     prfd->pos_cur = 0;
 152     info->pos_buf = 0;
 153     r_reread(rfd);
 154     prfd->cur = 0;
 155     return rfd;
 156 }
 157
 158 /* r_flush:
 159       flush current window to file if file is assocated with set
 160  */
 161 static void r_flush(RSFD rfd, int mk)
 162 {
 163     /* struct rset_temp_info *info = ((struct rset_temp_rfd*) rfd)->info; */
 164     struct rset_temp_info *info = rfd->rset->priv;
 165
 166     if (!info->fname && mk)
 167     {
 168 #if HAVE_MKSTEMP
 169         char template[1024];
 170         if (info->temp_path)
 171             sprintf(template, "%s/zrsXXXXXX", info->temp_path);
 172         else
 173             sprintf(template, "zrsXXXXXX");
 174
 175         info->fd = mkstemp(template);
 176
 177         if (info->fd == -1)
 178         {
 179             yaz_log(YLOG_FATAL|YLOG_ERRNO, "rstemp: mkstemp %s", template);
 180             exit(1);
 181         }
 182         info->fname = nmem_strdup(rfd->rset->nmem, template);
 183 #else
 184         char *s = (char*) tempnam(info->temp_path, "zrs");
 185         info->fname= nmem_strdup(rfd->rset->nmem, s);
 186
 187         yaz_log(log_level, "creating tempfile %s", info->fname);
 188         info->fd = open(info->fname, O_BINARY|O_RDWR|O_CREAT, 0666);
 189         if (info->fd == -1)
 190         {
 191             yaz_log(YLOG_FATAL|YLOG_ERRNO, "rstemp: open %s", info->fname);
 192             exit(1);
 193         }
 194 #endif
 195     }
 196     if (info->fname && info->fd != -1 && info->dirty)
 197     {
 198         size_t count;
 199         int r;
 200
 201         if (lseek(info->fd, info->pos_buf, SEEK_SET) == -1)
 202         {
 203             yaz_log(YLOG_FATAL|YLOG_ERRNO, "rstemp: lseek (1) %s", info->fname);
 204             exit(1);
 205         }
 206         count = info->buf_size;
 207         if (count > info->pos_end - info->pos_buf)
 208             count = info->pos_end - info->pos_buf;
 209         if ((r = write(info->fd, info->buf_mem, count)) < (int) count)
 210         {
 211             if (r == -1)
 212                 yaz_log(YLOG_FATAL|YLOG_ERRNO, "rstemp: write %s", info->fname);
 213             else
 214                 yaz_log(YLOG_FATAL, "rstemp: write of %ld but got %ld",
 215                       (long) count, (long) r);
 216             exit(1);
 217         }
 218         info->dirty = 0;
 219     }
 220 }
 221
 222 static void r_close(RSFD rfd)
 223 {
 224     /*struct rset_temp_rfd *mrfd = (struct rset_temp_rfd*) rfd->priv; */
 225     struct rset_temp_info *info = (struct rset_temp_info *)rfd->rset->priv;
 226     if (rfd_is_last(rfd))
 227     {
 228         r_flush(rfd, 0);
 229         if (info->fname && info->fd != -1)
 230         {
 231             close(info->fd);
 232             info->fd = -1;
 233         }
 234     }
 235     rfd_delete_base(rfd);
 236 }
 237
 238
 239 /* r_reread:
 240       read from file to window if file is assocated with set -
 241       indicated by fname
 242  */
 243 static void r_reread(RSFD rfd)
 244 {
 245     struct rset_temp_rfd *mrfd = (struct rset_temp_rfd*) rfd->priv;
 246     struct rset_temp_info *info = (struct rset_temp_info *)rfd->rset->priv;
 247
 248     if (info->fname)
 249     {
 250         size_t count;
 251         int r;
 252
 253         info->pos_border = mrfd->pos_cur +
 254             info->buf_size;
 255         if (info->pos_border > info->pos_end)
 256             info->pos_border = info->pos_end;
 257         count = info->pos_border - info->pos_buf;
 258         if (count > 0)
 259         {
 260             if (lseek(info->fd, info->pos_buf, SEEK_SET) == -1)
 261             {
 262                 yaz_log(YLOG_FATAL|YLOG_ERRNO, "rstemp: lseek (2) %s fd=%d", info->fname, info->fd);
 263                 exit(1);
 264             }
 265             if ((r = read(info->fd, info->buf_mem, count)) < (int) count)
 266             {
 267                 if (r == -1)
 268                     yaz_log(YLOG_FATAL|YLOG_ERRNO, "rstemp: read %s", info->fname);
 269                 else
 270                     yaz_log(YLOG_FATAL, "read of %ld but got %ld",
 271                           (long) count, (long) r);
 272                 exit(1);
 273             }
 274         }
 275     }
 276     else
 277         info->pos_border = info->pos_end;
 278 }
 279
 280 static int r_read(RSFD rfd, void *buf, TERMID *term)
 281 {
 282     struct rset_temp_rfd *mrfd = (struct rset_temp_rfd*) rfd->priv;
 283     struct rset_temp_info *info = (struct rset_temp_info *)rfd->rset->priv;
 284
 285     size_t nc = mrfd->pos_cur + rfd->rset->keycontrol->key_size;
 286
 287     if (mrfd->pos_cur < info->pos_buf || nc > info->pos_border)
 288     {
 289         if (nc > info->pos_end)
 290             return 0;
 291         r_flush(rfd, 0);
 292         info->pos_buf = mrfd->pos_cur;
 293         r_reread(rfd);
 294     }
 295     memcpy(buf, info->buf_mem + (mrfd->pos_cur - info->pos_buf),
 296             rfd->rset->keycontrol->key_size);
 297     if (term)
 298         *term = rfd->rset->term;
 299         /* FIXME - should we store and return terms ?? */
 300     mrfd->pos_cur = nc;
 301     mrfd->cur++;
 302     return 1;
 303 }
 304
 305 static int r_write(RSFD rfd, const void *buf)
 306 {
 307     struct rset_temp_rfd *mrfd = (struct rset_temp_rfd*) rfd->priv;
 308     struct rset_temp_info *info = (struct rset_temp_info *)rfd->rset->priv;
 309
 310     size_t nc = mrfd->pos_cur + rfd->rset->keycontrol->key_size;
 311
 312     if (nc > info->pos_buf + info->buf_size)
 313     {
 314         r_flush(rfd, 1);
 315         info->pos_buf = mrfd->pos_cur;
 316         if (info->pos_buf < info->pos_end)
 317             r_reread(rfd);
 318     }
 319     info->dirty = 1;
 320     memcpy(info->buf_mem + (mrfd->pos_cur - info->pos_buf), buf,
 321             rfd->rset->keycontrol->key_size);
 322     mrfd->pos_cur = nc;
 323     if (nc > info->pos_end)
 324         info->pos_border = info->pos_end = nc;
 325     info->hits++;
 326     return 1;
 327 }
 328
 329 static void r_pos(RSFD rfd, double  *current, double  *total)
 330 {
 331     /* struct rset_temp_rfd *mrfd = (struct rset_temp_rfd*) rfd; */
 332     struct rset_temp_rfd *mrfd = (struct rset_temp_rfd*) rfd->priv;
 333     struct rset_temp_info *info = (struct rset_temp_info *)rfd->rset->priv;
 334
 335     *current = (double) mrfd->cur;
 336     *total = (double) info->hits;
 337 }