Implemented loadable filters.
[idzebra-moved-to-github.git] / index / retrieve.c
index 2bdadcf..dffb20c 100644 (file)
@@ -1,83 +1,88 @@
-/*
- * Copyright (C) 1995-1998, Index Data
- * All rights reserved.
- * Sebastian Hammer, Adam Dickmeiss
- *
- * $Log: retrieve.c,v $
- * Revision 1.2  1998-10-16 08:14:33  adam
- * Updated record control system.
- *
- * Revision 1.1  1998/03/05 08:45:13  adam
- * New result set model and modular ranking system. Moved towards
- * descent server API. System information stored as "SGML" records.
- *
- */
+/* $Id: retrieve.c,v 1.25 2004-09-27 10:44:49 adam Exp $
+   Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002,2003,2004
+   Index Data Aps
+
+This file is part of the Zebra server.
+
+Zebra is free software; you can redistribute it and/or modify it under
+the terms of the GNU General Public License as published by the Free
+Software Foundation; either version 2, or (at your option) any later
+version.
+
+Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
+WARRANTY; without even the implied warranty of MERCHANTABILITY or
+FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+for more details.
+
+You should have received a copy of the GNU General Public License
+along with Zebra; see the file LICENSE.zebra.  If not, write to the
+Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
+02111-1307, USA.
+*/
 
 #include <stdio.h>
 #include <assert.h>
 
 #include <fcntl.h>
-#ifdef WINDOWS
+#ifdef WIN32
 #include <io.h>
 #include <process.h>
 #else
 #include <unistd.h>
 #endif
 
-#include <recctrl.h>
-#include "zserver.h"
-
-struct fetch_control {
-    int record_offset;
-    int record_int_pos;
-    char *record_int_buf;
-    int record_int_len;
-    int fd;
-};
+#include "index.h"
+#include <direntz.h>
 
-static int record_ext_read (void *fh, char *buf, size_t count)
+int zebra_record_ext_read (void *fh, char *buf, size_t count)
 {
-    struct fetch_control *fc = fh;
+    struct zebra_fetch_control *fc = (struct zebra_fetch_control *) fh;
     return read (fc->fd, buf, count);
 }
 
-static off_t record_ext_seek (void *fh, off_t offset)
+off_t zebra_record_ext_seek (void *fh, off_t offset)
 {
-    struct fetch_control *fc = fh;
+    struct zebra_fetch_control *fc = (struct zebra_fetch_control *) fh;
     return lseek (fc->fd, offset + fc->record_offset, SEEK_SET);
 }
 
-static off_t record_ext_tell (void *fh)
+off_t zebra_record_ext_tell (void *fh)
 {
-    struct fetch_control *fc = fh;
+    struct zebra_fetch_control *fc = (struct zebra_fetch_control *) fh;
     return lseek (fc->fd, 0, SEEK_CUR) - fc->record_offset;
 }
 
-static off_t record_int_seek (void *fh, off_t offset)
+off_t zebra_record_int_seek (void *fh, off_t offset)
 {
-    struct fetch_control *fc = fh;
+    struct zebra_fetch_control *fc = (struct zebra_fetch_control *) fh;
     return (off_t) (fc->record_int_pos = offset);
 }
 
-static off_t record_int_tell (void *fh)
+off_t zebra_record_int_tell (void *fh)
 {
-    struct fetch_control *fc = fh;
+    struct zebra_fetch_control *fc = (struct zebra_fetch_control *) fh;
     return (off_t) fc->record_int_pos;
 }
 
-static int record_int_read (void *fh, char *buf, size_t count)
+int zebra_record_int_read (void *fh, char *buf, size_t count)
 {
-    struct fetch_control *fc = fh;
+    struct zebra_fetch_control *fc = (struct zebra_fetch_control *) fh;
     int l = fc->record_int_len - fc->record_int_pos;
     if (l <= 0)
         return 0;
-    l = (l < count) ? l : count;
+    l = (l < (int) count) ? l : (int) count;
     memcpy (buf, fc->record_int_buf + fc->record_int_pos, l);
     fc->record_int_pos += l;
     return l;
 }
 
-int zebra_record_fetch (ZebraHandle zh, int sysno, int score, ODR stream,
+void zebra_record_int_end (void *fh, off_t off)
+{
+    struct zebra_fetch_control *fc = (struct zebra_fetch_control *) fh;
+    fc->offset_end = off;
+}
+
+int zebra_record_fetch (ZebraHandle zh, SYSNO sysno, int score, ODR stream,
                        oid_value input_format, Z_RecordComposition *comp,
                        oid_value *output_format, char **rec_bufp,
                        int *rec_lenp, char **basenamep)
@@ -86,71 +91,115 @@ int zebra_record_fetch (ZebraHandle zh, int sysno, int score, ODR stream,
     char *fname, *file_type, *basename;
     RecType rt;
     struct recRetrieveCtrl retrieveCtrl;
-    char subType[128];
-    struct fetch_control fc;
+    struct zebra_fetch_control fc;
     RecordAttr *recordAttr;
+    void *clientData;
+    int raw_mode = 0;
 
-    rec = rec_get (zh->records, sysno);
+    rec = rec_get (zh->reg->records, sysno);
     if (!rec)
     {
-        logf (LOG_DEBUG, "rec_get fail on sysno=%d", sysno);
+        logf (LOG_DEBUG, "rec_get fail on sysno=" ZINT_FORMAT, sysno);
+        *basenamep = 0;
         return 14;
     }
-    recordAttr = rec_init_attr (zh->zei, rec);
+    recordAttr = rec_init_attr (zh->reg->zei, rec);
 
     file_type = rec->info[recInfo_fileType];
     fname = rec->info[recInfo_filename];
     basename = rec->info[recInfo_databaseName];
-    *basenamep = odr_malloc (stream, strlen(basename)+1);
+    *basenamep = (char *) odr_malloc (stream, strlen(basename)+1);
     strcpy (*basenamep, basename);
 
-    if (!(rt = recType_byName (zh->recTypes, file_type, subType)))
+    if (comp && comp->which == Z_RecordComp_simple &&
+        comp->u.simple->which == Z_ElementSetNames_generic)
+    {
+        if (!strcmp (comp->u.simple->u.generic, "R"))
+           raw_mode = 1;
+    }
+    if (!(rt = recType_byName (zh->reg->recTypes, zh->res,
+                              file_type, &clientData)))
     {
         logf (LOG_WARN, "Retrieve: Cannot handle type %s",  file_type);
        return 14;
     }
-    logf (LOG_DEBUG, "retrieve localno=%d score=%d", sysno, score);
+    logf (LOG_DEBUG, "retrieve localno=" ZINT_FORMAT " score=%d", sysno,score);
     retrieveCtrl.fh = &fc;
     fc.fd = -1;
+    retrieveCtrl.fname = fname;
     if (rec->size[recInfo_storeData] > 0)
     {
-        retrieveCtrl.readf = record_int_read;
-        retrieveCtrl.seekf = record_int_seek;
-        retrieveCtrl.tellf = record_int_tell;
+        retrieveCtrl.readf = zebra_record_int_read;
+        retrieveCtrl.seekf = zebra_record_int_seek;
+        retrieveCtrl.tellf = zebra_record_int_tell;
         fc.record_int_len = rec->size[recInfo_storeData];
         fc.record_int_buf = rec->info[recInfo_storeData];
         fc.record_int_pos = 0;
         logf (LOG_DEBUG, "Internal retrieve. %d bytes", fc.record_int_len);
+       if (raw_mode)
+       {
+            *output_format = VAL_SUTRS;
+            *rec_lenp = rec->size[recInfo_storeData];
+                   *rec_bufp = (char *) odr_malloc(stream, *rec_lenp);
+           memcpy(*rec_bufp, rec->info[recInfo_storeData], *rec_lenp);
+            rec_rm (&rec);
+           return 0;
+       }
     }
-    else 
+    else
     {
-        if ((fc.fd = open (fname, O_BINARY|O_RDONLY)) == -1)
+        char full_rep[1024];
+
+        if (zh->path_reg && !yaz_is_abspath (fname))
+        {
+            strcpy (full_rep, zh->path_reg);
+            strcat (full_rep, "/");
+            strcat (full_rep, fname);
+        }
+        else
+            strcpy (full_rep, fname);
+
+        if ((fc.fd = open (full_rep, O_BINARY|O_RDONLY)) == -1)
         {
             logf (LOG_WARN|LOG_ERRNO, "Retrieve fail; missing file: %s",
-                 fname);
+                 full_rep);
             rec_rm (&rec);
             return 14;
         }
        fc.record_offset = recordAttr->recordOffset;
 
-        retrieveCtrl.readf = record_ext_read;
-        retrieveCtrl.seekf = record_ext_seek;
-        retrieveCtrl.tellf = record_ext_tell;
-
-        record_ext_seek (retrieveCtrl.fh, 0);
+        retrieveCtrl.readf = zebra_record_ext_read;
+        retrieveCtrl.seekf = zebra_record_ext_seek;
+        retrieveCtrl.tellf = zebra_record_ext_tell;
+
+        zebra_record_ext_seek (retrieveCtrl.fh, 0);
+       if (raw_mode)
+       {
+            *output_format = VAL_SUTRS;
+            *rec_lenp = recordAttr->recordSize;
+                   *rec_bufp = (char *) odr_malloc(stream, *rec_lenp);
+           zebra_record_ext_read(&fc, *rec_bufp, *rec_lenp);
+            rec_rm (&rec);
+            close (fc.fd);
+           return 0;
+       }
     }
-    retrieveCtrl.subType = subType;
     retrieveCtrl.localno = sysno;
     retrieveCtrl.score = score;
     retrieveCtrl.recordSize = recordAttr->recordSize;
     retrieveCtrl.odr = stream;
     retrieveCtrl.input_format = retrieveCtrl.output_format = input_format;
     retrieveCtrl.comp = comp;
+    retrieveCtrl.encoding = zh->record_encoding;
     retrieveCtrl.diagnostic = 0;
-    retrieveCtrl.dh = zh->dh;
-    (*rt->retrieve)(&retrieveCtrl);
+    retrieveCtrl.dh = zh->reg->dh;
+    retrieveCtrl.res = zh->res;
+    retrieveCtrl.rec_buf = 0;
+    retrieveCtrl.rec_len = -1;
+    
+    (*rt->retrieve)(clientData, &retrieveCtrl);
     *output_format = retrieveCtrl.output_format;
-    *rec_bufp = retrieveCtrl.rec_buf;
+    *rec_bufp = (char *) retrieveCtrl.rec_buf;
     *rec_lenp = retrieveCtrl.rec_len;
     if (fc.fd != -1)
         close (fc.fd);