zebra_begin_trans got extra "write" flag. zebra_begin_read
[idzebra-moved-to-github.git] / index / index.h
index 345cf42..8b21f91 100644 (file)
@@ -1,9 +1,26 @@
-/*
- * Copyright (C) 1995-2002, Index Data
- * All rights reserved.
- * Sebastian Hammer, Adam Dickmeiss, Heikki Levanto
- * $Id: index.h,v 1.77 2002-04-05 08:46:26 adam Exp $
- */
+/* $Id: index.h,v 1.94 2003-03-04 23:30:20 adam Exp $
+   Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002
+   Index Data Aps
+
+This file is part of the Zebra server.
+
+Zebra is free software; you can redistribute it and/or modify it under
+the terms of the GNU General Public License as published by the Free
+Software Foundation; either version 2, or (at your option) any later
+version.
+
+Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
+WARRANTY; without even the implied warranty of MERCHANTABILITY or
+FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+for more details.
+
+You should have received a copy of the GNU General Public License
+along with Zebra; see the file LICENSE.zebra.  If not, write to the
+Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
+02111-1307, USA.
+*/
+
+
 
 #ifndef INDEX_H
 #define INDEX_H
 #if HAVE_SYS_TIMES_H
 #include <sys/times.h>
 #endif
+#include <sys/stat.h>
 
 #include <dict.h>
 #include <isams.h>
 #include <isam.h>
 #include <isamc.h>
 #include <isamd.h>
+#include <isamb.h>
 #define ISAM_DEFAULT "c"
-#include <yaz/data1.h>
+#include <data1.h>
 #include <recctrl.h>
 #include "recindex.h"
 #include "zebraapi.h"
@@ -74,7 +93,8 @@ void dirs_add (struct dirs_info *p, const char *src, int sysno, time_t mtime);
 void dirs_del (struct dirs_info *p, const char *src);
 void dirs_free (struct dirs_info **pp);
 
-struct dir_entry *dir_open (const char *rep, const char *base);
+struct dir_entry *dir_open (const char *rep, const char *base,
+                            int follow_links);
 void dir_sort (struct dir_entry *e);
 void dir_free (struct dir_entry **e_p);
 
@@ -86,6 +106,7 @@ void repositoryShow (ZebraHandle zh);
 int key_open (ZebraHandle zh, int mem);
 int key_close (ZebraHandle zh);
 int key_compare (const void *p1, const void *p2);
+char *key_print_it (const void *p, char *buf);
 int key_get_pos (const void *p);
 int key_compare_it (const void *p1, const void *p2);
 int key_qsort_compare (const void *p1, const void *p2);
@@ -149,18 +170,22 @@ void zebra_load_atts (data1_handle dh, Res res);
 int key_SU_decode (int *ch, const unsigned char *out);
 int key_SU_encode (int ch, char *out);
 
-// extern Res common_resource;
-
+#define ENCODE_BUFLEN 768
 struct encode_info {
-    int  sysno;
+    int  sysno;  /* previously written values for delta-compress */
     int  seqno;
     int  cmd;
-    char buf[768];
+    int prevsys; /* buffer for skipping insert/delete pairs */
+    int prevseq;
+    int prevcmd;
+    int keylen; /* tells if we have an unwritten key in buf, and how long*/
+    char buf[ENCODE_BUFLEN];
 };
 
 void encode_key_init (struct encode_info *i);
 char *encode_key_int (int d, char *bp);
 void encode_key_write (char *k, struct encode_info *i, FILE *outf);
+void encode_key_flush (struct encode_info *i, FILE *outf);
 
 typedef struct {
     char *term;
@@ -187,6 +212,13 @@ struct recKeys {
     int prevSeqNo;
 };
 
+#if 1
+struct sortKeys {
+    int buf_used;
+    int buf_max;
+    char *buf;
+};
+#else
 struct sortKey {
     char *string;
     int length;
@@ -194,6 +226,7 @@ struct sortKey {
     int attrUse;
     struct sortKey *next;
 };
+#endif
 
 struct zebra_register {
     char *name;
@@ -202,6 +235,7 @@ struct zebra_register {
     ISAM isam;
     ISAMC isamc;
     ISAMD isamd;
+    ISAMB isamb;
     Dict dict;
     Dict matchDict;
     SortIdx sortIdx;
@@ -221,11 +255,12 @@ struct zebra_register {
     int stop_flag;
     int active; /* 0=shutdown, 1=enabled and inactive, 2=activated */
 
-
-
     struct recKeys keys;
+#if 1
+    struct sortKeys sortKeys;
+#else
     struct sortKey *sortKeys;
-
+#endif
     char **key_buf;
     size_t ptr_top;
     size_t ptr_i;
@@ -261,6 +296,8 @@ struct zebra_session {
     ZebraLockHandle lock_shadow;
 
     int trans_no;
+    int trans_w_no;
+
     int destroyed;
     ZebraSet sets;
     Res res;
@@ -272,6 +309,16 @@ struct zebra_session {
     struct tms tms2;    
 #endif
     struct recordGroup rGroup;
+    int  shadow_enable;
+
+    int records_inserted;
+    int records_updated;
+    int records_deleted;
+    int records_processed;
+    char *record_encoding;
+
+    yaz_iconv_t iconv_to_utf8;
+    yaz_iconv_t iconv_from_utf8;
 };
 
 struct rank_control {
@@ -306,7 +353,8 @@ void rpn_scan (ZebraHandle zh, ODR stream, Z_AttributesPlusTerm *zapt,
               int *is_partial);
 
 RSET rset_trunc (ZebraHandle zh, ISAMS_P *isam_p, int no,
-                const char *term, int length_term, const char *flags);
+                const char *term, int length_term, const char *flags,
+                 int preserve_position, int term_type);
 
 void resultSetAddTerm (ZebraHandle zh, ZebraSet s, int reg_type,
                       const char *db, int set,
@@ -354,6 +402,7 @@ void zebraRankDestroy (struct zebra_register *reg);
 int att_getentbyatt(ZebraHandle zh, attent *res, oid_value set, int att);
 
 extern struct rank_control *rank1_class;
+extern struct rank_control *rankzv_class;
 
 int zebra_record_fetch (ZebraHandle zh, int sysno, int score, ODR stream,
                        oid_value input_format, Z_RecordComposition *comp,
@@ -363,6 +412,15 @@ int zebra_record_fetch (ZebraHandle zh, int sysno, int score, ODR stream,
 void extract_get_fname_tmp (ZebraHandle zh, char *fname, int no);
 void zebra_index_merge (ZebraHandle zh);
 
+int bufferExtractRecord (ZebraHandle zh, 
+                        const char *buf, size_t buf_size,
+                        struct recordGroup *rGroup, 
+                        int delete_flag,
+                        int test_mode, 
+                        const char *recordType,
+                        int *sysno,
+                        const char *match_criteria,
+                        const char *fname);
 
 int extract_rec_in_mem (ZebraHandle zh, const char *recordType,
                         const char *buf, size_t buf_size,
@@ -370,7 +428,6 @@ int extract_rec_in_mem (ZebraHandle zh, const char *recordType,
                         int test_mode, int *sysno,
                         int store_keys, int store_data,
                         const char *match_criteria);
-
 void extract_flushWriteKeys (ZebraHandle zh);
 
 struct zebra_fetch_control {
@@ -393,7 +450,7 @@ void zebra_record_int_end (void *fh, off_t offset);
 void extract_flushRecordKeys (ZebraHandle zh, SYSNO sysno,
                               int cmd, struct recKeys *reckeys);
 void extract_flushSortKeys (ZebraHandle zh, SYSNO sysno,
-                            int cmd, struct sortKey **skp);
+                            int cmd, struct sortKeys *skp);
 void extract_schema_add (struct recExtractCtrl *p, Odr_oid *oid);
 void extract_token_add (RecWord *p);
 int explain_extract (void *handle, Record rec, data1_node *n);
@@ -401,6 +458,12 @@ int explain_extract (void *handle, Record rec, data1_node *n);
 int fileExtract (ZebraHandle zh, SYSNO *sysno, const char *fname,
                  const struct recordGroup *rGroup, int deleteFlag);
 
+int zebra_begin_read (ZebraHandle zh);
+void zebra_end_read (ZebraHandle zh);
+
+int zebra_file_stat (const char *file_name, struct stat *buf,
+                     int follow_links);
+
 YAZ_END_CDECL
 
 #endif