Happy new year
[idzebra-moved-to-github.git] / index / reckeys.c
1 /* This file is part of the Zebra server.
2    Copyright (C) 1994-2009 Index Data
3
4 Zebra is free software; you can redistribute it and/or modify it under
5 the terms of the GNU General Public License as published by the Free
6 Software Foundation; either version 2, or (at your option) any later
7 version.
8
9 Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
10 WARRANTY; without even the implied warranty of MERCHANTABILITY or
11 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
12 for more details.
13
14 You should have received a copy of the GNU General Public License
15 along with this program; if not, write to the Free Software
16 Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
17
18 */
19
20 #include <stdio.h>
21 #include <stdlib.h>
22 #include <string.h>
23 #include <assert.h>
24 #include <ctype.h>
25
26 #include "reckeys.h"
27 #include <yaz/nmem.h>
28 #include <yaz/xmalloc.h>
29
30 struct zebra_rec_key_entry {
31     char *buf;
32     size_t len;
33     struct it_key key;
34     struct zebra_rec_key_entry *next;
35 };
36
37 struct zebra_rec_keys_t_ {
38     size_t buf_used;
39     size_t buf_max;
40     size_t fetch_offset;
41     char *buf;
42     void *encode_handle;
43     void *decode_handle;
44     char owner_of_buffer;
45     zint custom_record_id;
46
47     NMEM nmem;
48     size_t hash_size;
49     struct zebra_rec_key_entry **entries;
50 };
51
52
53 struct zebra_rec_key_entry **zebra_rec_keys_mk_hash(zebra_rec_keys_t p,
54                                                     const char *buf,
55                                                     size_t len,
56                                                     const struct it_key *key)
57 {
58     unsigned h = 0;
59     size_t i;
60     int j;
61 #if 0
62     h = key->mem[key->len-1];
63 #else
64     for (i = 0; i<len; i++)
65         h = h * 65509 + buf[i];
66     for (j = 0; j<key->len; j++)
67         h = h * 65509 + CAST_ZINT_TO_INT(key->mem[j]);
68 #endif
69     return &p->entries[h % (unsigned) p->hash_size];
70 }
71
72 static void init_hash(zebra_rec_keys_t p)
73 {
74     p->entries = 0;
75     nmem_reset(p->nmem);
76     if (p->hash_size)
77     {
78         size_t i;
79         p->entries = nmem_malloc(p->nmem, p->hash_size * sizeof(*p->entries));
80         for (i = 0; i<p->hash_size; i++)
81             p->entries[i] = 0;
82     }
83 }
84
85 zebra_rec_keys_t zebra_rec_keys_open(void)
86 {
87     zebra_rec_keys_t p = xmalloc(sizeof(*p));
88     p->buf_used = 0;
89     p->buf_max = 0;
90     p->fetch_offset = 0;
91     p->buf = 0;
92     p->owner_of_buffer = 1;
93     p->encode_handle = iscz1_start();
94     p->decode_handle = iscz1_start(); 
95
96     p->custom_record_id = 0;
97     p->nmem = nmem_create();
98     p->hash_size = 32767;
99     p->entries = 0;
100
101     init_hash(p);
102
103     return p;
104 }
105
106 void zebra_rec_keys_set_buf(zebra_rec_keys_t p, char *buf, size_t sz,
107                             int copy_buf)
108 {
109     if (p->owner_of_buffer)
110         xfree(p->buf);
111     p->buf_used = sz;
112     p->buf_max = sz;
113     if (!copy_buf)
114     {
115         p->buf = buf;
116     }
117     else
118     {
119         if (!sz)
120             p->buf = 0;
121         else
122         {
123             p->buf = xmalloc(sz);
124             memcpy(p->buf, buf, sz);
125         }
126     }
127     p->owner_of_buffer = copy_buf;
128 }
129         
130 void zebra_rec_keys_get_buf(zebra_rec_keys_t p, char **buf, size_t *sz)
131 {
132     *buf = p->buf;
133     *sz = p->buf_used;
134
135     p->buf = 0;
136     p->buf_max = 0;
137     p->buf_used = 0;
138 }
139
140 void zebra_rec_keys_close(zebra_rec_keys_t p)
141 {
142     if (!p)
143         return;
144     
145     if (p->owner_of_buffer)
146         xfree(p->buf);
147     if (p->encode_handle)
148         iscz1_stop(p->encode_handle);
149     if (p->decode_handle)
150         iscz1_stop(p->decode_handle);
151     nmem_destroy(p->nmem);
152     xfree(p);
153 }
154
155 int zebra_rec_keys_add_hash(zebra_rec_keys_t keys, 
156                             const char *str, size_t slen,
157                             const struct it_key *key)
158 {
159     struct zebra_rec_key_entry **kep_first
160         = zebra_rec_keys_mk_hash(keys, str, slen, key);
161     struct zebra_rec_key_entry **kep = kep_first;
162     while (*kep)
163     {
164         struct zebra_rec_key_entry *e = *kep;
165         if (slen == e->len && !memcmp(str, e->buf, slen) &&
166             !key_compare(key, &e->key))
167         {
168             *kep = (*kep)->next; /* out of queue */
169             e->next = *kep_first; /* move to front */
170             *kep_first = e;
171
172             return 0;
173         }
174         kep = &(*kep)->next;
175     }
176     *kep = nmem_malloc(keys->nmem, sizeof(**kep));
177     (*kep)->next = 0;
178     (*kep)->len = slen;
179     memcpy(&(*kep)->key, key, sizeof(*key));
180     (*kep)->buf = nmem_malloc(keys->nmem, slen);
181     memcpy((*kep)->buf, str, slen);
182     return 1;
183 }
184
185 void zebra_rec_keys_write(zebra_rec_keys_t keys, 
186                           const char *str, size_t slen,
187                           const struct it_key *key)
188 {
189     char *dst;
190     const char *src = (char*) key;
191     
192     assert(keys->owner_of_buffer);
193
194     if (key->mem[1]) /* record_id custom */
195     {
196         keys->custom_record_id = key->mem[1];
197     }
198 #if 1
199     if (!zebra_rec_keys_add_hash(keys, str, slen, key))
200     {
201 #if 0
202         yaz_log(YLOG_LOG, "dup key slen=%d %.*s "
203                 "ord=" ZINT_FORMAT " seq=" ZINT_FORMAT,
204                 slen, slen, str, key->mem[0], key->mem[key->len-1]);
205 #endif
206         return;  /* key already there . Omit it */
207     }
208 #endif
209     if (keys->buf_used+1024 > keys->buf_max)
210     {
211         char *b = (char *) xmalloc (keys->buf_max += 128000);
212         if (keys->buf_used > 0)
213             memcpy (b, keys->buf, keys->buf_used);
214         xfree (keys->buf);
215         keys->buf = b;
216     }
217     dst = keys->buf + keys->buf_used;
218
219     iscz1_encode(keys->encode_handle, &dst, &src);
220
221     memcpy (dst, str, slen);
222     dst += slen;
223     *dst++ = '\0';
224     keys->buf_used = dst - keys->buf;
225 }
226
227 void zebra_rec_keys_reset(zebra_rec_keys_t keys)
228 {
229     assert(keys);
230     keys->buf_used = 0;
231     
232     iscz1_reset(keys->encode_handle);
233
234     init_hash(keys);
235 }
236
237 int zebra_rec_keys_rewind(zebra_rec_keys_t keys)
238 {
239     assert(keys);
240     iscz1_reset(keys->decode_handle);
241
242
243     keys->fetch_offset = 0;
244     if (keys->buf_used == 0)
245         return 0;
246     return 1;
247 }
248
249 int zebra_rec_keys_empty(zebra_rec_keys_t keys)
250 {
251     if (keys->buf_used == 0)
252         return 1;
253     return 0;
254 }
255
256 int zebra_rec_keys_read(zebra_rec_keys_t keys,
257                         const char **str, size_t *slen,
258                         struct it_key *key)
259 {
260     assert(keys);
261     if (keys->fetch_offset == keys->buf_used)
262         return 0;
263     else
264     {
265         const char *src = keys->buf + keys->fetch_offset;
266         char *dst = (char*) key;
267         
268         assert (keys->fetch_offset < keys->buf_used);
269
270         /* store the destination key */
271         iscz1_decode(keys->decode_handle, &dst, &src);
272         
273         /* store pointer to string and length of it */
274         *str = src;
275         *slen = strlen(src);
276         src += *slen + 1;
277         
278         keys->fetch_offset = src - keys->buf;
279     }
280     return 1;
281 }
282
283 zint zebra_rec_keys_get_custom_record_id(zebra_rec_keys_t keys)
284 {
285     return keys->custom_record_id;
286 }
287
288 /*
289  * Local variables:
290  * c-basic-offset: 4
291  * indent-tabs-mode: nil
292  * End:
293  * vim: shiftwidth=4 tabstop=8 expandtab
294  */
295