index/key_block.c

   1 /* $Id: key_block.c,v 1.2 2006-11-21 14:54:12 adam Exp $
   2    Copyright (C) 1995-2006
   3    Index Data ApS
   4
   5 This file is part of the Zebra server.
   6
   7 Zebra is free software; you can redistribute it and/or modify it under
   8 the terms of the GNU General Public License as published by the Free
   9 Software Foundation; either version 2, or (at your option) any later
  10 version.
  11
  12 Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
  13 WARRANTY; without even the implied warranty of MERCHANTABILITY or
  14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15 for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with this program; if not, write to the Free Software
  19 Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
  20
  21 */
  22
  23 #include <stdio.h>
  24 #include <stdlib.h>
  25 #include <assert.h>
  26 #include <ctype.h>
  27
  28 #if YAZ_POSIX_THREADS
  29 #include <pthread.h>
  30 #endif
  31
  32 #include <yaz/nmem.h>
  33 #include "index.h"
  34 #include "key_block.h"
  35
  36 struct zebra_key_block {
  37     char **key_buf;
  38     size_t ptr_top;
  39     size_t ptr_i;
  40     size_t key_buf_used;
  41     int key_file_no;
  42     char *key_tmp_dir;
  43 #if YAZ_POSIX_THREADS
  44     char **alt_buf;
  45     char **thread_key_buf;
  46     size_t thread_ptr_top;
  47     size_t thread_ptr_i;
  48     int exit_flag;
  49     pthread_t thread_id;
  50     pthread_mutex_t mutex;
  51
  52     pthread_cond_t work_available;
  53
  54     pthread_cond_t cond_sorting;
  55     int is_sorting;
  56 #endif
  57 };
  58
  59 #define ENCODE_BUFLEN 768
  60 struct encode_info {
  61     void *encode_handle;
  62     void *decode_handle;
  63     char buf[ENCODE_BUFLEN];
  64 };
  65
  66 static int log_level = 0;
  67
  68 #define USE_SHELLSORT 0
  69
  70 #if USE_SHELLSORT
  71 static void shellsort(void *ar, int r, size_t s,
  72                       int (*cmp)(const void *a, const void *b))
  73 {
  74     char *a = ar;
  75     char v[100];
  76     int h, i, j, k;
  77     static const int incs[16] = { 1391376, 463792, 198768, 86961, 33936,
  78                                   13776, 4592, 1968, 861, 336,
  79                                   112, 48, 21, 7, 3, 1 };
  80     for ( k = 0; k < 16; k++)
  81         for (h = incs[k], i = h; i < r; i++)
  82         {
  83             memcpy (v, a+s*i, s);
  84             j = i;
  85             while (j > h && (*cmp)(a + s*(j-h), v) > 0)
  86             {
  87                 memcpy (a + s*j, a + s*(j-h), s);
  88                 j -= h;
  89             }
  90             memcpy (a+s*j, v, s);
  91         }
  92 }
  93 #endif
  94
  95
  96 static void encode_key_init(struct encode_info *i)
  97 {
  98     i->encode_handle = iscz1_start();
  99     i->decode_handle = iscz1_start();
 100 }
 101
 102 static void encode_key_write (char *k, struct encode_info *i, FILE *outf)
 103 {
 104     struct it_key key;
 105     char *bp = i->buf, *bp0;
 106     const char *src = (char *) &key;
 107
 108     /* copy term to output buf */
 109     while ((*bp++ = *k++))
 110         ;
 111     /* and copy & align key so we can mangle */
 112     memcpy (&key, k+1, sizeof(struct it_key));  /* *k is insert/delete */
 113
 114 #if 0
 115     /* debugging */
 116     key_logdump_txt(YLOG_LOG, &key, *k ? "i" : "d");
 117 #endif
 118     assert(key.mem[0] >= 0);
 119
 120     bp0 = bp++;
 121     iscz1_encode(i->encode_handle, &bp, &src);
 122
 123     *bp0 = (*k * 128) + bp - bp0 - 1; /* length and insert/delete combined */
 124     if (fwrite (i->buf, bp - i->buf, 1, outf) != 1)
 125     {
 126         yaz_log (YLOG_FATAL|YLOG_ERRNO, "fwrite");
 127         zebra_exit("encode_key_write");
 128     }
 129
 130 #if 0
 131     /* debugging */
 132     if (1)
 133     {
 134         struct it_key key2;
 135         const char *src = bp0+1;
 136         char *dst = (char*) &key2;
 137         iscz1_decode(i->decode_handle, &dst, &src);
 138
 139         key_logdump_txt(YLOG_LOG, &key2, *k ? "i" : "d");
 140
 141         assert(key2.mem[1]);
 142     }
 143 #endif
 144 }
 145
 146 static void encode_key_flush (struct encode_info *i, FILE *outf)
 147 {
 148     iscz1_stop(i->encode_handle);
 149     iscz1_stop(i->decode_handle);
 150 }
 151
 152 void key_block_flush_int(zebra_key_block_t p,
 153                          char **key_buf, size_t ptr_top, size_t ptr_i);
 154
 155 #if YAZ_POSIX_THREADS
 156 static void *thread_func(void *vp)
 157 {
 158     zebra_key_block_t p = (zebra_key_block_t) vp;
 159     while (1)
 160     {
 161         pthread_mutex_lock(&p->mutex);
 162
 163         while (!p->is_sorting && !p->exit_flag)
 164             pthread_cond_wait(&p->work_available, &p->mutex);
 165
 166         if (p->exit_flag)
 167             break;
 168
 169         pthread_mutex_unlock(&p->mutex);
 170
 171         key_block_flush_int(p, p->thread_key_buf,
 172                             p->thread_ptr_top, p->thread_ptr_i);
 173
 174         pthread_mutex_lock(&p->mutex);
 175         p->is_sorting = 0;
 176         pthread_cond_signal(&p->cond_sorting);
 177         pthread_mutex_unlock(&p->mutex);
 178     }
 179     pthread_mutex_unlock(&p->mutex);
 180     return 0;
 181 }
 182 #endif
 183
 184 zebra_key_block_t key_block_create(int mem, const char *key_tmp_dir)
 185 {
 186     zebra_key_block_t p = xmalloc(sizeof(*p));
 187
 188     p->key_buf = (char**) xmalloc (mem);
 189     p->ptr_top = mem/sizeof(char*);
 190     p->ptr_i = 0;
 191     p->key_buf_used = 0;
 192     p->key_tmp_dir = xstrdup(key_tmp_dir);
 193     p->key_file_no = 0;
 194 #if YAZ_POSIX_THREADS
 195     p->alt_buf = (char**) xmalloc (mem);
 196     p->is_sorting = 0;
 197     p->exit_flag = 0;
 198     pthread_mutex_init(&p->mutex, 0);
 199     pthread_cond_init(&p->work_available, 0);
 200     pthread_cond_init(&p->cond_sorting, 0);
 201     pthread_create(&p->thread_id, 0, thread_func, p);
 202 #endif
 203     return p;
 204 }
 205
 206 void key_block_destroy(zebra_key_block_t *pp)
 207 {
 208     zebra_key_block_t p = *pp;
 209     if (p)
 210     {
 211 #if YAZ_POSIX_THREADS
 212         pthread_mutex_lock(&p->mutex);
 213
 214         while (p->is_sorting)
 215             pthread_cond_wait(&p->cond_sorting, &p->mutex);
 216
 217         p->exit_flag = 1;
 218
 219         pthread_cond_broadcast(&p->work_available);
 220
 221         pthread_mutex_unlock(&p->mutex);
 222         pthread_join(p->thread_id, 0);
 223         pthread_cond_destroy(&p->work_available);
 224         pthread_cond_destroy(&p->cond_sorting);
 225         pthread_mutex_destroy(&p->mutex);
 226
 227         xfree(p->alt_buf);
 228 #endif
 229         xfree(p->key_buf);
 230         xfree(p->key_tmp_dir);
 231         xfree(p);
 232         *pp = 0;
 233     }
 234 }
 235
 236 void key_block_write(zebra_key_block_t p,  SYSNO sysno, struct it_key *key_in,
 237                      int cmd, const char *str_buf, size_t str_len,
 238                      zint staticrank, int static_rank_enable)
 239 {
 240     int ch;
 241     int i, j = 0;
 242     struct it_key key_out;
 243
 244     if (p->key_buf_used + 1024 > (p->ptr_top -p->ptr_i)*sizeof(char*))
 245         key_block_flush(p, 0);
 246     ++(p->ptr_i);
 247     assert(p->ptr_i > 0);
 248     (p->key_buf)[p->ptr_top - p->ptr_i] =
 249         (char*)p->key_buf + p->key_buf_used;
 250
 251     /* key_in->mem[0] ord/ch */
 252     /* key_in->mem[1] filter specified record ID */
 253
 254     /* encode the ordinal value (field/use/attribute) .. */
 255     ch = CAST_ZINT_TO_INT(key_in->mem[0]);
 256     p->key_buf_used +=
 257         key_SU_encode(ch, (char*)p->key_buf +
 258                       p->key_buf_used);
 259
 260     /* copy the 0-terminated stuff from str to output */
 261     memcpy((char*)p->key_buf + p->key_buf_used, str_buf, str_len);
 262     p->key_buf_used += str_len;
 263     ((char*)p->key_buf)[(p->key_buf_used)++] = '\0';
 264
 265     /* the delete/insert indicator */
 266     ((char*)p->key_buf)[(p->key_buf_used)++] = cmd;
 267
 268     if (static_rank_enable)
 269         key_out.mem[j++] = staticrank;
 270
 271     if (key_in->mem[1]) /* filter specified record ID */
 272         key_out.mem[j++] = key_in->mem[1];
 273     else
 274         key_out.mem[j++] = sysno;
 275     for (i = 2; i < key_in->len; i++)
 276         key_out.mem[j++] = key_in->mem[i];
 277     key_out.len = j;
 278
 279     memcpy((char*)p->key_buf + p->key_buf_used,
 280            &key_out, sizeof(key_out));
 281     (p->key_buf_used) += sizeof(key_out);
 282 }
 283
 284
 285 void key_block_flush_int(zebra_key_block_t p,
 286                          char **key_buf, size_t ptr_top,  size_t ptr_i)
 287 {
 288     FILE *outf;
 289     char out_fname[200];
 290     char *prevcp, *cp;
 291     struct encode_info encode_info;
 292
 293     (p->key_file_no)++;
 294     yaz_log(YLOG_LOG, "sorting section %d", (p->key_file_no));
 295     yaz_log(log_level, "  sort_buff at %p n=%d",
 296                     key_buf + ptr_top - ptr_i,ptr_i);
 297
 298
 299 #if USE_SHELLSORT
 300     shellsort(key_buf + ptr_top - ptr_i, ptr_i,
 301               sizeof(char*), key_qsort_compare);
 302 #else
 303     qsort(key_buf + ptr_top - ptr_i, ptr_i,
 304           sizeof(char*), key_qsort_compare);
 305 #endif
 306     sprintf(out_fname, "%s/key%d.tmp", p->key_tmp_dir, p->key_file_no);
 307
 308     if (!(outf = fopen (out_fname, "wb")))
 309     {
 310         yaz_log (YLOG_FATAL|YLOG_ERRNO, "fopen %s", out_fname);
 311         zebra_exit("key_block_flush");
 312     }
 313     yaz_log(YLOG_LOG, "writing section %d", p->key_file_no);
 314     prevcp = cp = (key_buf)[ptr_top - ptr_i];
 315
 316     encode_key_init (&encode_info);
 317     encode_key_write (cp, &encode_info, outf);
 318
 319     while (--ptr_i > 0)
 320     {
 321         cp = (key_buf)[ptr_top - ptr_i];
 322         if (strcmp (cp, prevcp))
 323         {
 324             encode_key_flush ( &encode_info, outf);
 325             encode_key_init (&encode_info);
 326             encode_key_write (cp, &encode_info, outf);
 327             prevcp = cp;
 328         }
 329         else
 330             encode_key_write (cp + strlen(cp), &encode_info, outf);
 331     }
 332     encode_key_flush ( &encode_info, outf);
 333     if (fclose (outf))
 334     {
 335         yaz_log (YLOG_FATAL|YLOG_ERRNO, "fclose %s", out_fname);
 336         zebra_exit("key_block_flush");
 337     }
 338     yaz_log(YLOG_LOG, "finished section %d", p->key_file_no);
 339 }
 340
 341 void key_block_flush(zebra_key_block_t p, int is_final)
 342         /* optimizing: if final=1, and no files written yet */
 343         /* push the keys directly to merge, sidestepping the */
 344         /* temp file altogether. Speeds small updates */
 345 {
 346 #if YAZ_POSIX_THREADS
 347     char **tmp;
 348 #endif
 349     if (!p)
 350         return;
 351
 352 #if YAZ_POSIX_THREADS
 353     pthread_mutex_lock(&p->mutex);
 354
 355     while (p->is_sorting)
 356         pthread_cond_wait(&p->cond_sorting, &p->mutex);
 357
 358     p->is_sorting = 1;
 359
 360     p->thread_ptr_top = p->ptr_top;
 361     p->thread_ptr_i = p->ptr_i;
 362     p->thread_key_buf = p->key_buf;
 363
 364     tmp = p->key_buf;
 365     p->key_buf = p->alt_buf;
 366     p->alt_buf = tmp;
 367
 368     pthread_cond_signal(&p->work_available);
 369
 370     if (is_final)
 371     {
 372         while (p->is_sorting)
 373             pthread_cond_wait(&p->cond_sorting, &p->mutex);
 374     }
 375     pthread_mutex_unlock(&p->mutex);
 376 #else
 377     key_block_flush_int(p, p->key_buf, p->ptr_top, p->ptr_i);
 378 #endif
 379     p->ptr_i = 0;
 380     p->key_buf_used = 0;
 381 }
 382
 383 int key_block_get_no_files(zebra_key_block_t p)
 384 {
 385     if (p)
 386         return p->key_file_no;
 387     return 0;
 388 }
 389
 390 /*
 391  * Local variables:
 392  * c-basic-offset: 4
 393  * indent-tabs-mode: nil
 394  * End:
 395  * vim: shiftwidth=4 tabstop=8 expandtab
 396  */
 397