rset/rsbetween.c

   1 /* $Id: rsbetween.c,v 1.20 2004-08-24 14:25:16 heikki Exp $
   2    Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002
   3    Index Data Aps
   4
   5 This file is part of the Zebra server.
   6
   7 Zebra is free software; you can redistribute it and/or modify it under
   8 the terms of the GNU General Public License as published by the Free
   9 Software Foundation; either version 2, or (at your option) any later
  10 version.
  11
  12 Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
  13 WARRANTY; without even the implied warranty of MERCHANTABILITY or
  14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15 for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with Zebra; see the file LICENSE.zebra.  If not, write to the
  19 Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
  20 02111-1307, USA.
  21 */
  22
  23
  24 /* rsbetween is (mostly) used for xml searches. It returns the hits of the
  25  * "middle" rset, that are in between the "left" and "right" rsets. For
  26  * example "Shakespeare" in between "<title>" and </title>. The thing is
  27  * complicated by the inclusion of attributes (from their own rset). If attrs
  28  * specified, they must match the "left" rset (start tag). "Hamlet" between
  29  * "<title lang=eng>" and "</title>". (This assumes that the attributes are
  30  * indexed to the same seqno as the tags).
  31 */
  32
  33 #include <stdio.h>
  34 #include <stdlib.h>
  35 #include <string.h>
  36 #include <assert.h>
  37
  38 #include <zebrautl.h>
  39 #include <rsbetween.h>
  40
  41 #define RSBETWEEN_DEBUG 0
  42
  43 static RSFD r_open_between (RSET ct, int flag);
  44 static void r_close_between (RSFD rfd);
  45 static void r_delete_between (RSET ct);
  46 static void r_rewind_between (RSFD rfd);
  47 static int r_forward_between(RSET ct, RSFD rfd, void *buf,
  48                      int (*cmpfunc)(const void *p1, const void *p2),
  49                      const void *untilbuf);
  50 static int r_read_between (RSFD rfd, void *buf);
  51 static int r_write_between (RSFD rfd, const void *buf);
  52 static void r_pos_between (RSFD rfd, double *current, double *total);
  53
  54 static const struct rset_control control =
  55 {
  56     "between",
  57     r_open_between,
  58     r_close_between,
  59     r_delete_between,
  60     r_rewind_between,
  61     r_forward_between, /* rset_default_forward, */
  62     r_pos_between,
  63     r_read_between,
  64     r_write_between,
  65 };
  66
  67
  68 const struct rset_control *rset_kind_between = &control;
  69
  70 struct rset_between_info {
  71     int key_size;
  72     RSET rset_l;
  73     RSET rset_m;
  74     RSET rset_r;
  75     RSET rset_attr;
  76     int (*cmp)(const void *p1, const void *p2);
  77     char *(*printer)(const void *p1, char *buf);
  78     struct rset_between_rfd *rfd_list;
  79 };
  80
  81 struct rset_between_rfd {
  82     RSFD rfd_l;
  83     RSFD rfd_m;
  84     RSFD rfd_r;
  85     RSFD rfd_attr;
  86     int  more_l;
  87     int  more_m;
  88     int  more_r;
  89     int  more_attr;
  90     void *buf_l;
  91     void *buf_m;
  92     void *buf_r;
  93     void *buf_attr;
  94     int level;
  95     struct rset_between_rfd *next;
  96     struct rset_between_info *info;
  97     zint hits;
  98 };
  99
 100 #if RSBETWEEN_DEBUG
 101 static void log2 (struct rset_between_rfd *p, char *msg, int cmp_l, int cmp_r)
 102 {
 103     char buf_l[32];
 104     char buf_m[32];
 105     char buf_r[32];
 106     logf(LOG_DEBUG,"btw: %s l=%s(%d/%d) m=%s(%d) r=%s(%d/%d), lev=%d",
 107       msg,
 108       (*p->info->printer)(p->buf_l, buf_l), p->more_l, cmp_l,
 109       (*p->info->printer)(p->buf_m, buf_m), p->more_m,
 110       (*p->info->printer)(p->buf_r, buf_r), p->more_r, cmp_r,
 111       p->level);
 112 }
 113 #endif
 114
 115 RSET rsbetween_create( NMEM nmem, int key_size,
 116             int (*cmp)(const void *p1, const void *p2),
 117             RSET rset_l, RSET rset_m, RSET rset_r, RSET rset_attr,
 118             char *(*printer)(const void *p1, char *buf) )
 119 {
 120     RSET rnew=rset_create_base(&control, nmem);
 121     struct rset_between_info *info;
 122     info = (struct rset_between_info *) nmem_malloc(rnew->nmem,sizeof(*info));
 123     info->key_size = key_size;
 124     info->rset_l = rset_l;
 125     info->rset_m = rset_m;
 126     info->rset_r = rset_r;
 127     info->rset_attr = rset_attr;
 128     info->cmp = cmp;
 129     info->printer = printer;
 130     info->rfd_list = NULL;
 131
 132     rnew->priv=info;
 133     return rnew;
 134 }
 135
 136 /*
 137 static void *r_create_between (RSET ct, const struct rset_control *sel,
 138                                void *parms)
 139 {
 140     rset_between_parms *between_parms = (rset_between_parms *) parms;
 141     struct rset_between_info *info;
 142
 143     info = (struct rset_between_info *) xmalloc (sizeof(*info));
 144     info->key_size = between_parms->key_size;
 145     info->rset_l = between_parms->rset_l;
 146     info->rset_m = between_parms->rset_m;
 147     info->rset_r = between_parms->rset_r;
 148     info->rset_attr = between_parms->rset_attr;
 149     info->cmp = between_parms->cmp;
 150     info->printer = between_parms->printer;
 151     info->rfd_list = NULL;
 152     return info;
 153 }
 154 */
 155
 156
 157 static void r_delete_between (RSET ct)
 158 {
 159     struct rset_between_info *info = (struct rset_between_info *) ct->priv;
 160
 161     assert (info->rfd_list == NULL);
 162     rset_delete (info->rset_l);
 163     rset_delete (info->rset_m);
 164     rset_delete (info->rset_r);
 165     if (info->rset_attr)
 166         rset_delete (info->rset_attr);
 167    /* xfree (info); */
 168 }
 169
 170
 171 static RSFD r_open_between (RSET ct, int flag)
 172 {
 173     struct rset_between_info *info = (struct rset_between_info *) ct->priv;
 174     struct rset_between_rfd *rfd;
 175
 176     if (flag & RSETF_WRITE)
 177     {
 178         logf (LOG_FATAL, "between set type is read-only");
 179         return NULL;
 180     }
 181     rfd = (struct rset_between_rfd *) xmalloc (sizeof(*rfd));
 182     rfd->next = info->rfd_list;
 183     info->rfd_list = rfd;
 184     rfd->info = info;
 185
 186     rfd->buf_l = xmalloc (info->key_size);
 187     rfd->buf_m = xmalloc (info->key_size);
 188     rfd->buf_r = xmalloc (info->key_size);
 189     rfd->buf_attr = xmalloc (info->key_size);
 190
 191     rfd->rfd_l = rset_open (info->rset_l, RSETF_READ);
 192     rfd->rfd_m = rset_open (info->rset_m, RSETF_READ);
 193     rfd->rfd_r = rset_open (info->rset_r, RSETF_READ);
 194
 195     rfd->more_l = rset_read (info->rset_l, rfd->rfd_l, rfd->buf_l);
 196     rfd->more_m = rset_read (info->rset_m, rfd->rfd_m, rfd->buf_m);
 197     rfd->more_r = rset_read (info->rset_r, rfd->rfd_r, rfd->buf_r);
 198     if (info->rset_attr)
 199     {
 200         rfd->rfd_attr = rset_open (info->rset_attr, RSETF_READ);
 201         rfd->more_attr = rset_read (info->rset_attr, rfd->rfd_attr,
 202                                     rfd->buf_attr);
 203     }
 204     rfd->level=0;
 205     rfd->hits=0;
 206     return rfd;
 207 }
 208
 209 static void r_close_between (RSFD rfd)
 210 {
 211     struct rset_between_info *info = ((struct rset_between_rfd*)rfd)->info;
 212     struct rset_between_rfd **rfdp;
 213
 214     for (rfdp = &info->rfd_list; *rfdp; rfdp = &(*rfdp)->next)
 215         if (*rfdp == rfd)
 216         {
 217             xfree ((*rfdp)->buf_l);
 218             xfree ((*rfdp)->buf_m);
 219             xfree ((*rfdp)->buf_r);
 220             xfree ((*rfdp)->buf_attr);
 221             rset_close (info->rset_l, (*rfdp)->rfd_l);
 222             rset_close (info->rset_m, (*rfdp)->rfd_m);
 223             rset_close (info->rset_r, (*rfdp)->rfd_r);
 224             if (info->rset_attr)
 225                 rset_close (info->rset_attr, (*rfdp)->rfd_attr);
 226
 227             *rfdp = (*rfdp)->next;
 228             xfree (rfd);
 229             return;
 230         }
 231     logf (LOG_FATAL, "r_close_between but no rfd match!");
 232     assert (0);
 233 }
 234
 235 static void r_rewind_between (RSFD rfd)
 236 {
 237     struct rset_between_info *info = ((struct rset_between_rfd*)rfd)->info;
 238     struct rset_between_rfd *p = (struct rset_between_rfd *) rfd;
 239
 240 #if RSBETWEEN_DEBUG
 241     logf (LOG_DEBUG, "rsbetween_rewind");
 242 #endif
 243     rset_rewind (info->rset_l, p->rfd_l);
 244     rset_rewind (info->rset_m, p->rfd_m);
 245     rset_rewind (info->rset_r, p->rfd_r);
 246     p->more_l = rset_read (info->rset_l, p->rfd_l, p->buf_l);
 247     p->more_m = rset_read (info->rset_m, p->rfd_m, p->buf_m);
 248     p->more_r = rset_read (info->rset_r, p->rfd_r, p->buf_r);
 249     if (info->rset_attr)
 250     {
 251         rset_rewind (info->rset_attr, p->rfd_attr);
 252         p->more_attr = rset_read (info->rset_attr, p->rfd_attr, p->buf_attr);
 253     }
 254     p->level=0;
 255     p->hits=0;
 256 }
 257
 258
 259
 260 static int r_forward_between(RSET ct, RSFD rfd, void *buf,
 261                      int (*cmpfunc)(const void *p1, const void *p2),
 262                      const void *untilbuf)
 263 {
 264     struct rset_between_info *info = ((struct rset_between_rfd*)rfd)->info;
 265     struct rset_between_rfd *p = (struct rset_between_rfd *) rfd;
 266     int rc;
 267 #if RSBETWEEN_DEBUG
 268     log2( p, "fwd: before forward", 0,0);
 269 #endif
 270     /* It is enough to forward the m pointer here, the read will */
 271     /* naturally forward the l, m, and attr pointers */
 272     if (p->more_m)
 273         p->more_m=rset_forward(info->rset_m,p->rfd_m, p->buf_m,
 274                         info->cmp,untilbuf);
 275 #if RSBETWEEN_DEBUG
 276     log2( p, "fwd: after forward M", 0,0);
 277 #endif
 278     rc = r_read_between(rfd, buf);
 279 #if RSBETWEEN_DEBUG
 280     log2( p, "fwd: after forward", 0,0);
 281 #endif
 282     return rc;
 283 }
 284
 285
 286
 287
 288 static int r_read_between (RSFD rfd, void *buf)
 289 {
 290     struct rset_between_rfd *p = (struct rset_between_rfd *) rfd;
 291     struct rset_between_info *info = p->info;
 292     int cmp_l=0;
 293     int cmp_r=0;
 294     int attr_match = 0;
 295
 296     while (p->more_m)
 297     {
 298 #if RSBETWEEN_DEBUG
 299         log2( p, "start of loop", cmp_l, cmp_r);
 300 #endif
 301
 302         /* forward L until past m, count levels, note rec boundaries */
 303         if (p->more_l)
 304             cmp_l= (*info->cmp)(p->buf_l, p->buf_m);
 305         else
 306         {
 307             p->level = 0;
 308             cmp_l=2; /* past this record */
 309         }
 310 #if RSBETWEEN_DEBUG
 311         log2( p, "after first L", cmp_l, cmp_r);
 312 #endif
 313
 314         while (cmp_l < 0)   /* l before m */
 315         {
 316             if (cmp_l == -2)
 317                 p->level=0; /* earlier record */
 318             if (cmp_l == -1)
 319             {
 320                 p->level++; /* relevant start tag */
 321
 322                 if (!info->rset_attr)
 323                     attr_match = 1;
 324                 else
 325                 {
 326                     int cmp_attr;
 327                     attr_match = 0;
 328                     while (p->more_attr)
 329                     {
 330                         cmp_attr = (*info->cmp)(p->buf_attr, p->buf_l);
 331                         if (cmp_attr == 0)
 332                         {
 333                             attr_match = 1;
 334                             break;
 335                         }
 336                         else if (cmp_attr > 0)
 337                             break;
 338                         else if (cmp_attr==-1)
 339                             p->more_attr = rset_read (info->rset_attr,
 340                                                   p->rfd_attr, p->buf_attr);
 341                             /* if we had a forward that went all the way to
 342                              * the seqno, we could use that. But fwd only goes
 343                              * to the sysno */
 344                         else if (cmp_attr==-2)
 345                         {
 346                             p->more_attr = rset_forward(
 347                                       info->rset_attr, p->rfd_attr,
 348                                       p->buf_attr, info->cmp, p->buf_l);
 349 #if RSBETWEEN_DEBUG
 350                             logf(LOG_DEBUG, "btw: after frowarding attr m=%d",p->more_attr);
 351 #endif
 352                         }
 353                     } /* while more_attr */
 354                 }
 355             }
 356 #define NEWCODE 1
 357 #if NEWCODE
 358             if (cmp_l==-2)
 359             {
 360                 if (p->more_l)
 361                 {
 362                     p->more_l=rset_forward( info->rset_l, p->rfd_l,
 363                                       p->buf_l, info->cmp, p->buf_m);
 364                     if (p->more_l)
 365                         cmp_l= (*info->cmp)(p->buf_l, p->buf_m);
 366                     else
 367                         cmp_l=2;
 368 #if RSBETWEEN_DEBUG
 369                     log2( p, "after forwarding L", cmp_l, cmp_r);
 370 #endif
 371                 }
 372             } else
 373             {
 374                 p->more_l = rset_read (info->rset_l, p->rfd_l, p->buf_l);
 375             }
 376 #else
 377             p->more_l = rset_read (info->rset_l, p->rfd_l, p->buf_l);
 378 #endif
 379             if (p->more_l)
 380             {
 381                 cmp_l= (*info->cmp)(p->buf_l, p->buf_m);
 382             }
 383             else
 384                 cmp_l=2;
 385 #if RSBETWEEN_DEBUG
 386             log2( p, "end of L loop", cmp_l, cmp_r);
 387 #endif
 388         } /* forward L */
 389
 390
 391         /* forward R until past m, count levels */
 392 #if RSBETWEEN_DEBUG
 393         log2( p, "Before moving R", cmp_l, cmp_r);
 394 #endif
 395         if (p->more_r)
 396             cmp_r= (*info->cmp)(p->buf_r, p->buf_m);
 397         else
 398             cmp_r=2;
 399 #if RSBETWEEN_DEBUG
 400         log2( p, "after first R", cmp_l, cmp_r);
 401 #endif
 402         while (cmp_r < 0)   /* r before m */
 403         {
 404              /* -2, earlier record, don't count level */
 405             if (cmp_r == -1)
 406                 p->level--; /* relevant end tag */
 407             if (p->more_r)
 408             {
 409 #if NEWCODE
 410                 if (cmp_r==-2)
 411                 {
 412                     p->more_r=rset_forward( info->rset_r, p->rfd_r,
 413                                       p->buf_r, info->cmp, p->buf_m);
 414                 } else
 415                 {
 416                     p->more_r = rset_read (info->rset_r, p->rfd_r, p->buf_r);
 417                 }
 418                 if (p->more_r)
 419                     cmp_r= (*info->cmp)(p->buf_r, p->buf_m);
 420
 421 #else
 422                 p->more_r = rset_read (info->rset_r, p->rfd_r, p->buf_r);
 423                 cmp_r= (*info->cmp)(p->buf_r, p->buf_m);
 424 #endif
 425             }
 426             else
 427                 cmp_r=2;
 428 #if RSBETWEEN_DEBUG
 429         log2( p, "End of R loop", cmp_l, cmp_r);
 430 #endif
 431         } /* forward R */
 432
 433         if ( ( p->level <= 0 ) && ! p->more_l)
 434             return 0; /* no more start tags, nothing more to find */
 435
 436         if ( attr_match && p->level > 0)  /* within a tag pair (or deeper) */
 437         {
 438             memcpy (buf, p->buf_m, info->key_size);
 439 #if RSBETWEEN_DEBUG
 440             log2( p, "Returning a hit (and forwarding m)", cmp_l, cmp_r);
 441 #endif
 442             p->more_m = rset_read (info->rset_m, p->rfd_m, p->buf_m);
 443             if (cmp_l == 2)
 444                 p->level = 0;
 445             p->hits++;
 446             return 1;
 447         }
 448         else if ( ! p->more_l )  /* not in data, no more starts */
 449         {
 450 #if RSBETWEEN_DEBUG
 451             log2( p, "no more starts, exiting without a hit", cmp_l, cmp_r);
 452 #endif
 453             return 0;  /* ergo, nothing can be found. stop scanning */
 454         }
 455 #if NEWCODE
 456         if (cmp_l == 2)
 457         {
 458             p->level = 0;
 459             p->more_m=rset_forward( info->rset_m, p->rfd_m,
 460                               p->buf_m, info->cmp, p->buf_l);
 461         } else
 462         {
 463             p->more_m = rset_read (info->rset_m, p->rfd_m, p->buf_m);
 464         }
 465 #else
 466         if (cmp_l == 2)
 467             p->level = 0;
 468         p->more_m = rset_read (info->rset_m, p->rfd_m, p->buf_m);
 469 #endif
 470 #if RSBETWEEN_DEBUG
 471         log2( p, "End of M loop", cmp_l, cmp_r);
 472 #endif
 473     } /* while more_m */
 474
 475 #if RSBETWEEN_DEBUG
 476     log2( p, "Exiting, nothing more in m", cmp_l, cmp_r);
 477 #endif
 478     return 0;  /* no more data possible */
 479
 480
 481 }  /* r_read */
 482
 483
 484 static int r_write_between (RSFD rfd, const void *buf)
 485 {
 486     logf (LOG_FATAL, "between set type is read-only");
 487     return -1;
 488 }
 489
 490
 491 static void r_pos_between (RSFD rfd, double *current, double *total)
 492 {
 493     struct rset_between_rfd *p = (struct rset_between_rfd *) rfd;
 494     struct rset_between_info *info = p->info;
 495     double lcur,ltot;
 496     double mcur,mtot;
 497     double rcur,rtot;
 498     double r;
 499     ltot=-1; rtot=-1;
 500     rset_pos(info->rset_l, p->rfd_l,  &lcur, &ltot);
 501     rset_pos(info->rset_m, p->rfd_m,  &mcur, &mtot);
 502     rset_pos(info->rset_r, p->rfd_r,  &rcur, &rtot);
 503     if ( (ltot<0) && (mtot<0) && (rtot<0) ) { /*no position */
 504         *current=mcur;  /* return same as you got */
 505         *total=mtot;    /* probably -1 for not available */
 506     }
 507     if ( ltot<0) { ltot=0; lcur=0;} /* if only one useful, use it */
 508     if ( mtot<0) { mtot=0; mcur=0;}
 509     if ( rtot<0) { rtot=0; rcur=0;}
 510     if ( ltot+mtot+rtot < 1 ) { /* empty rset */
 511         *current=0;
 512         *total=0;
 513         return;
 514     }
 515     r=1.0*(lcur+mcur+rcur)/(ltot+mtot+rtot); /* weighed average of l and r */
 516     *current=p->hits;
 517     *total=*current/r ;
 518 #if RSBETWEEN_DEBUG
 519     yaz_log(LOG_DEBUG,"betw_pos: (%s/%s) %0.1f/%0.1f= %0.4f ",
 520                     info->rset_l->control->desc, info->rset_r->control->desc,
 521                     *current, *total, r);
 522 #endif
 523 }