rset/rsbetween.c

   1 /* $Id: rsbetween.c,v 1.23 2004-08-31 10:43:36 heikki Exp $
   2    Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002
   3    Index Data Aps
   4
   5 This file is part of the Zebra server.
   6
   7 Zebra is free software; you can redistribute it and/or modify it under
   8 the terms of the GNU General Public License as published by the Free
   9 Software Foundation; either version 2, or (at your option) any later
  10 version.
  11
  12 Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
  13 WARRANTY; without even the implied warranty of MERCHANTABILITY or
  14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15 for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with Zebra; see the file LICENSE.zebra.  If not, write to the
  19 Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
  20 02111-1307, USA.
  21 */
  22
  23
  24 /* rsbetween is (mostly) used for xml searches. It returns the hits of the
  25  * "middle" rset, that are in between the "left" and "right" rsets. For
  26  * example "Shakespeare" in between "<title>" and </title>. The thing is
  27  * complicated by the inclusion of attributes (from their own rset). If attrs
  28  * specified, they must match the "left" rset (start tag). "Hamlet" between
  29  * "<title lang=eng>" and "</title>". (This assumes that the attributes are
  30  * indexed to the same seqno as the tags).
  31 */
  32
  33 #include <stdio.h>
  34 #include <stdlib.h>
  35 #include <string.h>
  36 #include <assert.h>
  37
  38 #include <zebrautl.h>
  39 #include <rsbetween.h>
  40
  41 #define RSBETWEEN_DEBUG 0
  42
  43 static RSFD r_open_between (RSET ct, int flag);
  44 static void r_close_between (RSFD rfd);
  45 static void r_delete_between (RSET ct);
  46 static void r_rewind_between (RSFD rfd);
  47 static int r_forward_between(RSFD rfd, void *buf,
  48                      int (*cmpfunc)(const void *p1, const void *p2),
  49                      const void *untilbuf);
  50 static int r_read_between (RSFD rfd, void *buf);
  51 static int r_write_between (RSFD rfd, const void *buf);
  52 static void r_pos_between (RSFD rfd, double *current, double *total);
  53
  54 static const struct rset_control control =
  55 {
  56     "between",
  57     r_delete_between,
  58     r_open_between,
  59     r_close_between,
  60     r_rewind_between,
  61     r_forward_between, /* rset_default_forward, */
  62     r_pos_between,
  63     r_read_between,
  64     r_write_between,
  65 };
  66
  67
  68 const struct rset_control *rset_kind_between = &control;
  69
  70 struct rset_between_info {
  71     int key_size;
  72     RSET rset_l;
  73     RSET rset_m;
  74     RSET rset_r;
  75     RSET rset_attr;
  76     int (*cmp)(const void *p1, const void *p2);
  77     char *(*printer)(const void *p1, char *buf);
  78 };
  79
  80 struct rset_between_rfd {
  81     RSFD rfd_l;
  82     RSFD rfd_m;
  83     RSFD rfd_r;
  84     RSFD rfd_attr;
  85     int  more_l;
  86     int  more_m;
  87     int  more_r;
  88     int  more_attr;
  89     void *buf_l;
  90     void *buf_m;
  91     void *buf_r;
  92     void *buf_attr;
  93     int level;
  94     struct rset_between_rfd *next;
  95     struct rset_between_info *info;
  96     zint hits;
  97 };
  98
  99 #if RSBETWEEN_DEBUG
 100 static void log2 (struct rset_between_rfd *p, char *msg, int cmp_l, int cmp_r)
 101 {
 102     char buf_l[32];
 103     char buf_m[32];
 104     char buf_r[32];
 105     logf(LOG_DEBUG,"btw: %s l=%s(%d/%d) m=%s(%d) r=%s(%d/%d), lev=%d",
 106       msg,
 107       (*p->info->printer)(p->buf_l, buf_l), p->more_l, cmp_l,
 108       (*p->info->printer)(p->buf_m, buf_m), p->more_m,
 109       (*p->info->printer)(p->buf_r, buf_r), p->more_r, cmp_r,
 110       p->level);
 111 }
 112 #endif
 113
 114 RSET rsbetween_create( NMEM nmem, int key_size,
 115             int (*cmp)(const void *p1, const void *p2),
 116             RSET rset_l, RSET rset_m, RSET rset_r, RSET rset_attr,
 117             char *(*printer)(const void *p1, char *buf) )
 118 {
 119     RSET rnew=rset_create_base(&control, nmem);
 120     struct rset_between_info *info;
 121     info = (struct rset_between_info *) nmem_malloc(rnew->nmem,sizeof(*info));
 122     info->key_size = key_size;
 123     info->rset_l = rset_l;
 124     info->rset_m = rset_m;
 125     info->rset_r = rset_r;
 126     info->rset_attr = rset_attr;
 127     info->cmp = cmp;
 128     info->printer = printer;
 129
 130     rnew->priv=info;
 131     return rnew;
 132 }
 133
 134
 135 static void r_delete_between (RSET ct)
 136 {
 137     struct rset_between_info *info = (struct rset_between_info *) ct->priv;
 138
 139     rset_delete (info->rset_l);
 140     rset_delete (info->rset_m);
 141     rset_delete (info->rset_r);
 142     if (info->rset_attr)
 143         rset_delete (info->rset_attr);
 144 }
 145
 146
 147 static RSFD r_open_between (RSET ct, int flag)
 148 {
 149     struct rset_between_info *info = (struct rset_between_info *) ct->priv;
 150     RSFD rfd;
 151     struct rset_between_rfd *p;
 152
 153     if (flag & RSETF_WRITE)
 154     {
 155         logf (LOG_FATAL, "between set type is read-only");
 156         return NULL;
 157     }
 158     rfd=rfd_create_base(ct);
 159     if (rfd->priv)
 160         p=(struct rset_between_rfd *)rfd->priv;
 161     else {
 162         p = (struct rset_between_rfd *) nmem_malloc(ct->nmem, (sizeof(*p)));
 163         rfd->priv=p;
 164         p->buf_l = nmem_malloc(ct->nmem, (info->key_size));
 165         p->buf_m = nmem_malloc(ct->nmem, (info->key_size));
 166         p->buf_r = nmem_malloc(ct->nmem, (info->key_size));
 167         p->buf_attr = nmem_malloc(ct->nmem, (info->key_size));
 168     }
 169
 170     p->rfd_l = rset_open (info->rset_l, RSETF_READ);
 171     p->rfd_m = rset_open (info->rset_m, RSETF_READ);
 172     p->rfd_r = rset_open (info->rset_r, RSETF_READ);
 173
 174     p->more_l = rset_read (p->rfd_l, p->buf_l);
 175     p->more_m = rset_read (p->rfd_m, p->buf_m);
 176     p->more_r = rset_read (p->rfd_r, p->buf_r);
 177     if (info->rset_attr)
 178     {
 179         p->rfd_attr = rset_open (info->rset_attr, RSETF_READ);
 180         p->more_attr = rset_read (p->rfd_attr, p->buf_attr);
 181     }
 182     p->level=0;
 183     p->hits=0;
 184     return rfd;
 185 }
 186
 187 static void r_close_between (RSFD rfd)
 188 {
 189     struct rset_between_info *info =(struct rset_between_info *)rfd->rset->priv;
 190     struct rset_between_rfd *p=(struct rset_between_rfd *)rfd->priv;
 191
 192     rset_close (p->rfd_l);
 193     rset_close (p->rfd_m);
 194     rset_close (p->rfd_r);
 195     if (info->rset_attr)
 196         rset_close (p->rfd_attr);
 197     rfd_delete_base(rfd);
 198 }
 199
 200 static void r_rewind_between (RSFD rfd)
 201 {
 202     struct rset_between_info *info =(struct rset_between_info *)rfd->rset->priv;
 203     struct rset_between_rfd *p=(struct rset_between_rfd *)rfd->priv;
 204
 205 #if RSBETWEEN_DEBUG
 206     logf (LOG_DEBUG, "rsbetween_rewind");
 207 #endif
 208     rset_rewind (p->rfd_l);
 209     rset_rewind (p->rfd_m);
 210     rset_rewind (p->rfd_r);
 211     p->more_l = rset_read (p->rfd_l, p->buf_l);
 212     p->more_m = rset_read (p->rfd_m, p->buf_m);
 213     p->more_r = rset_read (p->rfd_r, p->buf_r);
 214     if (info->rset_attr)
 215     {
 216         rset_rewind (p->rfd_attr);
 217         p->more_attr = rset_read (p->rfd_attr, p->buf_attr);
 218     }
 219     p->level=0;
 220     p->hits=0;
 221 }
 222
 223
 224
 225 static int r_forward_between(RSFD rfd, void *buf,
 226                      int (*cmpfunc)(const void *p1, const void *p2),
 227                      const void *untilbuf)
 228 {
 229     struct rset_between_info *info =(struct rset_between_info *)rfd->rset->priv;
 230     struct rset_between_rfd *p=(struct rset_between_rfd *)rfd->priv;
 231     int rc;
 232 #if RSBETWEEN_DEBUG
 233     log2( p, "fwd: before forward", 0,0);
 234 #endif
 235     /* It is enough to forward the m pointer here, the read will */
 236     /* naturally forward the l, m, and attr pointers */
 237     if (p->more_m)
 238         p->more_m=rset_forward(p->rfd_m, p->buf_m,
 239                         info->cmp,untilbuf);
 240 #if RSBETWEEN_DEBUG
 241     log2( p, "fwd: after forward M", 0,0);
 242 #endif
 243     rc = r_read_between(rfd, buf);
 244 #if RSBETWEEN_DEBUG
 245     log2( p, "fwd: after forward", 0,0);
 246 #endif
 247     return rc;
 248 }
 249
 250
 251
 252
 253 static int r_read_between (RSFD rfd, void *buf)
 254 {
 255     struct rset_between_info *info =(struct rset_between_info *)rfd->rset->priv;
 256     struct rset_between_rfd *p=(struct rset_between_rfd *)rfd->priv;
 257     int cmp_l=0;
 258     int cmp_r=0;
 259     int attr_match = 0;
 260
 261     while (p->more_m)
 262     {
 263 #if RSBETWEEN_DEBUG
 264         log2( p, "start of loop", cmp_l, cmp_r);
 265 #endif
 266
 267         /* forward L until past m, count levels, note rec boundaries */
 268         if (p->more_l)
 269             cmp_l= (*info->cmp)(p->buf_l, p->buf_m);
 270         else
 271         {
 272             p->level = 0;
 273             cmp_l=2; /* past this record */
 274         }
 275 #if RSBETWEEN_DEBUG
 276         log2( p, "after first L", cmp_l, cmp_r);
 277 #endif
 278
 279         while (cmp_l < 0)   /* l before m */
 280         {
 281             if (cmp_l == -2)
 282                 p->level=0; /* earlier record */
 283             if (cmp_l == -1)
 284             {
 285                 p->level++; /* relevant start tag */
 286
 287                 if (!info->rset_attr)
 288                     attr_match = 1;
 289                 else
 290                 {
 291                     int cmp_attr;
 292                     attr_match = 0;
 293                     while (p->more_attr)
 294                     {
 295                         cmp_attr = (*info->cmp)(p->buf_attr, p->buf_l);
 296                         if (cmp_attr == 0)
 297                         {
 298                             attr_match = 1;
 299                             break;
 300                         }
 301                         else if (cmp_attr > 0)
 302                             break;
 303                         else if (cmp_attr==-1)
 304                             p->more_attr = rset_read (p->rfd_attr, p->buf_attr);
 305                             /* if we had a forward that went all the way to
 306                              * the seqno, we could use that. But fwd only goes
 307                              * to the sysno */
 308                         else if (cmp_attr==-2)
 309                         {
 310                             p->more_attr = rset_forward( p->rfd_attr,
 311                                       p->buf_attr, info->cmp, p->buf_l);
 312 #if RSBETWEEN_DEBUG
 313                             logf(LOG_DEBUG, "btw: after frowarding attr m=%d",p->more_attr);
 314 #endif
 315                         }
 316                     } /* while more_attr */
 317                 }
 318             }
 319 #define NEWCODE 1
 320 #if NEWCODE
 321             if (cmp_l==-2)
 322             {
 323                 if (p->more_l)
 324                 {
 325                     p->more_l=rset_forward(p->rfd_l,
 326                                       p->buf_l, info->cmp, p->buf_m);
 327                     if (p->more_l)
 328                         cmp_l= (*info->cmp)(p->buf_l, p->buf_m);
 329                     else
 330                         cmp_l=2;
 331 #if RSBETWEEN_DEBUG
 332                     log2( p, "after forwarding L", cmp_l, cmp_r);
 333 #endif
 334                 }
 335             } else
 336             {
 337                 p->more_l = rset_read (p->rfd_l, p->buf_l);
 338             }
 339 #else
 340             p->more_l = rset_read (p->rfd_l, p->buf_l);
 341 #endif
 342             if (p->more_l)
 343             {
 344                 cmp_l= (*info->cmp)(p->buf_l, p->buf_m);
 345             }
 346             else
 347                 cmp_l=2;
 348 #if RSBETWEEN_DEBUG
 349             log2( p, "end of L loop", cmp_l, cmp_r);
 350 #endif
 351         } /* forward L */
 352
 353
 354         /* forward R until past m, count levels */
 355 #if RSBETWEEN_DEBUG
 356         log2( p, "Before moving R", cmp_l, cmp_r);
 357 #endif
 358         if (p->more_r)
 359             cmp_r= (*info->cmp)(p->buf_r, p->buf_m);
 360         else
 361             cmp_r=2;
 362 #if RSBETWEEN_DEBUG
 363         log2( p, "after first R", cmp_l, cmp_r);
 364 #endif
 365         while (cmp_r < 0)   /* r before m */
 366         {
 367              /* -2, earlier record, don't count level */
 368             if (cmp_r == -1)
 369                 p->level--; /* relevant end tag */
 370             if (p->more_r)
 371             {
 372 #if NEWCODE
 373                 if (cmp_r==-2)
 374                 {
 375                     p->more_r=rset_forward(p->rfd_r,
 376                                       p->buf_r, info->cmp, p->buf_m);
 377                 } else
 378                 {
 379                     p->more_r = rset_read (p->rfd_r, p->buf_r);
 380                 }
 381                 if (p->more_r)
 382                     cmp_r= (*info->cmp)(p->buf_r, p->buf_m);
 383
 384 #else
 385                 p->more_r = rset_read (p->rfd_r, p->buf_r);
 386                 cmp_r= (*info->cmp)(p->buf_r, p->buf_m);
 387 #endif
 388             }
 389             else
 390                 cmp_r=2;
 391 #if RSBETWEEN_DEBUG
 392         log2( p, "End of R loop", cmp_l, cmp_r);
 393 #endif
 394         } /* forward R */
 395
 396         if ( ( p->level <= 0 ) && ! p->more_l)
 397             return 0; /* no more start tags, nothing more to find */
 398
 399         if ( attr_match && p->level > 0)  /* within a tag pair (or deeper) */
 400         {
 401             memcpy (buf, p->buf_m, info->key_size);
 402 #if RSBETWEEN_DEBUG
 403             log2( p, "Returning a hit (and forwarding m)", cmp_l, cmp_r);
 404 #endif
 405             p->more_m = rset_read (p->rfd_m, p->buf_m);
 406             if (cmp_l == 2)
 407                 p->level = 0;
 408             p->hits++;
 409             return 1;
 410         }
 411         else if ( ! p->more_l )  /* not in data, no more starts */
 412         {
 413 #if RSBETWEEN_DEBUG
 414             log2( p, "no more starts, exiting without a hit", cmp_l, cmp_r);
 415 #endif
 416             return 0;  /* ergo, nothing can be found. stop scanning */
 417         }
 418 #if NEWCODE
 419         if (cmp_l == 2)
 420         {
 421             p->level = 0;
 422             p->more_m=rset_forward(p->rfd_m,
 423                               p->buf_m, info->cmp, p->buf_l);
 424         } else
 425         {
 426             p->more_m = rset_read (p->rfd_m, p->buf_m);
 427         }
 428 #else
 429         if (cmp_l == 2)
 430             p->level = 0;
 431         p->more_m = rset_read (p->rfd_m, p->buf_m);
 432 #endif
 433 #if RSBETWEEN_DEBUG
 434         log2( p, "End of M loop", cmp_l, cmp_r);
 435 #endif
 436     } /* while more_m */
 437
 438 #if RSBETWEEN_DEBUG
 439     log2( p, "Exiting, nothing more in m", cmp_l, cmp_r);
 440 #endif
 441     return 0;  /* no more data possible */
 442
 443
 444 }  /* r_read */
 445
 446
 447 static int r_write_between (RSFD rfd, const void *buf)
 448 {
 449     logf (LOG_FATAL, "between set type is read-only");
 450     return -1;
 451 }
 452
 453
 454 static void r_pos_between (RSFD rfd, double *current, double *total)
 455 {
 456     struct rset_between_rfd *p=(struct rset_between_rfd *)rfd->priv;
 457     double lcur,ltot;
 458     double mcur,mtot;
 459     double rcur,rtot;
 460     double r;
 461     ltot=-1; rtot=-1;
 462     rset_pos(p->rfd_l,  &lcur, &ltot);
 463     rset_pos(p->rfd_m,  &mcur, &mtot);
 464     rset_pos(p->rfd_r,  &rcur, &rtot);
 465     if ( (ltot<0) && (mtot<0) && (rtot<0) ) { /*no position */
 466         *current=mcur;  /* return same as you got */
 467         *total=mtot;    /* probably -1 for not available */
 468     }
 469     if ( ltot<0) { ltot=0; lcur=0;} /* if only one useful, use it */
 470     if ( mtot<0) { mtot=0; mcur=0;}
 471     if ( rtot<0) { rtot=0; rcur=0;}
 472     if ( ltot+mtot+rtot < 1 ) { /* empty rset */
 473         *current=0;
 474         *total=0;
 475         return;
 476     }
 477     r=1.0*(lcur+mcur+rcur)/(ltot+mtot+rtot); /* weighed average of l and r */
 478     *current=p->hits;
 479     *total=*current/r ;
 480 #if RSBETWEEN_DEBUG
 481     yaz_log(LOG_DEBUG,"betw_pos: (%s/%s) %0.1f/%0.1f= %0.4f ",
 482                     info->rset_l->control->desc, info->rset_r->control->desc,
 483                     *current, *total, r);
 484 #endif
 485 }