rset/rsbetween.c

   1 /* $Id: rsbetween.c,v 1.24 2004-09-01 15:01:32 heikki Exp $
   2    Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002
   3    Index Data Aps
   4
   5 This file is part of the Zebra server.
   6
   7 Zebra is free software; you can redistribute it and/or modify it under
   8 the terms of the GNU General Public License as published by the Free
   9 Software Foundation; either version 2, or (at your option) any later
  10 version.
  11
  12 Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
  13 WARRANTY; without even the implied warranty of MERCHANTABILITY or
  14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15 for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with Zebra; see the file LICENSE.zebra.  If not, write to the
  19 Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
  20 02111-1307, USA.
  21 */
  22
  23
  24 /* rsbetween is (mostly) used for xml searches. It returns the hits of the
  25  * "middle" rset, that are in between the "left" and "right" rsets. For
  26  * example "Shakespeare" in between "<title>" and </title>. The thing is
  27  * complicated by the inclusion of attributes (from their own rset). If attrs
  28  * specified, they must match the "left" rset (start tag). "Hamlet" between
  29  * "<title lang=eng>" and "</title>". (This assumes that the attributes are
  30  * indexed to the same seqno as the tags).
  31 */
  32
  33 #include <stdio.h>
  34 #include <stdlib.h>
  35 #include <string.h>
  36 #include <assert.h>
  37
  38 #include <zebrautl.h>
  39 #include <rset.h>
  40
  41 #define RSBETWEEN_DEBUG 0
  42
  43 static RSFD r_open_between (RSET ct, int flag);
  44 static void r_close_between (RSFD rfd);
  45 static void r_delete_between (RSET ct);
  46 static void r_rewind_between (RSFD rfd);
  47 static int r_forward_between(RSFD rfd, void *buf, const void *untilbuf);
  48 static int r_read_between (RSFD rfd, void *buf);
  49 static int r_write_between (RSFD rfd, const void *buf);
  50 static void r_pos_between (RSFD rfd, double *current, double *total);
  51
  52 static const struct rset_control control =
  53 {
  54     "between",
  55     r_delete_between,
  56     r_open_between,
  57     r_close_between,
  58     r_rewind_between,
  59     r_forward_between,
  60     r_pos_between,
  61     r_read_between,
  62     r_write_between,
  63 };
  64
  65
  66 const struct rset_control *rset_kind_between = &control;
  67
  68 struct rset_between_info {
  69     RSET rset_l;  /* left arg, start tag */
  70     RSET rset_m;  /* the thing itself */
  71     RSET rset_r;  /* right arg, end tag */
  72     RSET rset_attr; /* attributes , optional */
  73 };
  74
  75 struct rset_between_rfd {
  76     RSFD rfd_l;
  77     RSFD rfd_m;
  78     RSFD rfd_r;
  79     RSFD rfd_attr;
  80     int  more_l;
  81     int  more_m;
  82     int  more_r;
  83     int  more_attr;
  84     void *buf_l;
  85     void *buf_m;
  86     void *buf_r;
  87     void *buf_attr;
  88     int level;  /* counting start/end tags */
  89     zint hits;
  90 };
  91
  92 #if RSBETWEEN_DEBUG
  93 static void log2 (struct rset_between_rfd *p, char *msg, int cmp_l, int cmp_r)
  94 {
  95     char buf_l[32];
  96     char buf_m[32];
  97     char buf_r[32];
  98     logf(LOG_DEBUG,"btw: %s l=%s(%d/%d) m=%s(%d) r=%s(%d/%d), lev=%d",
  99       msg,
 100       (*p->info->printer)(p->buf_l, buf_l), p->more_l, cmp_l,
 101       (*p->info->printer)(p->buf_m, buf_m), p->more_m,
 102       (*p->info->printer)(p->buf_r, buf_r), p->more_r, cmp_r,
 103       p->level);
 104 }
 105 #endif
 106
 107 RSET rsbetween_create( NMEM nmem, const struct key_control *kcontrol,
 108             RSET rset_l, RSET rset_m, RSET rset_r, RSET rset_attr)
 109 {
 110     RSET rnew=rset_create_base(&control, nmem, kcontrol);
 111     struct rset_between_info *info=
 112         (struct rset_between_info *) nmem_malloc(rnew->nmem,sizeof(*info));
 113     info->rset_l = rset_l;
 114     info->rset_m = rset_m;
 115     info->rset_r = rset_r;
 116     info->rset_attr = rset_attr;
 117     rnew->priv=info;
 118     return rnew;
 119 }
 120
 121
 122 static void r_delete_between (RSET ct)
 123 {
 124     struct rset_between_info *info = (struct rset_between_info *) ct->priv;
 125
 126     rset_delete (info->rset_l);
 127     rset_delete (info->rset_m);
 128     rset_delete (info->rset_r);
 129     if (info->rset_attr)
 130         rset_delete (info->rset_attr);
 131 }
 132
 133
 134 static RSFD r_open_between (RSET ct, int flag)
 135 {
 136     struct rset_between_info *info = (struct rset_between_info *) ct->priv;
 137     RSFD rfd;
 138     struct rset_between_rfd *p;
 139
 140     if (flag & RSETF_WRITE)
 141     {
 142         logf (LOG_FATAL, "between set type is read-only");
 143         return NULL;
 144     }
 145     rfd=rfd_create_base(ct);
 146     if (rfd->priv)
 147         p=(struct rset_between_rfd *)rfd->priv;
 148     else {
 149         p = (struct rset_between_rfd *) nmem_malloc(ct->nmem, (sizeof(*p)));
 150         rfd->priv=p;
 151         p->buf_l = nmem_malloc(ct->nmem, (ct->keycontrol->key_size));
 152         p->buf_m = nmem_malloc(ct->nmem, (ct->keycontrol->key_size));
 153         p->buf_r = nmem_malloc(ct->nmem, (ct->keycontrol->key_size));
 154         p->buf_attr = nmem_malloc(ct->nmem, (ct->keycontrol->key_size));
 155     }
 156
 157     p->rfd_l = rset_open (info->rset_l, RSETF_READ);
 158     p->rfd_m = rset_open (info->rset_m, RSETF_READ);
 159     p->rfd_r = rset_open (info->rset_r, RSETF_READ);
 160
 161     p->more_l = rset_read (p->rfd_l, p->buf_l);
 162     p->more_m = rset_read (p->rfd_m, p->buf_m);
 163     p->more_r = rset_read (p->rfd_r, p->buf_r);
 164     if (info->rset_attr)
 165     {
 166         p->rfd_attr = rset_open (info->rset_attr, RSETF_READ);
 167         p->more_attr = rset_read (p->rfd_attr, p->buf_attr);
 168     }
 169     p->level=0;
 170     p->hits=0;
 171     return rfd;
 172 }
 173
 174 static void r_close_between (RSFD rfd)
 175 {
 176     struct rset_between_info *info =(struct rset_between_info *)rfd->rset->priv;
 177     struct rset_between_rfd *p=(struct rset_between_rfd *)rfd->priv;
 178
 179     rset_close (p->rfd_l);
 180     rset_close (p->rfd_m);
 181     rset_close (p->rfd_r);
 182     if (info->rset_attr)
 183         rset_close (p->rfd_attr);
 184     rfd_delete_base(rfd);
 185 }
 186
 187 static void r_rewind_between (RSFD rfd)
 188 {
 189     struct rset_between_info *info =(struct rset_between_info *)rfd->rset->priv;
 190     struct rset_between_rfd *p=(struct rset_between_rfd *)rfd->priv;
 191
 192 #if RSBETWEEN_DEBUG
 193     logf (LOG_DEBUG, "rsbetween_rewind");
 194 #endif
 195     rset_rewind (p->rfd_l);
 196     rset_rewind (p->rfd_m);
 197     rset_rewind (p->rfd_r);
 198     p->more_l = rset_read (p->rfd_l, p->buf_l);
 199     p->more_m = rset_read (p->rfd_m, p->buf_m);
 200     p->more_r = rset_read (p->rfd_r, p->buf_r);
 201     if (info->rset_attr)
 202     {
 203         rset_rewind (p->rfd_attr);
 204         p->more_attr = rset_read (p->rfd_attr, p->buf_attr);
 205     }
 206     p->level=0;
 207     p->hits=0;
 208 }
 209
 210
 211
 212 static int r_forward_between(RSFD rfd, void *buf, const void *untilbuf)
 213 {
 214     struct rset_between_rfd *p=(struct rset_between_rfd *)rfd->priv;
 215     int rc;
 216 #if RSBETWEEN_DEBUG
 217     log2( p, "fwd: before forward", 0,0);
 218 #endif
 219     /* It is enough to forward the m pointer here, the read will */
 220     /* naturally forward the l, m, and attr pointers */
 221     if (p->more_m)
 222         p->more_m=rset_forward(p->rfd_m, p->buf_m,untilbuf);
 223 #if RSBETWEEN_DEBUG
 224     log2( p, "fwd: after forward M", 0,0);
 225 #endif
 226     rc = r_read_between(rfd, buf);
 227 #if RSBETWEEN_DEBUG
 228     log2( p, "fwd: after forward", 0,0);
 229 #endif
 230     return rc;
 231 }
 232
 233
 234
 235
 236 static int r_read_between (RSFD rfd, void *buf)
 237 {
 238     struct rset_between_info *info =(struct rset_between_info *)rfd->rset->priv;
 239     struct rset_between_rfd *p=(struct rset_between_rfd *)rfd->priv;
 240     const struct key_control *kctrl=rfd->rset->keycontrol;
 241     int cmp_l=0;
 242     int cmp_r=0;
 243     int attr_match = 0;
 244
 245     while (p->more_m)
 246     {
 247 #if RSBETWEEN_DEBUG
 248         log2( p, "start of loop", cmp_l, cmp_r);
 249 #endif
 250
 251         /* forward L until past m, count levels, note rec boundaries */
 252         if (p->more_l)
 253             cmp_l= (*kctrl->cmp)(p->buf_l, p->buf_m);
 254         else
 255         {
 256             p->level = 0;
 257             cmp_l=2; /* past this record */
 258         }
 259 #if RSBETWEEN_DEBUG
 260         log2( p, "after first L", cmp_l, cmp_r);
 261 #endif
 262
 263         while (cmp_l < 0)   /* l before m */
 264         {
 265             if (cmp_l == -2)
 266                 p->level=0; /* earlier record */
 267             if (cmp_l == -1)
 268             {
 269                 p->level++; /* relevant start tag */
 270
 271                 if (!info->rset_attr)
 272                     attr_match = 1;
 273                 else
 274                 {
 275                     int cmp_attr;
 276                     attr_match = 0;
 277                     while (p->more_attr)
 278                     {
 279                         cmp_attr = (*kctrl->cmp)(p->buf_attr, p->buf_l);
 280                         if (cmp_attr == 0)
 281                         {
 282                             attr_match = 1;
 283                             break;
 284                         }
 285                         else if (cmp_attr > 0)
 286                             break;
 287                         else if (cmp_attr==-1)
 288                             p->more_attr = rset_read (p->rfd_attr, p->buf_attr);
 289                             /* if we had a forward that went all the way to
 290                              * the seqno, we could use that. But fwd only goes
 291                              * to the sysno */
 292                         else if (cmp_attr==-2)
 293                         {
 294                             p->more_attr = rset_forward( p->rfd_attr,
 295                                              p->buf_attr, p->buf_l);
 296 #if RSBETWEEN_DEBUG
 297                             logf(LOG_DEBUG, "btw: after frowarding attr m=%d",
 298                                       p->more_attr);
 299 #endif
 300                         }
 301                     } /* while more_attr */
 302                 }
 303             }
 304 #define NEWCODE 1
 305 #if NEWCODE
 306             if (cmp_l==-2)
 307             {
 308                 if (p->more_l)
 309                 {
 310                     p->more_l=rset_forward(p->rfd_l, p->buf_l, p->buf_m);
 311                     if (p->more_l)
 312                         cmp_l= (*kctrl->cmp)(p->buf_l, p->buf_m);
 313                     else
 314                         cmp_l=2;
 315 #if RSBETWEEN_DEBUG
 316                     log2( p, "after forwarding L", cmp_l, cmp_r);
 317 #endif
 318                 }
 319             } else
 320             {
 321                 p->more_l = rset_read (p->rfd_l, p->buf_l);
 322             }
 323 #else
 324             p->more_l = rset_read (p->rfd_l, p->buf_l);
 325 #endif
 326             if (p->more_l)
 327             {
 328                 cmp_l= (*kctrl->cmp)(p->buf_l, p->buf_m);
 329             }
 330             else
 331                 cmp_l=2;
 332 #if RSBETWEEN_DEBUG
 333             log2( p, "end of L loop", cmp_l, cmp_r);
 334 #endif
 335         } /* forward L */
 336
 337
 338         /* forward R until past m, count levels */
 339 #if RSBETWEEN_DEBUG
 340         log2( p, "Before moving R", cmp_l, cmp_r);
 341 #endif
 342         if (p->more_r)
 343             cmp_r= (*kctrl->cmp)(p->buf_r, p->buf_m);
 344         else
 345             cmp_r=2;
 346 #if RSBETWEEN_DEBUG
 347         log2( p, "after first R", cmp_l, cmp_r);
 348 #endif
 349         while (cmp_r < 0)   /* r before m */
 350         {
 351              /* -2, earlier record, don't count level */
 352             if (cmp_r == -1)
 353                 p->level--; /* relevant end tag */
 354             if (p->more_r)
 355             {
 356 #if NEWCODE
 357                 if (cmp_r==-2)
 358                 {
 359                     p->more_r=rset_forward(p->rfd_r, p->buf_r, p->buf_m);
 360                 } else
 361                 {
 362                     p->more_r = rset_read (p->rfd_r, p->buf_r);
 363                 }
 364                 if (p->more_r)
 365                     cmp_r= (*kctrl->cmp)(p->buf_r, p->buf_m);
 366
 367 #else
 368                 p->more_r = rset_read (p->rfd_r, p->buf_r);
 369                 cmp_r= (*kctrl->cmp)(p->buf_r, p->buf_m);
 370 #endif
 371             }
 372             else
 373                 cmp_r=2;
 374 #if RSBETWEEN_DEBUG
 375         log2( p, "End of R loop", cmp_l, cmp_r);
 376 #endif
 377         } /* forward R */
 378
 379         if ( ( p->level <= 0 ) && ! p->more_l)
 380             return 0; /* no more start tags, nothing more to find */
 381
 382         if ( attr_match && p->level > 0)  /* within a tag pair (or deeper) */
 383         {
 384             memcpy (buf, p->buf_m, kctrl->key_size);
 385 #if RSBETWEEN_DEBUG
 386             log2( p, "Returning a hit (and forwarding m)", cmp_l, cmp_r);
 387 #endif
 388             p->more_m = rset_read (p->rfd_m, p->buf_m);
 389             if (cmp_l == 2)
 390                 p->level = 0;
 391             p->hits++;
 392             return 1;
 393         }
 394         else if ( ! p->more_l )  /* not in data, no more starts */
 395         {
 396 #if RSBETWEEN_DEBUG
 397             log2( p, "no more starts, exiting without a hit", cmp_l, cmp_r);
 398 #endif
 399             return 0;  /* ergo, nothing can be found. stop scanning */
 400         }
 401 #if NEWCODE
 402         if (cmp_l == 2)
 403         {
 404             p->level = 0;
 405             p->more_m=rset_forward(p->rfd_m, p->buf_m,  p->buf_l);
 406         } else
 407         {
 408             p->more_m = rset_read (p->rfd_m, p->buf_m);
 409         }
 410 #else
 411         if (cmp_l == 2)
 412             p->level = 0;
 413         p->more_m = rset_read (p->rfd_m, p->buf_m);
 414 #endif
 415 #if RSBETWEEN_DEBUG
 416         log2( p, "End of M loop", cmp_l, cmp_r);
 417 #endif
 418     } /* while more_m */
 419
 420 #if RSBETWEEN_DEBUG
 421     log2( p, "Exiting, nothing more in m", cmp_l, cmp_r);
 422 #endif
 423     return 0;  /* no more data possible */
 424
 425
 426 }  /* r_read */
 427
 428
 429 static int r_write_between (RSFD rfd, const void *buf)
 430 {
 431     logf (LOG_FATAL, "between set type is read-only");
 432     return -1;
 433 }
 434
 435
 436 static void r_pos_between (RSFD rfd, double *current, double *total)
 437 {
 438     struct rset_between_rfd *p=(struct rset_between_rfd *)rfd->priv;
 439     double lcur,ltot;
 440     double mcur,mtot;
 441     double rcur,rtot;
 442     double r;
 443     ltot=-1; rtot=-1;
 444     rset_pos(p->rfd_l,  &lcur, &ltot);
 445     rset_pos(p->rfd_m,  &mcur, &mtot);
 446     rset_pos(p->rfd_r,  &rcur, &rtot);
 447     if ( (ltot<0) && (mtot<0) && (rtot<0) ) { /*no position */
 448         *current=mcur;  /* return same as you got */
 449         *total=mtot;    /* probably -1 for not available */
 450     }
 451     if ( ltot<0) { ltot=0; lcur=0;} /* if only one useful, use it */
 452     if ( mtot<0) { mtot=0; mcur=0;}
 453     if ( rtot<0) { rtot=0; rcur=0;}
 454     if ( ltot+mtot+rtot < 1 ) { /* empty rset */
 455         *current=0;
 456         *total=0;
 457         return;
 458     }
 459     r=1.0*(lcur+mcur+rcur)/(ltot+mtot+rtot); /* weighed average of l and r */
 460     *current=p->hits;
 461     *total=*current/r ;
 462 #if RSBETWEEN_DEBUG
 463     yaz_log(LOG_DEBUG,"betw_pos: (%s/%s) %0.1f/%0.1f= %0.4f ",
 464                     info->rset_l->control->desc, info->rset_r->control->desc,
 465                     *current, *total, r);
 466 #endif
 467 }