rset/rsbetween.c

   1 /* $Id: rsbetween.c,v 1.28 2004-10-22 10:12:51 heikki Exp $
   2    Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002
   3    Index Data Aps
   4
   5 This file is part of the Zebra server.
   6
   7 Zebra is free software; you can redistribute it and/or modify it under
   8 the terms of the GNU General Public License as published by the Free
   9 Software Foundation; either version 2, or (at your option) any later
  10 version.
  11
  12 Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
  13 WARRANTY; without even the implied warranty of MERCHANTABILITY or
  14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15 for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with Zebra; see the file LICENSE.zebra.  If not, write to the
  19 Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
  20 02111-1307, USA.
  21 */
  22
  23
  24 /* rsbetween is (mostly) used for xml searches. It returns the hits of the
  25  * "middle" rset, that are in between the "left" and "right" rsets. For
  26  * example "Shakespeare" in between "<title>" and </title>. The thing is
  27  * complicated by the inclusion of attributes (from their own rset). If attrs
  28  * specified, they must match the "left" rset (start tag). "Hamlet" between
  29  * "<title lang=eng>" and "</title>". (This assumes that the attributes are
  30  * indexed to the same seqno as the tags).
  31 */
  32
  33 #include <stdio.h>
  34 #include <stdlib.h>
  35 #include <string.h>
  36 #include <assert.h>
  37
  38 #include <zebrautl.h>
  39 #include <rset.h>
  40
  41 #define RSBETWEEN_DEBUG 0
  42
  43 static RSFD r_open_between (RSET ct, int flag);
  44 static void r_close_between (RSFD rfd);
  45 static void r_delete_between (RSET ct);
  46 static int r_forward_between(RSFD rfd, void *buf,
  47                     TERMID *term, const void *untilbuf);
  48 static int r_read_between (RSFD rfd, void *buf, TERMID *term );
  49 static int r_write_between (RSFD rfd, const void *buf);
  50 static void r_pos_between (RSFD rfd, double *current, double *total);
  51 static void r_get_terms(RSET ct, TERMID *terms, int maxterms, int *curterm);
  52
  53 static const struct rset_control control =
  54 {
  55     "between",
  56     r_delete_between,
  57     r_get_terms,
  58     r_open_between,
  59     r_close_between,
  60     r_forward_between,
  61     r_pos_between,
  62     r_read_between,
  63     r_write_between,
  64 };
  65
  66
  67 const struct rset_control *rset_kind_between = &control;
  68
  69 struct rset_between_info {
  70     RSET rset_l;  /* left arg, start tag */
  71     RSET rset_m;  /* the thing itself */
  72     RSET rset_r;  /* right arg, end tag */
  73     RSET rset_attr; /* attributes , optional */
  74 };
  75
  76 struct rset_between_rfd {
  77     RSFD rfd_l;
  78     RSFD rfd_m;
  79     RSFD rfd_r;
  80     RSFD rfd_attr;
  81     int  more_l;
  82     int  more_m;
  83     int  more_r;
  84     int  more_attr;
  85     void *buf_l;
  86     void *buf_m;
  87     void *buf_r;
  88     void *buf_attr;
  89     TERMID term_m; /* we only return terms for the mid argument */
  90     int level;  /* counting start/end tags */
  91     zint hits;
  92 };
  93
  94 #if RSBETWEEN_DEBUG
  95 static void log2 (struct rset_between_rfd *p, char *msg, int cmp_l, int cmp_r)
  96 {
  97     char buf_l[32];
  98     char buf_m[32];
  99     char buf_r[32];
 100     logf(LOG_DEBUG,"btw: %s l=%s(%d/%d) m=%s(%d) r=%s(%d/%d), lev=%d",
 101       msg,
 102       (*p->info->printer)(p->buf_l, buf_l), p->more_l, cmp_l,
 103       (*p->info->printer)(p->buf_m, buf_m), p->more_m,
 104       (*p->info->printer)(p->buf_r, buf_r), p->more_r, cmp_r,
 105       p->level);
 106 }
 107 #endif
 108
 109 RSET rsbetween_create( NMEM nmem, const struct key_control *kcontrol,
 110             int scope,
 111             RSET rset_l, RSET rset_m, RSET rset_r, RSET rset_attr)
 112 {
 113     RSET rnew=rset_create_base(&control, nmem, kcontrol, scope,0);
 114     struct rset_between_info *info=
 115         (struct rset_between_info *) nmem_malloc(rnew->nmem,sizeof(*info));
 116     info->rset_l = rset_l;
 117     info->rset_m = rset_m;
 118     info->rset_r = rset_r;
 119     info->rset_attr = rset_attr;
 120     rnew->priv=info;
 121     return rnew;
 122 }
 123
 124
 125 static void r_delete_between (RSET ct)
 126 {
 127     struct rset_between_info *info = (struct rset_between_info *) ct->priv;
 128
 129     rset_delete (info->rset_l);
 130     rset_delete (info->rset_m);
 131     rset_delete (info->rset_r);
 132     if (info->rset_attr)
 133         rset_delete (info->rset_attr);
 134 }
 135
 136
 137 static RSFD r_open_between (RSET ct, int flag)
 138 {
 139     struct rset_between_info *info = (struct rset_between_info *) ct->priv;
 140     RSFD rfd;
 141     struct rset_between_rfd *p;
 142
 143     if (flag & RSETF_WRITE)
 144     {
 145         logf (LOG_FATAL, "between set type is read-only");
 146         return NULL;
 147     }
 148     rfd=rfd_create_base(ct);
 149     if (rfd->priv)
 150         p=(struct rset_between_rfd *)rfd->priv;
 151     else {
 152         p = (struct rset_between_rfd *) nmem_malloc(ct->nmem, (sizeof(*p)));
 153         rfd->priv=p;
 154         p->buf_l = nmem_malloc(ct->nmem, (ct->keycontrol->key_size));
 155         p->buf_m = nmem_malloc(ct->nmem, (ct->keycontrol->key_size));
 156         p->buf_r = nmem_malloc(ct->nmem, (ct->keycontrol->key_size));
 157         p->buf_attr = nmem_malloc(ct->nmem, (ct->keycontrol->key_size));
 158     }
 159
 160     p->rfd_l = rset_open (info->rset_l, RSETF_READ);
 161     p->rfd_m = rset_open (info->rset_m, RSETF_READ);
 162     p->rfd_r = rset_open (info->rset_r, RSETF_READ);
 163
 164     p->more_l = rset_read (p->rfd_l, p->buf_l,NULL);
 165     p->more_m = rset_read (p->rfd_m, p->buf_m, &p->term_m);
 166     p->more_r = rset_read (p->rfd_r, p->buf_r,NULL);
 167     if (info->rset_attr)
 168     {
 169         p->rfd_attr = rset_open (info->rset_attr, RSETF_READ);
 170         p->more_attr = rset_read (p->rfd_attr, p->buf_attr, NULL);
 171     }
 172     p->level=0;
 173     p->hits=0;
 174     return rfd;
 175 }
 176
 177 static void r_close_between (RSFD rfd)
 178 {
 179     struct rset_between_info *info =(struct rset_between_info *)rfd->rset->priv;
 180     struct rset_between_rfd *p=(struct rset_between_rfd *)rfd->priv;
 181
 182     rset_close (p->rfd_l);
 183     rset_close (p->rfd_m);
 184     rset_close (p->rfd_r);
 185     if (info->rset_attr)
 186         rset_close (p->rfd_attr);
 187     rfd_delete_base(rfd);
 188 }
 189
 190
 191
 192 static int r_forward_between(RSFD rfd, void *buf,
 193                              TERMID *term, const void *untilbuf)
 194 {
 195     struct rset_between_rfd *p=(struct rset_between_rfd *)rfd->priv;
 196     int rc;
 197 #if RSBETWEEN_DEBUG
 198     log2( p, "fwd: before forward", 0,0);
 199 #endif
 200     /* It is enough to forward the m pointer here, the read will */
 201     /* naturally forward the l, m, and attr pointers */
 202     if (p->more_m)
 203         p->more_m=rset_forward(p->rfd_m, p->buf_m, term, untilbuf);
 204 #if RSBETWEEN_DEBUG
 205     log2( p, "fwd: after forward M", 0,0);
 206 #endif
 207     rc = r_read_between(rfd, buf, term);
 208 #if RSBETWEEN_DEBUG
 209     log2( p, "fwd: after forward", 0,0);
 210 #endif
 211     return rc;
 212 }
 213
 214
 215
 216
 217 static int r_read_between (RSFD rfd, void *buf, TERMID *term)
 218 {
 219     struct rset_between_info *info =(struct rset_between_info *)rfd->rset->priv;
 220     struct rset_between_rfd *p=(struct rset_between_rfd *)rfd->priv;
 221     const struct key_control *kctrl=rfd->rset->keycontrol;
 222     int cmp_l=0;
 223     int cmp_r=0;
 224     int attr_match = 0;
 225
 226     while (p->more_m)
 227     {
 228 #if RSBETWEEN_DEBUG
 229         log2( p, "start of loop", cmp_l, cmp_r);
 230 #endif
 231
 232         /* forward L until past m, count levels, note rec boundaries */
 233         if (p->more_l)
 234             cmp_l= (*kctrl->cmp)(p->buf_l, p->buf_m);
 235         else
 236         {
 237             p->level = 0;
 238             cmp_l=rfd->rset->scope; /* past this record */
 239         }
 240 #if RSBETWEEN_DEBUG
 241         log2( p, "after first L", cmp_l, cmp_r);
 242 #endif
 243
 244         while (cmp_l < 0)   /* l before m */
 245         {
 246             if (cmp_l <= - rfd->rset->scope)  /* ==-2 */
 247                 p->level=0; /* earlier record */
 248             if (cmp_l > - rfd->rset->scope)  /* == -1 */
 249             {
 250                 p->level++; /* relevant start tag */
 251
 252                 if (!info->rset_attr)
 253                     attr_match = 1;
 254                 else
 255                 {
 256                     int cmp_attr;
 257                     attr_match = 0;
 258                     while (p->more_attr)
 259                     {
 260                         cmp_attr = (*kctrl->cmp)(p->buf_attr, p->buf_l);
 261                         if (cmp_attr == 0)
 262                         {
 263                             attr_match = 1;
 264                             break;
 265                         }
 266                         else if (cmp_attr > 0)
 267                             break;
 268                         else if (cmp_attr > - rfd->rset->scope)  /* == -1 */
 269                             p->more_attr = rset_read (p->rfd_attr,
 270                                                       p->buf_attr,NULL);
 271                             /* if we had a forward that went all the way to
 272                              * the seqno, we could use that. But fwd only goes
 273                              * to the sysno */
 274                         else if (cmp_attr <= - rfd->rset->scope) /* ==-2 */
 275                         {
 276                             p->more_attr = rset_forward( p->rfd_attr,
 277                                              p->buf_attr, NULL, p->buf_l);
 278 #if RSBETWEEN_DEBUG
 279                             logf(LOG_DEBUG, "btw: after frowarding attr m=%d",
 280                                       p->more_attr);
 281 #endif
 282                         }
 283                     } /* while more_attr */
 284                 }
 285             }
 286 #define NEWCODE 1
 287 #if NEWCODE
 288             if (cmp_l <= - rfd->rset->scope )/* ==-2 */
 289             {
 290                 if (p->more_l)
 291                 {
 292                     p->more_l=rset_forward(p->rfd_l, p->buf_l, NULL, p->buf_m);
 293                     if (p->more_l)
 294                         cmp_l= (*kctrl->cmp)(p->buf_l, p->buf_m);
 295                     else
 296                         cmp_l=rfd->rset->scope;  /*2*/
 297 #if RSBETWEEN_DEBUG
 298                     log2( p, "after forwarding L", cmp_l, cmp_r);
 299 #endif
 300                 }
 301             } else
 302             {
 303                 p->more_l = rset_read (p->rfd_l, p->buf_l, NULL);
 304             }
 305 #else
 306             p->more_l = rset_read (p->rfd_l, p->buf_l, NULL);
 307 #endif
 308             if (p->more_l)
 309             {
 310                 cmp_l= (*kctrl->cmp)(p->buf_l, p->buf_m);
 311             }
 312             else
 313                 cmp_l=rfd->rset->scope;   /*2*/
 314 #if RSBETWEEN_DEBUG
 315             log2( p, "end of L loop", cmp_l, cmp_r);
 316 #endif
 317         } /* forward L */
 318
 319
 320         /* forward R until past m, count levels */
 321 #if RSBETWEEN_DEBUG
 322         log2( p, "Before moving R", cmp_l, cmp_r);
 323 #endif
 324         if (p->more_r)
 325             cmp_r= (*kctrl->cmp)(p->buf_r, p->buf_m);
 326         else
 327             cmp_r=rfd->rset->scope;  /*2*/
 328 #if RSBETWEEN_DEBUG
 329         log2( p, "after first R", cmp_l, cmp_r);
 330 #endif
 331         while (cmp_r < 0)   /* r before m */
 332         {
 333              /* -2, earlier record, don't count level */
 334             if (cmp_r > -rfd->rset->scope) /* == -1 */
 335                 p->level--; /* relevant end tag */
 336             if (p->more_r)
 337             {
 338 #if NEWCODE
 339                 if (cmp_r <= - rfd->rset->scope) /* == -2 */
 340                 {
 341                     p->more_r=rset_forward(p->rfd_r, p->buf_r, NULL, p->buf_m);
 342                 } else
 343                 {
 344                     p->more_r = rset_read (p->rfd_r, p->buf_r, NULL);
 345                 }
 346                 if (p->more_r)
 347                     cmp_r= (*kctrl->cmp)(p->buf_r, p->buf_m);
 348
 349 #else
 350                 p->more_r = rset_read (p->rfd_r, p->buf_r, NULL);
 351                 cmp_r= (*kctrl->cmp)(p->buf_r, p->buf_m);
 352 #endif
 353             }
 354             else
 355                 cmp_r=rfd->rset->scope;  /*2*/
 356 #if RSBETWEEN_DEBUG
 357         log2( p, "End of R loop", cmp_l, cmp_r);
 358 #endif
 359         } /* forward R */
 360
 361         if ( ( p->level <= 0 ) && ! p->more_l)
 362             return 0; /* no more start tags, nothing more to find */
 363
 364         if ( attr_match && p->level > 0)  /* within a tag pair (or deeper) */
 365         {
 366             memcpy (buf, p->buf_m, kctrl->key_size);
 367             if (term)
 368                 *term=p->term_m;
 369 #if RSBETWEEN_DEBUG
 370             log2( p, "Returning a hit (and forwarding m)", cmp_l, cmp_r);
 371 #endif
 372             p->more_m = rset_read (p->rfd_m, p->buf_m, NULL);
 373             if (cmp_l >= rfd->rset->scope)  /* == 2 */
 374                 p->level = 0;
 375             p->hits++;
 376             return 1;
 377         }
 378         else if ( ! p->more_l )  /* not in data, no more starts */
 379         {
 380 #if RSBETWEEN_DEBUG
 381             log2( p, "no more starts, exiting without a hit", cmp_l, cmp_r);
 382 #endif
 383             return 0;  /* ergo, nothing can be found. stop scanning */
 384         }
 385 #if NEWCODE
 386         if (cmp_l >= rfd->rset->scope) /* == 2 */
 387         {
 388             p->level = 0;
 389             p->more_m=rset_forward(p->rfd_m, p->buf_m, &p->term_m, p->buf_l);
 390         } else
 391         {
 392             p->more_m = rset_read (p->rfd_m, p->buf_m, &p->term_m);
 393         }
 394 #else
 395         if (cmp_l >= rfd->rset->scope )  /* == 2 */
 396             p->level = 0;
 397         p->more_m = rset_read (p->rfd_m, p->buf_m);
 398 #endif
 399 #if RSBETWEEN_DEBUG
 400         log2( p, "End of M loop", cmp_l, cmp_r);
 401 #endif
 402     } /* while more_m */
 403
 404 #if RSBETWEEN_DEBUG
 405     log2( p, "Exiting, nothing more in m", cmp_l, cmp_r);
 406 #endif
 407     return 0;  /* no more data possible */
 408
 409
 410 }  /* r_read */
 411
 412
 413 static int r_write_between (RSFD rfd, const void *buf)
 414 {
 415     logf (LOG_FATAL, "between set type is read-only");
 416     return -1;
 417 }
 418
 419
 420 static void r_pos_between (RSFD rfd, double *current, double *total)
 421 {
 422     struct rset_between_rfd *p=(struct rset_between_rfd *)rfd->priv;
 423     double lcur,ltot;
 424     double mcur,mtot;
 425     double rcur,rtot;
 426     double r;
 427     ltot=-1; rtot=-1;
 428     rset_pos(p->rfd_l,  &lcur, &ltot);
 429     rset_pos(p->rfd_m,  &mcur, &mtot);
 430     rset_pos(p->rfd_r,  &rcur, &rtot);
 431     if ( (ltot<0) && (mtot<0) && (rtot<0) ) { /*no position */
 432         *current=mcur;  /* return same as you got */
 433         *total=mtot;    /* probably -1 for not available */
 434     }
 435     if ( ltot<0) { ltot=0; lcur=0;} /* if only one useful, use it */
 436     if ( mtot<0) { mtot=0; mcur=0;}
 437     if ( rtot<0) { rtot=0; rcur=0;}
 438     if ( ltot+mtot+rtot < 1 ) { /* empty rset */
 439         *current=0;
 440         *total=0;
 441         return;
 442     }
 443     r=1.0*(lcur+mcur+rcur)/(ltot+mtot+rtot); /* weighed average of l and r */
 444     *current=p->hits;
 445     *total=*current/r ;
 446 #if RSBETWEEN_DEBUG
 447     yaz_log(LOG_DEBUG,"betw_pos: (%s/%s) %0.1f/%0.1f= %0.4f ",
 448                     info->rset_l->control->desc, info->rset_r->control->desc,
 449                     *current, *total, r);
 450 #endif
 451 }
 452
 453 static void r_get_terms(RSET ct, TERMID *terms, int maxterms, int *curterm)
 454 {
 455     struct rset_between_info *info = (struct rset_between_info *) ct->priv;
 456     rset_getterms(info->rset_m, terms, maxterms, curterm);
 457 }
 458