index/zvrank.c

   1 /* $Id: zvrank.c,v 1.10 2004-08-20 14:44:46 heikki Exp $
   2    Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002,2003
   3    Index Data Aps
   4
   5    This file is part of the Zebra server.
   6
   7    Zebra is free software; you can redistribute it and/or modify it under
   8    the terms of the GNU General Public License as published by the Free
   9    Software Foundation; either version 2, or (at your option) any later
  10    version.
  11
  12    Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
  13    WARRANTY; without even the implied warranty of MERCHANTABILITY or
  14    FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15    for more details.
  16
  17    You should have received a copy of the GNU General Public License
  18    along with Zebra; see the file LICENSE.zebra.  If not, write to the
  19    Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
  20    02111-1307, USA.
  21 */
  22
  23 /*
  24 Zvrank: an experimental ranking algorithm. See doc/zvrank.txt and
  25 source in index/zvrank.c. Enable this by using rank: zvrank in zebra.cfg.
  26 Contributed by Johannes Leveling <Johannes.Leveling at
  27 fernuni-hagen.de>
  28 */
  29
  30 /* Zebra Vector Space Model RANKing
  31 **
  32 ** six (seven) letter identifier for weighting scheme
  33 ** best document weighting:
  34 **  tfc nfc (tpc npc) [original naming]
  35 **  ntc atc  npc apc  [SMART naming, used here]
  36 ** best query weighting:
  37 **  nfx tfx bfx (npx tpx bpx) [original naming]
  38 **  atn ntn btn  apn npn bpn  [SMART naming]
  39 ** -> should set zvrank.weighting-scheme to one of
  40 ** "ntc-atn", "atc-atn", etc.
  41 */
  42
  43 #include <math.h>  /* for log */
  44
  45 #include <stdio.h>
  46 #include <assert.h>
  47 #ifdef WIN32
  48 #include <io.h>
  49 #else
  50 #include <unistd.h>
  51 #endif
  52
  53 #include "index.h"
  54
  55 static double blog(double x) {
  56     /* log_2, log_e or log_10 is used, best to change it here if necessary */
  57     if (x <= 0)
  58         return 0.0;
  59     return log(x); /* / log(base) */
  60 }
  61
  62 /* structures */
  63
  64 struct rank_class_info { /* now we need this */
  65     int dummy;
  66     char rscheme[8];    /* name of weighting scheme */
  67 };
  68
  69
  70 struct rs_info {      /* for result set */
  71     int db_docs;        /* number of documents in database (collection) */
  72     int db_terms;       /* number of distinct terms in database (debugging?) */
  73     int db_f_max;       /* maximum of f_t in database (debugging?) */
  74     char *db_f_max_str; /* string (most frequent term) - for debugging */
  75     /**/
  76     char rscheme[8];    /* name of weighting scheme */
  77     /**/
  78     int veclen;
  79     void (*d_tf_fct)(void *, void *);   /* doc term frequency function */
  80     void (*d_idf_fct)(void *, void *);  /* doc idf function */
  81     void (*d_norm_fct)(void *, void *); /* doc normalization function */
  82     /**/
  83     void (*q_tf_fct)(void *, void *);   /* query term frequency function */
  84     void (*q_idf_fct)(void *, void *);  /* query idf function */
  85     void (*q_norm_fct)(void *, void *); /* query normalization function */
  86
  87     double (*sim_fct)(void *, void *);  /* similarity function (scoring function) */
  88     struct ds_info *qdoc;
  89     struct ds_info *rdoc;
  90 };
  91 typedef struct rs_info *RS;
  92
  93 static void prn_rs(RS rs) { /* for debugging */
  94     yaz_log(LOG_DEBUG, "* RS:");
  95     yaz_log(LOG_DEBUG, " db_docs:   %d", rs->db_docs);
  96     yaz_log(LOG_DEBUG, " db_terms:  %d", rs->db_terms);
  97     yaz_log(LOG_DEBUG, " f_max:     %d", rs->db_f_max);
  98     yaz_log(LOG_DEBUG, " f_max_str: %s", rs->db_f_max_str);
  99     yaz_log(LOG_DEBUG, " veclen:    %d", rs->veclen);
 100     /* rscheme implies functions */
 101     yaz_log(LOG_DEBUG, " rscheme:   %s", rs->rscheme);
 102     return;
 103 }
 104
 105 struct ds_info {       /* document info */
 106     char *docid;         /* unique doc identifier */
 107     int  docno;          /* doc number */
 108     int doclen;          /* document length */
 109     int d_f_max;         /* maximum number of any term in doc (needed) */
 110     char *d_f_max_str;   /* most frequent term in d - for debugging */
 111     int veclen;          /* vector length */
 112     struct ts_info *terms;
 113     double docsim;       /* similarity in [0, ..., 1] (= score/1000) */
 114 };
 115 typedef struct ds_info* DS;
 116
 117 #if 0
 118 static void prn_ds(DS ds) { /* for debugging */
 119     yaz_log(LOG_DEBUG, " * DS:");
 120     yaz_log(LOG_DEBUG, " docid:      %s", ds->docid);
 121     yaz_log(LOG_DEBUG, " docno:      %d", ds->docno);
 122     yaz_log(LOG_DEBUG, " doclen:     %d", ds->doclen);
 123     yaz_log(LOG_DEBUG, " d_f_max:    %d", ds->d_f_max);
 124     yaz_log(LOG_DEBUG, " d_f_max_str:%s", ds->d_f_max_str);
 125     yaz_log(LOG_DEBUG, " veclen:     %d", ds->veclen);
 126     return;
 127 }
 128 #endif
 129
 130 struct ts_info {       /* term info */
 131     char *name;
 132     int *id;
 133     /**/
 134     zint gocc;
 135     int locc;
 136     double tf;
 137     double idf;
 138     double wt;
 139 };
 140 typedef struct ts_info *TS;
 141
 142 #if 0
 143 static void prn_ts(TS ts) { /* for debugging */
 144     yaz_log(LOG_DEBUG, " * TERM:%s gocc:%d locc:%d  tf:%f idf:%f wt:%f",
 145             ts->name, ts->gocc, ts->locc, ts->tf, ts->idf, ts->wt);
 146     return;
 147 }
 148 #endif
 149
 150 /* end structures */
 151
 152 /* *** */
 153
 154 /*
 155 ** weighting functions
 156 ** check: RS is not needed anymore
 157 */
 158
 159 /* calculate and store new term frequency vector */
 160 static void tf_none(void *rsi, void *dsi) {
 161     DS ds=(DS)dsi;
 162     int i, veclen, freq;
 163     /* no conversion. 1 <= tf */
 164     veclen=ds->veclen;
 165     for (i=0; i < veclen; i++) {
 166         freq=ds->terms[i].locc;
 167         ds->terms[i].tf=freq;
 168     }
 169     return;
 170 }
 171
 172 static void tf_binary(void *rsi, void *dsi) {
 173     DS ds=(DS)dsi;
 174     int i, veclen, freq;
 175     /* tf in {0, 1} */
 176     veclen=ds->veclen;
 177     for (i=0; i < veclen; i++) {
 178         freq=ds->terms[i].locc;
 179         if (freq > 0)
 180             ds->terms[i].tf=1.0;
 181         else
 182             ds->terms[i].tf=0.0;
 183     }
 184     return;
 185 }
 186
 187 static void tf_max_norm(void *rsi, void *dsi) {
 188     DS ds=(DS)dsi;
 189     double tf_max;
 190     int i, veclen, freq;
 191     /* divide each term by max, so 0 <= tf <= 1 */
 192     tf_max=ds->d_f_max; /* largest frequency of t in document */
 193     veclen=ds->veclen;
 194     for (i=0; i < veclen; i++) {
 195         freq=ds->terms[i].locc;
 196         if ((freq > 0) &&
 197             (tf_max > 0.0))
 198             ds->terms[i].tf=freq/tf_max;
 199         else
 200             ds->terms[i].tf=0.0;
 201     }
 202     return;
 203 }
 204
 205 static void tf_aug_norm(void *rsi, void *dsi) {
 206     DS ds=(DS)dsi;
 207     double K;
 208     double tf_max;
 209     int i, veclen, freq;
 210     /* augmented normalized tf. 0.5 <= tf <= 1  for K = 0.5 */
 211     tf_max=ds->d_f_max; /* largest frequency of t in document */
 212     veclen=ds->veclen;
 213     K=0.5; /* zvrank.const-K */
 214     for (i=0; i < veclen; i++) {
 215         freq=ds->terms[i].locc;
 216         if ((freq > 0) &&
 217             (tf_max > 0.0))
 218             ds->terms[i].tf=K+(1.0-K)*(freq/tf_max);
 219         else
 220             ds->terms[i].tf=0.0;
 221     }
 222     return;
 223 }
 224
 225 static void tf_square(void *rsi, void *dsi) {
 226     DS ds=(DS)dsi;
 227     int i, veclen, freq;
 228     /* tf ^ 2 */
 229     veclen=ds->veclen;
 230     for (i=0; i < veclen; i++) {
 231         freq=ds->terms[i].locc;
 232         if (freq > 0)
 233             ds->terms[i].tf=freq*freq;
 234         else
 235             ds->terms[i].tf=0.0;
 236     }
 237     return;
 238 }
 239
 240 static void tf_log(void *rsi, void *dsi) {
 241     DS ds=(DS)dsi;
 242     int i, veclen, freq;
 243     /* logarithmic tf */
 244     veclen=ds->veclen;
 245     for (i=0; i < veclen; i++) {
 246         freq=ds->terms[i].locc;
 247         if (freq > 0)
 248             ds->terms[i].tf=1.0+blog(freq);
 249         else
 250             ds->terms[i].tf=0.0;
 251     }
 252     return;
 253 }
 254
 255 /* calculate and store inverse document frequency vector */
 256 static void idf_none(void *rsi, void *dsi) {
 257     DS ds=(DS)dsi;
 258     int i, veclen;
 259     /* no conversion */
 260     veclen=ds->veclen;
 261     for (i=0; i < veclen; i++) {
 262         ds->terms[i].idf=1.0;
 263     }
 264     return;
 265 }
 266
 267 static void idf_tfidf(void *rsi, void *dsi) {
 268     RS rs=(RS)rsi;
 269     DS ds=(DS)dsi;
 270     zint num_docs, gocc;
 271     int i, veclen;
 272     double idf;
 273     /* normal tfidf weight */
 274     veclen=ds->veclen;
 275     num_docs=rs->db_docs;
 276     for (i=0; i < veclen; i++) {
 277         gocc=ds->terms[i].gocc;
 278         if (gocc==0)
 279             idf=0.0;
 280         else
 281             idf=blog((double) (num_docs/gocc));
 282         ds->terms[i].idf=idf;
 283     }
 284     return;
 285 }
 286
 287 static void idf_prob(void *rsi, void *dsi) {
 288     RS rs=(RS)rsi;
 289     DS ds=(DS)dsi;
 290     zint num_docs, gocc;
 291     int i, veclen;
 292     double idf;
 293     /* probabilistic formulation */
 294     veclen=ds->veclen;
 295     num_docs=rs->db_docs;
 296     for (i=0; i < veclen; i++) {
 297         gocc=ds->terms[i].gocc;
 298         if (gocc==0)
 299             idf=0.0;
 300         else
 301             idf=blog((double) ((num_docs-gocc)/gocc));
 302         ds->terms[i].idf=idf;
 303     }
 304     return;
 305 }
 306
 307 static void idf_freq(void *rsi, void *dsi) {
 308     RS rs=(RS)rsi;
 309     DS ds=(DS)dsi;
 310     int num_docs;
 311     int i, veclen;
 312     double idf;
 313     /* frequency formulation */
 314     veclen=ds->veclen;
 315     num_docs=rs->db_docs;
 316     if (num_docs==0)
 317         idf=0.0;
 318     else
 319         idf=1.0/num_docs;
 320     for (i=0; i < veclen; i++) {
 321         ds->terms[i].idf=idf;
 322     }
 323     return;
 324 }
 325
 326 static void idf_squared(void *rsi, void *dsi) {
 327     RS rs=(RS)rsi;
 328     DS ds=(DS)dsi;
 329     zint num_docs, gocc;
 330     int i, veclen;
 331     double idf;
 332     /* idf ^ 2 */
 333     veclen=ds->veclen;
 334     num_docs=rs->db_docs;
 335     yaz_log(LOG_DEBUG, "idf_squared: db_docs required");
 336     for (i=0; i < veclen; i++) {
 337         gocc=ds->terms[i].gocc;
 338         if (gocc==0)
 339             idf=0.0;
 340         else
 341             idf=blog(num_docs/gocc);
 342         idf=idf*idf;
 343         ds->terms[i].idf=idf;
 344     }
 345     return;
 346 }
 347
 348 /* calculate and store normalized weight (tf-idf) vector */
 349 static void norm_none(void *rsi, void *dsi) {
 350     DS ds=(DS)dsi;
 351     int i, veclen;
 352     /* no normalization */
 353     veclen=ds->veclen;
 354     for (i=0; i < veclen; i++) {
 355         ds->terms[i].wt=ds->terms[i].tf*ds->terms[i].idf;
 356     }
 357     return;
 358 }
 359
 360 static void norm_sum(void *rsi, void *dsi) {
 361     DS ds=(DS)dsi;
 362     int i, veclen;
 363     double tfs=0.0;
 364     /**/
 365     veclen=ds->veclen;
 366     for (i=0; i < veclen; i++) {
 367         ds->terms[i].wt=ds->terms[i].tf*ds->terms[i].idf;
 368         tfs+=ds->terms[i].wt;
 369     }
 370     if (tfs > 0.0)
 371         for (i=0; i < veclen; i++) {
 372             ds->terms[i].wt=ds->terms[i].wt/tfs;
 373         }
 374     /* else: tfs==0 && ds->terms[i].wt==0 */
 375     return;
 376 }
 377
 378 static void norm_cosine(void *rsi, void *dsi) {
 379     DS ds=(DS)dsi;
 380     int i, veclen;
 381     double tfs=0.0;
 382     /**/
 383     veclen=ds->veclen;
 384     for (i=0; i < veclen; i++) {
 385         ds->terms[i].wt=ds->terms[i].tf*ds->terms[i].idf;
 386         tfs+=(ds->terms[i].wt*ds->terms[i].wt);
 387     }
 388     tfs=sqrt(tfs);
 389     if (tfs > 0.0)
 390         for (i=0; i < veclen; i++) {
 391             ds->terms[i].wt=ds->terms[i].wt/tfs;
 392         }
 393     /* else: tfs==0 && ds->terms[i].wt==0 */
 394     return;
 395 }
 396
 397 static void norm_fourth(void *rsi, void *dsi) {
 398     DS ds=(DS)dsi;
 399     int i, veclen;
 400     double tfs=0.0, fr;
 401     /**/
 402     veclen=ds->veclen;
 403     for (i=0; i < veclen; i++) {
 404         ds->terms[i].wt=ds->terms[i].tf*ds->terms[i].idf;
 405         fr=(ds->terms[i].wt*ds->terms[i].wt);
 406         fr=fr*fr; /* ^ 4 */
 407         tfs+=fr;
 408     }
 409     if (tfs > 0.0)
 410         for (i=0; i < veclen; i++) {
 411             ds->terms[i].wt=ds->terms[i].wt/tfs;
 412         }
 413     /* else: tfs==0 && ds->terms[i].wt==0 */
 414     return;
 415 }
 416
 417 static void norm_max(void *rsi, void *dsi) {
 418     DS ds=(DS)dsi;
 419     int i, veclen;
 420     double tfm=0.0;
 421     /**/
 422     veclen=ds->veclen;
 423     for (i=0; i < veclen; i++) {
 424         ds->terms[i].wt=ds->terms[i].tf*ds->terms[i].idf;
 425         if (ds->terms[i].wt > tfm)
 426             tfm=ds->terms[i].wt;
 427     }
 428     if (tfm > 0.0)
 429         for (i=0; i < veclen; i++) {
 430             ds->terms[i].wt=ds->terms[i].wt/tfm;
 431         }
 432     /* else: tfs==0 && ds->terms[i].wt==0 */
 433     return;
 434 }
 435
 436 /* add: norm_pivot, ... */
 437
 438 static double sim_cosine(void *dsi1, void *dsi2) {
 439     DS ds1=(DS)dsi1;
 440     DS ds2=(DS)dsi2;
 441     int i, veclen;
 442     double smul=0.0, sdiv=0.0, sqr11=0.0, sqr22=0.0;
 443     double v1, v2;
 444     /**/
 445     veclen=ds1->veclen; /* and ds2->veclen */
 446     for (i=0; i < veclen; i++) {
 447         v1=ds1->terms[i].wt;
 448         v2=ds2->terms[i].wt;
 449         smul +=(v1*v2);
 450         sqr11+=(v1*v1);
 451         sqr22+=(v2*v2);
 452     }
 453     sdiv=sqrt(sqr11*sqr22);
 454     if (sdiv==0.0)
 455         return 0.0;
 456     return (smul/sdiv);
 457 }
 458
 459 /* add: norm_jaccard, norm_dice, ... */
 460
 461 /* end weighting functions */
 462
 463 /* *** */
 464
 465 static void zv_init_scheme(RS rs, const char *sname) {
 466     int slen;
 467     char c0, c1, c2, c3, c4, c5, c6;
 468     const char *def_rscheme="ntc-atn"; /* a good default */
 469     /**/
 470     yaz_log(LOG_DEBUG, "zv_init_scheme");
 471     slen=strlen(sname);
 472     if (slen < 7)
 473         yaz_log(LOG_LOG, "zvrank: invalid weighting-scheme \"%s\"", sname);
 474     if (slen > 0) c0=sname[0]; else c0=def_rscheme[0];
 475     if (slen > 1) c1=sname[1]; else c1=def_rscheme[1];
 476     if (slen > 2) c2=sname[2]; else c2=def_rscheme[2];
 477     c3='-';
 478     if (slen > 4) c4=sname[4]; else c4=def_rscheme[4];
 479     if (slen > 5) c5=sname[5]; else c5=def_rscheme[5];
 480     if (slen > 6) c6=sname[6]; else c6=def_rscheme[6];
 481     /**/
 482                       /* assign doc functions */
 483                       switch (c0) {
 484                       case 'b':
 485                           rs->d_tf_fct=tf_binary;
 486                           rs->rscheme[0]='b';
 487                           break;
 488                       case 'm':
 489                           rs->d_tf_fct=tf_max_norm;
 490                           rs->rscheme[0]='m';
 491                           yaz_log(LOG_DEBUG, "tf_max_norm: d_f_max required");
 492                           break;
 493                       case 'a':
 494                           rs->d_tf_fct=tf_aug_norm;
 495                           rs->rscheme[0]='a';
 496                           yaz_log(LOG_DEBUG, "tf_aug_norm: d_f_max required");
 497                           break;
 498                       case 's':
 499                           rs->d_tf_fct=tf_square;
 500                           rs->rscheme[0]='s';
 501                           break;
 502                       case 'l':
 503                           rs->d_tf_fct=tf_log;
 504                           rs->rscheme[0]='l';
 505                           break;
 506                       default: /* 'n' */
 507                           rs->d_tf_fct=tf_none;
 508                           rs->rscheme[0]='n';
 509                       }
 510                       switch (c1) {
 511                       case 't':
 512                           rs->d_idf_fct=idf_tfidf;
 513                           rs->rscheme[1]='t';
 514                           yaz_log(LOG_DEBUG, "idf_tfidf: db_docs required");
 515                           break;
 516                       case 'p':
 517                           rs->d_idf_fct=idf_prob;
 518                           rs->rscheme[1]='p';
 519                           yaz_log(LOG_DEBUG, "idf_prob: db_docs required");
 520                           break;
 521                       case 'f':
 522                           rs->d_idf_fct=idf_freq;
 523                           rs->rscheme[1]='f';
 524                           yaz_log(LOG_DEBUG, "idf_freq: db_docs required");
 525                           break;
 526                       case 's':
 527                           rs->d_idf_fct=idf_squared;
 528                           rs->rscheme[1]='s';
 529                           yaz_log(LOG_DEBUG, "idf_squared: db_docs required");
 530                           break;
 531                       default: /* 'n' */
 532                           rs->d_idf_fct=idf_none;
 533                           rs->rscheme[1]='n';
 534                       }
 535                       switch (c2) {
 536                       case 's':
 537                           rs->d_norm_fct=norm_sum;
 538                           rs->rscheme[2]='s';
 539                           break;
 540                       case 'c':
 541                           rs->d_norm_fct=norm_cosine;
 542                           rs->rscheme[2]='c';
 543                           break;
 544                       case 'f':
 545                           rs->d_norm_fct=norm_fourth;
 546                           rs->rscheme[2]='t';
 547                           break;
 548                       case 'm':
 549                           rs->d_norm_fct=norm_max;
 550                           rs->rscheme[2]='m';
 551                           break;
 552                       default: /* 'n' */
 553                           rs->d_norm_fct=norm_none;
 554                           rs->rscheme[2]='n';
 555                       }
 556                       /**/
 557                       rs->rscheme[3]='-';
 558                       /* assign query functions */
 559                       switch (c4) {
 560                       case 'b':
 561                           rs->q_tf_fct=tf_binary;
 562                           rs->rscheme[4]='b';
 563                           break;
 564                       case 'm':
 565                           rs->q_tf_fct=tf_max_norm;
 566                           yaz_log(LOG_DEBUG, "tf_max_norm: d_f_max required");
 567                           rs->rscheme[4]='m';
 568                           break;
 569                       case 'a':
 570                           rs->q_tf_fct=tf_aug_norm;
 571                           rs->rscheme[4]='a';
 572                           yaz_log(LOG_DEBUG, "tf_aug_norm: d_f_max required");
 573                           break;
 574                       case 's':
 575                           rs->q_tf_fct=tf_square;
 576                           rs->rscheme[4]='s';
 577                           break;
 578                       case 'l':
 579                           rs->q_tf_fct=tf_log;
 580                           rs->rscheme[4]='l';
 581                           break;
 582                       default: /* 'n' */
 583                           rs->q_tf_fct=tf_none;
 584                           rs->rscheme[4]='n';
 585                       }
 586                       switch (c5) {
 587                       case 't':
 588                           rs->q_idf_fct=idf_tfidf;
 589                           rs->rscheme[5]='t';
 590                           yaz_log(LOG_DEBUG, "idf_tfidf: db_docs required");
 591                           break;
 592                       case 'p':
 593                           rs->q_idf_fct=idf_prob;
 594                           rs->rscheme[5]='p';
 595                           yaz_log(LOG_DEBUG, "idf_prob: db_docs required");
 596                           break;
 597                       case 'f':
 598                           rs->q_idf_fct=idf_freq;
 599                           rs->rscheme[5]='f';
 600                           yaz_log(LOG_DEBUG, "idf_freq: db_docs required");
 601                           break;
 602                       case 's':
 603                           rs->q_idf_fct=idf_squared;
 604                           rs->rscheme[5]='s';
 605                           yaz_log(LOG_DEBUG, "idf_squared: db_docs required");
 606                           break;
 607                       default: /* 'n' */
 608                           rs->q_idf_fct=idf_none;
 609                           rs->rscheme[5]='n';
 610                       }
 611                       switch (c6) {
 612                       case 's':
 613                           rs->q_norm_fct=norm_sum;
 614                           rs->rscheme[6]='s';
 615                           break;
 616                       case 'c':
 617                           rs->q_norm_fct=norm_cosine;
 618                           rs->rscheme[6]='c';
 619                           break;
 620                       case 'f':
 621                           rs->q_norm_fct=norm_fourth;
 622                           rs->rscheme[6]='f';
 623                           break;
 624                       case 'm':
 625                           rs->q_norm_fct=norm_max;
 626                           rs->rscheme[6]='m';
 627                           break;
 628                       default: /* 'n' */
 629                           rs->q_norm_fct=norm_none;
 630                           rs->rscheme[6]='n';
 631                       }
 632                       rs->rscheme[7]='\0';
 633                       /**/
 634                       rs->sim_fct=sim_cosine;
 635                       yaz_log(LOG_DEBUG, "zv_scheme %s", rs->rscheme);
 636                       return;
 637 }
 638
 639 static void zv_init(RS rs, const char *rscheme) {
 640     yaz_log(LOG_DEBUG, "zv_init");
 641     /**/
 642     rs->db_docs=100000;   /* assign correct value here */
 643     rs->db_terms=500000;  /* assign correct value here (for debugging) */
 644     rs->db_f_max=50;      /* assign correct value here */
 645     rs->db_f_max_str="a"; /* assign correct value here (for debugging) */
 646     zv_init_scheme(rs, rscheme);
 647     return;
 648 }
 649
 650 /******/
 651
 652 /*
 653  * zv_create: Creates/Initialises this rank handler. This routine is
 654  *  called exactly once. The routine returns the class_handle.
 655  */
 656 static void *zv_create (ZebraHandle zh) {
 657     int i;
 658     Res res = zh->res;
 659     const char *wscheme;
 660     struct rank_class_info *ci = (struct rank_class_info *)
 661         xmalloc (sizeof(*ci));
 662     yaz_log(LOG_DEBUG, "zv_create");
 663     wscheme=res_get_def(res, "zvrank.weighting-scheme", "");
 664     for (i=0; wscheme[i] && i < 8; i++)
 665         ci->rscheme[i]=wscheme[i];
 666     ci->rscheme[i] = '\0';
 667     return ci;
 668 }
 669
 670 /*
 671  * zv_destroy: Destroys this rank handler. This routine is called
 672  *  when the handler is no longer needed - i.e. when the server
 673  *  dies. The class_handle was previously returned by create.
 674  */
 675 static void zv_destroy (struct zebra_register *reg, void *class_handle) {
 676     struct rank_class_info *ci = (struct rank_class_info *) class_handle;
 677     yaz_log(LOG_DEBUG, "zv_destroy");
 678     xfree (ci);
 679 }
 680
 681
 682 /*
 683  * zv_begin: Prepares beginning of "real" ranking. Called once for
 684  *  each result set. The returned handle is a "set handle" and
 685  *  will be used in each of the handlers below.
 686  */
 687 static void *zv_begin(struct zebra_register *reg, void *class_handle, RSET rset)
 688 {
 689     struct rs_info *rs=(struct rs_info *)xmalloc(sizeof(*rs));
 690     struct rank_class_info *ci=(struct rank_class_info *)class_handle;
 691     int i;
 692     int veclen;
 693     zint gocc;
 694     /**/
 695     yaz_log(LOG_DEBUG, "zv_begin");
 696     veclen= 0 ; /* rset->no_rset_terms;*/  /* smaller vector here */
 697     /* FIXME - Now that we don't have term lists in rsets, what do */
 698     /* we do here ??? */
 699     zv_init(rs, ci->rscheme);
 700     rs->veclen=veclen;
 701     prn_rs(rs);
 702
 703     rs->qdoc=(struct ds_info *)xmalloc(sizeof(*rs->qdoc));
 704     rs->qdoc->terms=(struct ts_info *)xmalloc(sizeof(*rs->qdoc->terms)*rs->veclen);
 705     rs->qdoc->veclen=veclen;
 706     rs->qdoc->d_f_max=1; /* no duplicates */
 707     rs->qdoc->d_f_max_str="";
 708
 709     rs->rdoc=(struct ds_info *)xmalloc(sizeof(*rs->rdoc));
 710     rs->rdoc->terms=(struct ts_info *)xmalloc(sizeof(*rs->rdoc->terms)*rs->veclen);
 711     rs->rdoc->veclen=veclen;
 712     rs->rdoc->d_f_max=10; /* just a guess */
 713     rs->rdoc->d_f_max_str="";
 714     /* yaz_log(LOG_DEBUG, "zv_begin_init"); */
 715     for (i = 0; i < rs->veclen; i++)
 716     {
 717         gocc= 0; /* rset->rset_terms[i]->nn; */ /* FIXME ??? */
 718         /* yaz_log(LOG_DEBUG, "zv_begin_init i=%d gocc=%d", i, gocc); */
 719         rs->qdoc->terms[i].gocc=gocc;
 720         rs->qdoc->terms[i].locc=1;  /* assume query has no duplicate terms */
 721         rs->rdoc->terms[i].gocc=gocc;
 722         rs->rdoc->terms[i].locc=0;
 723     }
 724     (*rs->q_tf_fct)(rs, rs->qdoc); /* we do this once only */
 725     (*rs->q_idf_fct)(rs, rs->qdoc);
 726     (*rs->q_norm_fct)(rs, rs->qdoc);
 727     return rs;
 728 }
 729
 730 /*
 731  * zv_end: Terminates ranking process. Called after a result set
 732  *  has been ranked.
 733  */
 734 static void zv_end (struct zebra_register *reg, void *rsi)
 735 {
 736     RS rs=(RS)rsi;
 737     yaz_log(LOG_DEBUG, "zv_end");
 738     xfree(rs->qdoc->terms);
 739     xfree(rs->rdoc->terms);
 740     xfree(rs->qdoc);
 741     xfree(rs->rdoc);
 742     xfree(rs);
 743     return;
 744 }
 745
 746 /*
 747  * zv_add: Called for each word occurence in a result set. This routine
 748  *  should be as fast as possible. This routine should "incrementally"
 749  *  update the score.
 750  */
 751 static void zv_add (void *rsi, int seqno, int i) {
 752     RS rs=(RS)rsi;
 753     /* yaz_log(LOG_DEBUG, "zvrank zv_add seqno=%d term_index=%d", seqno, term_index);*/
 754     rs->rdoc->terms[i].locc++;
 755 }
 756
 757 /*
 758  * zv_calc: Called for each document in a result. This handler should
 759  *  produce a score based on previous call(s) to the add handler. The
 760  *  score should be between 0 and 1000. If score cannot be obtained
 761  *  -1 should be returned.
 762  */
 763 static int zv_calc (void *rsi, zint sysno)
 764 {
 765     int i, veclen;
 766     int score=0;
 767     double dscore=0.0;
 768     RS rs=(RS)rsi;
 769     /* yaz_log(LOG_DEBUG, "zv_calc"); */
 770     /**/
 771     veclen=rs->veclen;
 772     if (veclen==0)
 773         return -1;
 774     for (i = 0; i < veclen; i++) {
 775         /* qdoc weight has already been calculated */
 776         (*rs->d_tf_fct)(rs, rs->rdoc);
 777         (*rs->d_idf_fct)(rs, rs->rdoc);
 778         (*rs->d_norm_fct)(rs, rs->rdoc);
 779         dscore=rs->sim_fct(rs->qdoc, rs->rdoc);
 780     }
 781     score = (int) dscore * 1000;
 782     yaz_log (LOG_LOG, "sysno=" ZINT_FORMAT " score=%d", sysno, score);
 783     if (score > 1000) /* should not happen */
 784         score = 1000;
 785     return (int) score;
 786 }
 787
 788 /*
 789  * Pseudo-meta code with sequence of calls as they occur in a
 790  * server. Handlers are prefixed by --:
 791  *
 792  *     server init
 793  *     -- create
 794  *     foreach search
 795  *        rank result set
 796  *        -- begin
 797  *        foreach record
 798  *           foreach word
 799  *              -- add
 800  *           -- calc
 801  *        -- end
 802  *     -- destroy
 803  *     server close
 804  */
 805
 806 static struct rank_control rank_control_vsm = {
 807     "zvrank",
 808     zv_create,
 809     zv_destroy,
 810     zv_begin,
 811     zv_end,
 812     zv_calc,
 813     zv_add,
 814 };
 815
 816 struct rank_control *rankzv_class = &rank_control_vsm;
 817
 818 /* EOF */