index/ranksimilarity.c

   1 /* $Id: ranksimilarity.c,v 1.5 2006-05-08 14:03:16 marc Exp $
   2    Copyright (C) 1995-2005
   3    Index Data ApS
   4
   5 This file is part of the Zebra server.
   6
   7 Zebra is free software; you can redistribute it and/or modify it under
   8 the terms of the GNU General Public License as published by the Free
   9 Software Foundation; either version 2, or (at your option) any later
  10 version.
  11
  12 Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
  13 WARRANTY; without even the implied warranty of MERCHANTABILITY or
  14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15 for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with Zebra; see the file LICENSE.zebra.  If not, write to the
  19 Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
  20 02111-1307, USA.
  21 */
  22
  23 #include <stdio.h>
  24 #include <assert.h>
  25 #include <limits.h>
  26 #ifdef WIN32
  27 #include <io.h>
  28 #endif
  29 #if HAVE_UNISTD_H
  30 #include <unistd.h>
  31 #endif
  32
  33 #include "index.h"
  34 #include "rank.h"
  35
  36 static int log_level = 0;
  37 static int log_initialized = 0;
  38
  39 struct ranksimilarity_class_info {
  40   int dummy;
  41 };
  42
  43 /** term specific info and statistics to be used under ranking */
  44 struct ranksimilarity_term_info {
  45
  46   /** frequency of term within document field */
  47   int freq_term_docfield;
  48
  49   /** frequency of term within result set of given term */
  50   zint freq_term_resset;
  51
  52   /** number of docs within result set */
  53   zint no_docs_resset;
  54
  55   /** number of terms in this field */
  56   zint no_terms_field;
  57
  58   /** number of docs with this field in database */
  59   zint no_docs_field;
  60
  61   /** size of all docs with this field in database (in bytes ir terms ??) */
  62   zint size_docs_field;
  63
  64   /** rank flag is one if term is to be included in ranking */
  65   int rank_flag;
  66
  67   /** relative ranking weight of term field */
  68   int field_weight;
  69
  70   /** term id used to access term name and other info */
  71   TERMID term;
  72
  73   /** index number in terms[i] array */
  74   int term_index;
  75 };
  76
  77 struct ranksimilarity_set_info {
  78   int last_pos;
  79
  80   /** number of terms in query */
  81   int no_terms_query;
  82
  83   /** number of terms in query which are included in ranking */
  84   int no_ranked_terms_query;
  85
  86   /** number of documents in entire collection */
  87   zint no_docs_database;
  88
  89   /** size of all documents in entire collection (in bytes or terms ??)*/
  90   zint size_docs_database;
  91
  92   /** array of size no_terms_query with statistics gathered per term */
  93   struct ranksimilarity_term_info *entries;
  94
  95   NMEM nmem;
  96 };
  97
  98
  99 /* local clean-up function */
 100 static void  ranksimilar_rec_reset(struct ranksimilarity_set_info *si)
 101 {
 102   int i;
 103
 104   for (i = 0; i < si->no_terms_query; i++)
 105     {
 106       si->entries[i].freq_term_docfield = 0;
 107     }
 108 }
 109
 110
 111 /*
 112  * create: Creates/Initialises this rank handler. This routine is
 113  *  called exactly once. The routine returns the class_handle.
 114  */
 115 static void *create (ZebraHandle zh)
 116 {
 117   struct ranksimilarity_class_info *ci =
 118     (struct ranksimilarity_class_info *) xmalloc (sizeof(*ci));
 119
 120   if (!log_initialized)
 121     {
 122       log_level = yaz_log_module_level("rank-similarity");
 123       log_initialized = 1;
 124     }
 125   yaz_log(log_level, "create()");
 126   return 0;
 127 }
 128
 129 /*
 130  * destroy: Destroys this rank handler. This routine is called
 131  *  when the handler is no longer needed - i.e. when the server
 132  *  dies. The class_handle was previously returned by create.
 133  */
 134 static void destroy (struct zebra_register *reg, void *class_handle)
 135 {
 136   struct ranksimilarity_class_info *ci
 137     = (struct ranksimilarity_class_info *) class_handle;
 138   yaz_log(log_level, "destroy()");
 139   xfree (ci);
 140 }
 141
 142
 143 /**
 144  * begin: Prepares beginning of "real" ranking. Called once for
 145  *  each result set. The returned handle is a "set handle" and
 146  *  will be used in each of the handlers below.
 147  */
 148 static void *begin (struct zebra_register *reg,
 149                     void *class_handle, RSET rset, NMEM nmem,
 150                     TERMID *terms, int numterms)
 151 {
 152   struct ranksimilarity_set_info *si =
 153     (struct ranksimilarity_set_info *) nmem_malloc (nmem, sizeof(*si));
 154   int i;
 155
 156   yaz_log(log_level, "begin() numterms=%d", numterms);
 157
 158   /* setting database global statistics */
 159    si->no_docs_database = -1;  /* TODO */
 160    si->size_docs_database = -1;  /* TODO */
 161
 162   /* setting query statistics */
 163    si->no_terms_query = numterms;
 164    si->no_ranked_terms_query = 0;
 165
 166   /* setting internal data structures */
 167   si->nmem=nmem;
 168   si->entries = (struct ranksimilarity_term_info *)
 169     nmem_malloc (si->nmem, sizeof(*si->entries)*numterms);
 170
 171   /* reset the counts for the next term */
 172   ranksimilar_rec_reset(si);
 173
 174
 175   /* looping all terms in a specific field of query */
 176   for (i = 0; i < numterms; i++)
 177     {
 178       struct ord_list *ol = NULL;
 179
 180
 181       /* adding to number of rank entries */
 182       if (strncmp (terms[i]->flags, "rank,", 5))
 183         {
 184           si->entries[i].rank_flag = 0;
 185           yaz_log(log_level, "begin() terms[%d]: '%s' flags=%s not ranked",
 186                   i, terms[i]->name, terms[i]->flags);
 187         }
 188       else
 189         {
 190           const char *cp = strstr(terms[i]->flags+4, ",w=");
 191
 192           yaz_log(log_level, "begin() terms[%d]: '%s' flags=%s",
 193                   i, terms[i]->name, terms[i]->flags);
 194
 195           (si->no_ranked_terms_query)++;
 196           ol = terms[i]->ol;
 197
 198           si->entries[i].rank_flag = 1;
 199           /* notice that the call to rset_count(rset) has he side-effect
 200              of setting rset->hits_limit = rset_count(rset) ??? */
 201           si->entries[i].freq_term_resset = rset_count(terms[i]->rset);
 202           si->entries[i].no_docs_resset =  terms[i]->rset->hits_count;
 203           si->entries[i].no_docs_field = -1;   /*TODO*/
 204           si->entries[i].size_docs_field = -1;   /*TODO*/
 205           si->entries[i].no_terms_field = -1;   /*TODO*/
 206
 207           if (cp)
 208             si->entries[i].field_weight = atoi (cp+3);
 209           else
 210             si->entries[i].field_weight = 34; /* sqrroot of 1000 */
 211
 212
 213           /*
 214           yaz_log(log_level, "begin() rset_count(terms[%d]->rset) = "
 215                   ZINT_FORMAT, i, rset_count(terms[i]->rset));
 216           yaz_log(log_level, "begin() terms[%d]->rset->hits_limit = "
 217                   ZINT_FORMAT, i, terms[i]->rset->hits_limit);
 218           yaz_log(log_level, "begin() terms[%d]->rset->hits_count = "
 219                   ZINT_FORMAT, i, terms[i]->rset->hits_count);
 220           yaz_log(log_level, "begin() terms[%d]->rset->hits_round = "
 221                   ZINT_FORMAT, i, terms[i]->rset->hits_round);
 222           yaz_log(log_level, "begin() terms[%d]->rset->hits_approx = %d",
 223                   i, terms[i]->rset->hits_approx);
 224           */
 225
 226           /* looping indexes where term terms[i] is found */
 227           for (; ol; ol = ol->next)
 228             {
 229               int index_type = 0;
 230               const char *db = 0;
 231               const char *string_index = 0;
 232               int set = -1;
 233               int use = -1;
 234
 235               zebraExplain_lookup_ord(reg->zei,
 236                                       ol->ord, &index_type, &db, &set, &use,
 237                                       &string_index);
 238
 239               if (string_index)
 240                 yaz_log(log_level,
 241                         "begin()    index: ord=%d type=%c db=%s str-index=%s",
 242                         ol->ord, index_type, db, string_index);
 243               else
 244                 yaz_log(log_level,
 245                         "begin()    index: ord=%d type=%c db=%s set=%d use=%d",
 246                         ol->ord, index_type, db, set, use);
 247             }
 248
 249         }
 250
 251       si->entries[i].term = terms[i];
 252       si->entries[i].term_index=i;
 253
 254       /* setting next entry in term */
 255       terms[i]->rankpriv = &(si->entries[i]);
 256     }
 257
 258   return si;
 259 }
 260
 261 /*
 262  * end: Terminates ranking process. Called after a result set
 263  *  has been ranked.
 264  */
 265 static void end (struct zebra_register *reg, void *set_handle)
 266 {
 267   yaz_log(log_level, "end()");
 268 }
 269
 270
 271
 272 /**
 273  * add: Called for each word occurence in a result set. This routine
 274  *  should be as fast as possible. This routine should "incrementally"
 275  *  update the score.
 276  */
 277 static void add (void *set_handle, int seqno, TERMID term)
 278 {
 279   struct ranksimilarity_set_info *si
 280     = (struct ranksimilarity_set_info *) set_handle;
 281   struct ranksimilarity_term_info *ti;
 282   assert(si);
 283   if (!term)
 284     {
 285       /* yaz_log(log_level, "add() seqno=%d NULL term", seqno); */
 286       return;
 287     }
 288
 289   ti= (struct ranksimilarity_term_info *) term->rankpriv;
 290   assert(ti);
 291   si->last_pos = seqno;
 292   ti->freq_term_docfield++;
 293   /* yaz_log(log_level, "add() seqno=%d term=%s freq_term_docfield=%d",
 294      seqno, term->name, ti->freq_term_docfield); */
 295 }
 296
 297 /*
 298  * calc: Called for each document in a result. This handler should
 299  *  produce a score based on previous call(s) to the add handler. The
 300  *  score should be between 0 and 1000. If score cannot be obtained
 301  *  -1 should be returned.
 302  */
 303 static int calc (void *set_handle, zint sysno, zint staticrank,
 304                  int *stop_flag)
 305 {
 306   int i, score = 0;
 307   struct ranksimilarity_set_info *si
 308     = (struct ranksimilarity_set_info *) set_handle;
 309
 310
 311   yaz_log(log_level, "calc() sysno =      " ZINT_FORMAT, sysno);
 312   yaz_log(log_level, "calc() staticrank = " ZINT_FORMAT, staticrank);
 313
 314   yaz_log(log_level, "calc() si->no_terms_query = %d",
 315           si->no_terms_query);
 316   yaz_log(log_level, "calc() si->no_ranked_terms_query = %d",
 317           si->no_ranked_terms_query);
 318   yaz_log(log_level, "calc() si->no_docs_database = " ZINT_FORMAT,
 319           si->no_docs_database);
 320   yaz_log(log_level, "calc() si->size_docs_database = " ZINT_FORMAT,
 321           si->size_docs_database);
 322
 323
 324   if (!si->no_ranked_terms_query)
 325     return -1;   /* ranking not enabled for any terms */
 326
 327
 328   /* if we set *stop_flag = 1, we stop processing (of result set list) */
 329
 330
 331   /* here goes your formula to compute a scoring function */
 332   /* you may use all the gathered statistics here */
 333   for (i = 0; i < si->no_terms_query; i++)
 334     {
 335       yaz_log(log_level, "calc() entries[%d] termid %p",
 336               i, si->entries[i].term);
 337       if (si->entries[i].term){
 338         yaz_log(log_level, "calc() entries[%d] term '%s' flags=%s",
 339                 i, si->entries[i].term->name, si->entries[i].term->flags);
 340         yaz_log(log_level, "calc() entries[%d] rank_flag %d",
 341                 i, si->entries[i].rank_flag );
 342         yaz_log(log_level, "calc() entries[%d] field_weight %d",
 343                 i, si->entries[i].field_weight );
 344         yaz_log(log_level, "calc() entries[%d] freq_term_docfield %d",
 345                 i, si->entries[i].freq_term_docfield );
 346         yaz_log(log_level, "calc() entries[%d] freq_term_resset " ZINT_FORMAT,
 347                 i, si->entries[i].freq_term_resset );
 348         yaz_log(log_level, "calc() entries[%d] no_docs_resset " ZINT_FORMAT,
 349                 i, si->entries[i].no_docs_resset );
 350         yaz_log(log_level, "calc() entries[%d] no_docs_field " ZINT_FORMAT,
 351                 i, si->entries[i].no_docs_field );
 352         yaz_log(log_level, "calc() entries[%d] size_docs_field " ZINT_FORMAT,
 353                 i, si->entries[i].size_docs_field );
 354         yaz_log(log_level, "calc() entries[%d] no_terms_field " ZINT_FORMAT,
 355                 i, si->entries[i].no_terms_field );
 356       }
 357     }
 358
 359
 360   /* reset the counts for the next term */
 361   ranksimilar_rec_reset(si);
 362
 363
 364   /* staticrank = 0 is highest, MAXINT lowest */
 365   score = INT_MAX - staticrank;  /* but score is reverse (logical) */
 366
 367
 368   /* debugging statistics output */
 369   yaz_log(log_level, "calc() statistics: score = %d", score);
 370
 371   return score;
 372 }
 373
 374 /*
 375  * Pseudo-meta code with sequence of calls as they occur in a
 376  * server. Handlers are prefixed by --:
 377  *
 378  *     server init
 379  *     -- create
 380  *     foreach search
 381  *        rank result set
 382  *        -- begin
 383  *        foreach record
 384  *           foreach word
 385  *              -- add
 386  *           -- calc
 387  *        -- end
 388  *     -- destroy
 389  *     server close
 390  */
 391
 392 static struct rank_control rank_control = {
 393   "rank-similarity",
 394   create,
 395   destroy,
 396   begin,
 397   end,
 398   calc,
 399   add,
 400 };
 401
 402 struct rank_control *rank_similarity_class = &rank_control;