added coment on magic number 34 which is sqrroot of 1000
[idzebra-moved-to-github.git] / index / ranksimilarity.c
1 /* $Id: ranksimilarity.c,v 1.1 2006-05-03 09:31:26 marc Exp $
2    Copyright (C) 1995-2005
3    Index Data ApS
4
5 This file is part of the Zebra server.
6
7 Zebra is free software; you can redistribute it and/or modify it under
8 the terms of the GNU General Public License as published by the Free
9 Software Foundation; either version 2, or (at your option) any later
10 version.
11
12 Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
13 WARRANTY; without even the implied warranty of MERCHANTABILITY or
14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
15 for more details.
16
17 You should have received a copy of the GNU General Public License
18 along with Zebra; see the file LICENSE.zebra.  If not, write to the
19 Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
20 02111-1307, USA.
21 */
22
23 #include <stdio.h>
24 #include <assert.h>
25 #include <limits.h>
26 #ifdef WIN32
27 #include <io.h>
28 #endif
29 #if HAVE_UNISTD_H
30 #include <unistd.h>
31 #endif
32
33 #include "index.h"
34 #include "rank.h"
35
36 static int log_level = 0;
37 static int log_initialized = 0;
38
39 struct ranksimilarity_class_info {
40     int dummy;
41 };
42
43 struct ranksimilarity_term_info {
44     int local_occur;
45     zint global_occur;
46     int global_inv;
47     int rank_flag;
48     int rank_weight;
49     TERMID term;
50     int term_index;
51 };
52
53 struct ranksimilarity_set_info {
54     int last_pos;
55     int no_entries;
56     int no_rank_entries;
57     struct ranksimilarity_term_info *entries;
58     NMEM nmem;
59 };
60
61
62 /*
63  * create: Creates/Initialises this rank handler. This routine is 
64  *  called exactly once. The routine returns the class_handle.
65  */
66 static void *create (ZebraHandle zh)
67 {
68     struct ranksimilarity_class_info *ci = 
69         (struct ranksimilarity_class_info *) xmalloc (sizeof(*ci));
70
71     if (!log_initialized)
72     {
73         log_level = yaz_log_module_level("ranksimilarity");
74         log_initialized = 1;
75     }
76     yaz_log(log_level, "create()");
77     return 0;
78 }
79
80 /*
81  * destroy: Destroys this rank handler. This routine is called
82  *  when the handler is no longer needed - i.e. when the server
83  *  dies. The class_handle was previously returned by create.
84  */
85 static void destroy (struct zebra_register *reg, void *class_handle)
86 {
87     struct ranksimilarity_class_info *ci 
88       = (struct ranksimilarity_class_info *) class_handle;
89     yaz_log(log_level, "destroy()");
90     xfree (ci);
91 }
92
93
94 /**
95  * begin: Prepares beginning of "real" ranking. Called once for
96  *  each result set. The returned handle is a "set handle" and
97  *  will be used in each of the handlers below.
98  */
99 static void *begin (struct zebra_register *reg, 
100                     void *class_handle, RSET rset, NMEM nmem,
101                     TERMID *terms, int numterms)
102 {
103     struct ranksimilarity_set_info *si = 
104         (struct ranksimilarity_set_info *) nmem_malloc (nmem, sizeof(*si));
105     int i;
106
107     yaz_log(log_level, "begin()");
108
109     /* count how many terms are ranked (2=102 or similar) */
110     si->no_entries = numterms;
111     si->no_rank_entries = 0;
112     si->nmem=nmem;
113     si->entries = (struct ranksimilarity_term_info *)
114         nmem_malloc (si->nmem, sizeof(*si->entries)*numterms); 
115
116     /* looping all terms in a specific field of query */
117     for (i = 0; i < numterms; i++)
118     {
119         struct ord_list *ol = terms[i]->ol;
120
121         yaz_log(log_level, "begin() term i=%d flags=%s '%s'", i, 
122                 terms[i]->flags, terms[i]->name );
123
124         for (; ol; ol = ol->next)
125         {
126             int index_type = 0;
127             const char *db = 0;
128             const char *string_index = 0;
129             int set = -1;
130             int use = -1;
131
132             zebraExplain_lookup_ord(reg->zei,
133                                     ol->ord, &index_type, &db, &set, &use,
134                                     &string_index);
135
136             if (string_index)
137                 yaz_log(log_level, "begin() ord=%d index_type=%c db=%s str-index=%s",
138                     ol->ord, index_type, db, string_index);
139             else
140                 yaz_log(log_level, "begin() ord=%d index_type=%c db=%s set=%d use=%d",
141                     ol->ord, index_type, db, set, use);
142         }
143         if (!strncmp (terms[i]->flags, "rank,", 5)) 
144             (si->no_rank_entries)++;
145
146         /* setting next entry in term */
147         terms[i]->rankpriv = &(si->entries[i]);
148     }
149     return si;
150 }
151
152 /*
153  * end: Terminates ranking process. Called after a result set
154  *  has been ranked.
155  */
156 static void end (struct zebra_register *reg, void *set_handle)
157 {
158     yaz_log(log_level, "end()");
159 }
160
161
162 /**
163  * add: Called for each word occurence in a result set. This routine
164  *  should be as fast as possible. This routine should "incrementally"
165  *  update the score.
166  */
167 static void add (void *set_handle, int seqno, TERMID term)
168 {
169   struct ranksimilarity_set_info *si = (struct ranksimilarity_set_info *) set_handle;
170   struct ranksimilarity_term_info *ti; 
171     assert(si);
172     if (!term)
173     {
174       /* yaz_log(log_level, "add() NULL term"); */
175         return;
176     }
177
178     
179     ti= (struct ranksimilarity_term_info *) term->rankpriv;
180     assert(ti);
181     si->last_pos = seqno;
182     ti->local_occur++;
183     /* yaz_log(log_level, "add() seqno=%d term=%s count=%d", 
184        seqno, term->name,ti->local_occur); */
185 }
186
187 /*
188  * calc: Called for each document in a result. This handler should 
189  *  produce a score based on previous call(s) to the add handler. The
190  *  score should be between 0 and 1000. If score cannot be obtained
191  *  -1 should be returned.
192  */
193 static int calc (void *set_handle, zint sysno, zint staticrank,
194                  int *stop_flag)
195 {
196   int i, score = 0;
197   struct ranksimilarity_set_info *si 
198     = (struct ranksimilarity_set_info *) set_handle;
199   
200   yaz_log(log_level, "calc()");
201   
202   if (!si->no_rank_entries)
203     return -1;   /* ranking not enabled for any terms */
204
205   /* here you put in your own score function */
206   
207   
208   /* reset the counts for the next term */
209   for (i = 0; i < si->no_entries; i++)
210     si->entries[i].local_occur = 0;
211   
212   /* if we set *stop_flag = 1, we stop processing (of result set list) */
213   /* staticrank = 0 is highest, MAXINT lowest */
214
215
216   /* here goes your formula to compute a scoring function */
217   /* you may use all the gathered statistics here */
218
219   score = INT_MAX - staticrank;  /* but score is reverse (logical) */
220
221
222
223   return score;
224 }
225
226 /*
227  * Pseudo-meta code with sequence of calls as they occur in a
228  * server. Handlers are prefixed by --:
229  *
230  *     server init
231  *     -- create
232  *     foreach search
233  *        rank result set
234  *        -- begin
235  *        foreach record
236  *           foreach word
237  *              -- add
238  *           -- calc
239  *        -- end
240  *     -- destroy
241  *     server close
242  */
243
244 static struct rank_control rank_control = {
245     "rank-similarity",
246     create,
247     destroy,
248     begin,
249     end,
250     calc,
251     add,
252 };
253  
254 struct rank_control *rank_similarity_class = &rank_control;