changed API to get terms and docs in fields
[idzebra-moved-to-github.git] / index / rank1.c
1 /* $Id: rank1.c,v 1.30 2006-05-10 08:13:22 adam Exp $
2    Copyright (C) 1995-2005
3    Index Data ApS
4
5 This file is part of the Zebra server.
6
7 Zebra is free software; you can redistribute it and/or modify it under
8 the terms of the GNU General Public License as published by the Free
9 Software Foundation; either version 2, or (at your option) any later
10 version.
11
12 Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
13 WARRANTY; without even the implied warranty of MERCHANTABILITY or
14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
15 for more details.
16
17 You should have received a copy of the GNU General Public License
18 along with Zebra; see the file LICENSE.zebra.  If not, write to the
19 Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
20 02111-1307, USA.
21 */
22
23 #include <stdio.h>
24 #include <assert.h>
25 #ifdef WIN32
26 #include <io.h>
27 #endif
28 #if HAVE_UNISTD_H
29 #include <unistd.h>
30 #endif
31
32 #include "index.h"
33 #include "rank.h"
34
35 static int log_level = 0;
36 static int log_initialized = 0;
37
38 struct rank_class_info {
39     int dummy;
40 };
41
42 struct rank_term_info {
43     int local_occur;
44     zint global_occur;
45     int global_inv;
46     int rank_flag;
47     int rank_weight;
48     TERMID term;
49     int term_index;
50 };
51
52 struct rank_set_info {
53     int last_pos;
54     int no_entries;
55     int no_rank_entries;
56     struct rank_term_info *entries;
57     NMEM nmem;
58 };
59
60 static int log2_int (zint g)
61 {
62     int n = 0;
63     if (g < 0)
64         return 0;
65     while ((g = g>>1))
66         n++;
67     return n;
68 }
69
70 /*
71  * create: Creates/Initialises this rank handler. This routine is 
72  *  called exactly once. The routine returns the class_handle.
73  */
74 static void *create (ZebraHandle zh)
75 {
76     struct rank_class_info *ci = 
77         (struct rank_class_info *) xmalloc (sizeof(*ci));
78
79     if (!log_initialized)
80     {
81         log_level = yaz_log_module_level("rank1");
82         log_initialized = 1;
83     }
84     yaz_log(log_level, "rank-1 create");
85     return ci;
86 }
87
88 /*
89  * destroy: Destroys this rank handler. This routine is called
90  *  when the handler is no longer needed - i.e. when the server
91  *  dies. The class_handle was previously returned by create.
92  */
93 static void destroy (struct zebra_register *reg, void *class_handle)
94 {
95     struct rank_class_info *ci = (struct rank_class_info *) class_handle;
96
97     yaz_log(log_level, "rank-1 destroy");
98     xfree (ci);
99 }
100
101
102 /**
103  * begin: Prepares beginning of "real" ranking. Called once for
104  *  each result set. The returned handle is a "set handle" and
105  *  will be used in each of the handlers below.
106  */
107 static void *begin (struct zebra_register *reg, 
108                     void *class_handle, RSET rset, NMEM nmem,
109                     TERMID *terms, int numterms)
110 {
111     struct rank_set_info *si = 
112         (struct rank_set_info *) nmem_malloc (nmem,sizeof(*si));
113     int i;
114
115     yaz_log(log_level, "rank-1 begin");
116     si->no_entries = numterms;
117     si->no_rank_entries = 0;
118     si->nmem=nmem;
119     si->entries = (struct rank_term_info *)
120         nmem_malloc (si->nmem, sizeof(*si->entries)*numterms); 
121     for (i = 0; i < numterms; i++)
122     {
123         zint g = rset_count(terms[i]->rset);
124         yaz_log(log_level, "i=%d flags=%s '%s'", i, 
125                 terms[i]->flags, terms[i]->name );
126         if  (!strncmp (terms[i]->flags, "rank,", 5)) 
127         {
128             const char *cp = strstr(terms[i]->flags+4, ",w=");
129             si->entries[i].rank_flag = 1;
130             if (cp)
131                 si->entries[i].rank_weight = atoi (cp+3);
132             else
133               si->entries[i].rank_weight = 34; /* sqrroot of 1000 */
134             yaz_log(log_level, " i=%d weight=%d g="ZINT_FORMAT, i,
135                      si->entries[i].rank_weight, g);
136             (si->no_rank_entries)++;
137         }
138         else
139             si->entries[i].rank_flag = 0;
140         si->entries[i].local_occur = 0;  /* FIXME */
141         si->entries[i].global_occur = g;
142         si->entries[i].global_inv = 32 - log2_int (g);
143         yaz_log(log_level, " global_inv = %d g = " ZINT_FORMAT, 
144                 (int) (32-log2_int (g)), g);
145         si->entries[i].term = terms[i];
146         si->entries[i].term_index=i;
147         terms[i]->rankpriv = &(si->entries[i]);
148     }
149     return si;
150 }
151
152 /*
153  * end: Terminates ranking process. Called after a result set
154  *  has been ranked.
155  */
156 static void end (struct zebra_register *reg, void *set_handle)
157 {
158     yaz_log(log_level, "rank-1 end");
159     /* no need to free anything, they are in nmems */
160 }
161
162
163 /**
164  * add: Called for each word occurence in a result set. This routine
165  *  should be as fast as possible. This routine should "incrementally"
166  *  update the score.
167  */
168 static void add (void *set_handle, int seqno, TERMID term)
169 {
170     struct rank_set_info *si = (struct rank_set_info *) set_handle;
171     struct rank_term_info *ti;
172     assert(si);
173     if (!term)
174     {
175         yaz_log(log_level, "rank-1 add NULL term");
176         return;
177     }
178     ti= (struct rank_term_info *) term->rankpriv;
179     assert(ti);
180     si->last_pos = seqno;
181     ti->local_occur++;
182     yaz_log(log_level, "rank-1 add seqno=%d term=%s count=%d", 
183             seqno, term->name,ti->local_occur);
184 }
185
186 /*
187  * calc: Called for each document in a result. This handler should 
188  *  produce a score based on previous call(s) to the add handler. The
189  *  score should be between 0 and 1000. If score cannot be obtained
190  *  -1 should be returned.
191  */
192 static int calc (void *set_handle, zint sysno, zint staticrank,
193                  int *stop_flag)
194 {
195     int i, lo, divisor, score = 0;
196     struct rank_set_info *si = (struct rank_set_info *) set_handle;
197
198     if (!si->no_rank_entries) 
199         return -1;   /* ranking not enabled for any terms */
200
201     for (i = 0; i < si->no_entries; i++)
202     {
203         yaz_log(log_level, "calc: i=%d rank_flag=%d lo=%d",
204                 i, si->entries[i].rank_flag, si->entries[i].local_occur);
205         if (si->entries[i].rank_flag && (lo = si->entries[i].local_occur))
206             score += (8+log2_int (lo)) * si->entries[i].global_inv *
207                 si->entries[i].rank_weight;
208     }
209     divisor = si->no_rank_entries * (8+log2_int (si->last_pos/si->no_entries));
210     score = score / divisor;
211     yaz_log(log_level, "calc sysno=" ZINT_FORMAT " score=%d", sysno, score);
212     if (score > 1000)
213         score = 1000;
214     /* reset the counts for the next term */
215     for (i = 0; i < si->no_entries; i++)
216         si->entries[i].local_occur = 0;
217     return score;
218 }
219
220 /*
221  * Pseudo-meta code with sequence of calls as they occur in a
222  * server. Handlers are prefixed by --:
223  *
224  *     server init
225  *     -- create
226  *     foreach search
227  *        rank result set
228  *        -- begin
229  *        foreach record
230  *           foreach word
231  *              -- add
232  *           -- calc
233  *        -- end
234  *     -- destroy
235  *     server close
236  */
237
238 static struct rank_control rank_control = {
239     "rank-1",
240     create,
241     destroy,
242     begin,
243     end,
244     calc,
245     add,
246 };
247  
248 struct rank_control *rank_1_class = &rank_control;
249 /*
250  * Local variables:
251  * c-basic-offset: 4
252  * indent-tabs-mode: nil
253  * End:
254  * vim: shiftwidth=4 tabstop=8 expandtab
255  */
256