Implemented special retrieval _storekeys_ which returns record keys
[idzebra-moved-to-github.git] / index / zvrank.c
1 /* $Id: zvrank.c,v 1.19 2005-08-19 11:04:23 adam Exp $
2    Copyright (C) 1995-2005
3    Index Data ApS
4
5    This file is part of the Zebra server.
6
7    Zebra is free software; you can redistribute it and/or modify it under
8    the terms of the GNU General Public License as published by the Free
9    Software Foundation; either version 2, or (at your option) any later
10    version.
11
12    Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
13    WARRANTY; without even the implied warranty of MERCHANTABILITY or
14    FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
15    for more details.
16
17    You should have received a copy of the GNU General Public License
18    along with Zebra; see the file LICENSE.zebra.  If not, write to the
19    Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
20    02111-1307, USA.
21 */
22
23 /*
24 Zvrank: an experimental ranking algorithm. See doc/zvrank.txt and
25 source in index/zvrank.c. Enable this by using rank: zvrank in zebra.cfg.
26 Contributed by Johannes Leveling <Johannes.Leveling at
27 fernuni-hagen.de>
28 */
29
30 /* Zebra Vector Space Model RANKing 
31 **
32 ** six (seven) letter identifier for weighting scheme
33 ** best document weighting:
34 **  tfc nfc (tpc npc) [original naming]
35 **  ntc atc  npc apc  [SMART naming, used here]
36 ** best query weighting:
37 **  nfx tfx bfx (npx tpx bpx) [original naming]
38 **  atn ntn btn  apn npn bpn  [SMART naming]
39 ** -> should set zvrank.weighting-scheme to one of
40 ** "ntc-atn", "atc-atn", etc.
41 */
42
43
44 #include <math.h>  /* for log */
45
46 #include <stdio.h>
47 #include <assert.h>
48 #ifdef WIN32
49 #include <io.h>
50 #else
51 #include <unistd.h>
52 #endif
53
54 #include "index.h"
55
56 static int log_level = 0;
57 static int log_initialized = 0;
58
59 static double blog(double x) { 
60     /* log_2, log_e or log_10 is used, best to change it here if necessary */
61     if (x <= 0)
62         return 0.0;
63     return log(x); /* / log(base) */
64 }
65
66 /* structures */
67
68 struct rank_class_info {
69     char rscheme[8];    /* name of weighting scheme */
70 };
71
72
73 struct rs_info {      /* for result set */
74     int db_docs;        /* number of documents in database (collection) */
75     int db_terms;       /* number of distinct terms in database (debugging?) */
76     int db_f_max;       /* maximum of f_t in database (debugging?) */
77     char *db_f_max_str; /* string (most frequent term) - for debugging */
78     /**/
79     char rscheme[8];    /* name of weighting scheme */
80     /**/
81     int veclen;
82     NMEM nmem;
83     void (*d_tf_fct)(void *, void *);   /* doc term frequency function */
84     void (*d_idf_fct)(void *, void *);  /* doc idf function */
85     void (*d_norm_fct)(void *, void *); /* doc normalization function */
86     /**/
87     void (*q_tf_fct)(void *, void *);   /* query term frequency function */
88     void (*q_idf_fct)(void *, void *);  /* query idf function */
89     void (*q_norm_fct)(void *, void *); /* query normalization function */
90     
91     double (*sim_fct)(void *, void *);  /* similarity function (scoring function) */
92     struct ds_info *qdoc;
93     struct ds_info *rdoc;
94 };
95 typedef struct rs_info *RS;
96
97 static void prn_rs(RS rs) { /* for debugging */
98     yaz_log(log_level, "* RS:");
99     yaz_log(log_level, " db_docs:   %d", rs->db_docs);
100     yaz_log(log_level, " db_terms:  %d", rs->db_terms);
101     yaz_log(log_level, " f_max:     %d", rs->db_f_max);
102     yaz_log(log_level, " f_max_str: %s", rs->db_f_max_str);
103     yaz_log(log_level, " veclen:    %d", rs->veclen);
104     /* rscheme implies functions */
105     yaz_log(log_level, " rscheme:   %s", rs->rscheme);
106     return;
107 }
108
109 struct ds_info {       /* document info */
110     char *docid;         /* unique doc identifier */
111     int  docno;          /* doc number */
112     int doclen;          /* document length */
113     int d_f_max;         /* maximum number of any term in doc (needed) */
114     char *d_f_max_str;   /* most frequent term in d - for debugging */
115     int veclen;          /* vector length */
116     struct ts_info *terms;
117     double docsim;       /* similarity in [0, ..., 1] (= score/1000) */
118 };
119 typedef struct ds_info* DS;
120
121 #if 0
122 static void prn_ds(DS ds) { /* for debugging */
123     yaz_log(log_level, " * DS:");
124     yaz_log(log_level, " docid:      %s", ds->docid);
125     yaz_log(log_level, " docno:      %d", ds->docno);
126     yaz_log(log_level, " doclen:     %d", ds->doclen);
127     yaz_log(log_level, " d_f_max:    %d", ds->d_f_max);
128     yaz_log(log_level, " d_f_max_str:%s", ds->d_f_max_str);
129     yaz_log(log_level, " veclen:     %d", ds->veclen);
130     return;
131 }
132 #endif
133
134 struct ts_info {       /* term info */
135     char *name;
136     int *id;
137     /**/
138     zint gocc;
139     int locc;
140     double tf;
141     double idf;
142     double wt;
143 };
144 typedef struct ts_info *TS;
145
146 #if 0
147 static void prn_ts(TS ts) { /* for debugging */
148     yaz_log(log_level, " * TERM:%s gocc:%d locc:%d  tf:%f idf:%f wt:%f",
149             ts->name, ts->gocc, ts->locc, ts->tf, ts->idf, ts->wt);
150     return;
151 }
152 #endif
153
154 /* end structures */
155
156 /* *** */
157
158 /* 
159 ** weighting functions 
160 ** check: RS is not needed anymore
161 */
162
163 /* calculate and store new term frequency vector */
164 static void tf_none(void *rsi, void *dsi) {
165     DS ds=(DS)dsi;
166     int i, veclen, freq;
167     /* no conversion. 1 <= tf */
168     veclen=ds->veclen;
169     for (i=0; i < veclen; i++) {
170         freq=ds->terms[i].locc;
171         ds->terms[i].tf=freq;
172     }
173     return;
174 }
175
176 static void tf_binary(void *rsi, void *dsi) {
177     DS ds=(DS)dsi;
178     int i, veclen, freq;
179     /* tf in {0, 1} */
180     veclen=ds->veclen;
181     for (i=0; i < veclen; i++) {
182         freq=ds->terms[i].locc;
183         if (freq > 0)
184             ds->terms[i].tf=1.0;
185         else
186             ds->terms[i].tf=0.0;
187     }
188     return;
189 }
190
191 static void tf_max_norm(void *rsi, void *dsi) {
192     DS ds=(DS)dsi;
193     double tf_max;
194     int i, veclen, freq;
195     /* divide each term by max, so 0 <= tf <= 1 */
196     tf_max=ds->d_f_max; /* largest frequency of t in document */
197     veclen=ds->veclen;
198     for (i=0; i < veclen; i++) {
199         freq=ds->terms[i].locc;
200         if ((freq > 0) &&
201             (tf_max > 0.0)) 
202             ds->terms[i].tf=freq/tf_max;
203         else
204             ds->terms[i].tf=0.0;
205     }
206     return;
207 }
208
209 static void tf_aug_norm(void *rsi, void *dsi) {
210     DS ds=(DS)dsi;
211     double K; 
212     double tf_max;
213     int i, veclen, freq;
214     /* augmented normalized tf. 0.5 <= tf <= 1  for K = 0.5 */
215     tf_max=ds->d_f_max; /* largest frequency of t in document */
216     veclen=ds->veclen;
217     K=0.5; /* zvrank.const-K */
218     for (i=0; i < veclen; i++) {
219         freq=ds->terms[i].locc;
220         if ((freq > 0) &&
221             (tf_max > 0.0)) 
222             ds->terms[i].tf=K+(1.0-K)*(freq/tf_max);
223         else
224             ds->terms[i].tf=0.0;
225     }
226     return;
227 }
228
229 static void tf_square(void *rsi, void *dsi) {
230     DS ds=(DS)dsi;
231     int i, veclen, freq;
232     /* tf ^ 2 */
233     veclen=ds->veclen;
234     for (i=0; i < veclen; i++) {
235         freq=ds->terms[i].locc;
236         if (freq > 0) 
237             ds->terms[i].tf=freq*freq;
238         else
239             ds->terms[i].tf=0.0;
240     }
241     return;
242 }
243
244 static void tf_log(void *rsi, void *dsi) {
245     DS ds=(DS)dsi;
246     int i, veclen, freq;
247     /* logarithmic tf */    
248     veclen=ds->veclen;
249     for (i=0; i < veclen; i++) {
250         freq=ds->terms[i].locc;
251         if (freq > 0) 
252             ds->terms[i].tf=1.0+blog(freq);
253         else
254             ds->terms[i].tf=0.0;
255     }
256     return;
257 }
258
259 /* calculate and store inverse document frequency vector */
260 static void idf_none(void *rsi, void *dsi) {
261     DS ds=(DS)dsi;
262     int i, veclen;
263     /* no conversion */
264     veclen=ds->veclen;
265     for (i=0; i < veclen; i++) {
266         ds->terms[i].idf=1.0;
267     }
268     return;
269 }
270
271 static void idf_tfidf(void *rsi, void *dsi) {
272     RS rs=(RS)rsi;
273     DS ds=(DS)dsi;
274     zint num_docs, gocc;
275     int i, veclen;
276     double idf;
277     /* normal tfidf weight */
278     veclen=ds->veclen;
279     num_docs=rs->db_docs;
280     for (i=0; i < veclen; i++) {
281         gocc=ds->terms[i].gocc;
282         if (gocc==0) 
283             idf=0.0; 
284         else
285             idf=blog((double) (num_docs/gocc));
286         ds->terms[i].idf=idf;
287     }
288     return;
289 }
290
291 static void idf_prob(void *rsi, void *dsi) {
292     RS rs=(RS)rsi;
293     DS ds=(DS)dsi;
294     zint num_docs, gocc;
295     int i, veclen;
296     double idf;
297     /* probabilistic formulation */
298     veclen=ds->veclen;
299     num_docs=rs->db_docs;
300     for (i=0; i < veclen; i++) {
301         gocc=ds->terms[i].gocc;
302         if (gocc==0)
303             idf=0.0; 
304         else
305             idf=blog((double) ((num_docs-gocc)/gocc));
306         ds->terms[i].idf=idf;
307     }
308     return;
309 }
310
311 static void idf_freq(void *rsi, void *dsi) {
312     RS rs=(RS)rsi;
313     DS ds=(DS)dsi;
314     int num_docs;
315     int i, veclen;
316     double idf;
317     /* frequency formulation */
318     veclen=ds->veclen;
319     num_docs=rs->db_docs;
320     if (num_docs==0)
321         idf=0.0;
322     else
323         idf=1.0/num_docs;
324     for (i=0; i < veclen; i++) {
325         ds->terms[i].idf=idf;
326     }
327     return;
328 }
329
330 static void idf_squared(void *rsi, void *dsi) {
331     RS rs=(RS)rsi;
332     DS ds=(DS)dsi;
333     zint num_docs, gocc;
334     int i, veclen;
335     double idf;
336     /* idf ^ 2 */
337     veclen=ds->veclen;
338     num_docs=rs->db_docs;
339     yaz_log(log_level, "idf_squared: db_docs required");
340     for (i=0; i < veclen; i++) {
341         gocc=ds->terms[i].gocc;
342         if (gocc==0)
343             idf=0.0;
344         else 
345             idf=blog(CAST_ZINT_TO_DOUBLE(num_docs/gocc));
346         idf=idf*idf;
347         ds->terms[i].idf=idf;
348     }
349     return;
350 }
351
352 /* calculate and store normalized weight (tf-idf) vector */
353 static void norm_none(void *rsi, void *dsi) {
354     DS ds=(DS)dsi;
355     int i, veclen;
356     /* no normalization */
357     veclen=ds->veclen;
358     for (i=0; i < veclen; i++) {
359         ds->terms[i].wt=ds->terms[i].tf*ds->terms[i].idf;
360     }
361     return;
362 }
363
364 static void norm_sum(void *rsi, void *dsi) {
365     DS ds=(DS)dsi;
366     int i, veclen;
367     double tfs=0.0;
368     /**/
369     veclen=ds->veclen;
370     for (i=0; i < veclen; i++) {
371         ds->terms[i].wt=ds->terms[i].tf*ds->terms[i].idf;
372         tfs+=ds->terms[i].wt;
373     } 
374     if (tfs > 0.0)
375         for (i=0; i < veclen; i++) {
376             ds->terms[i].wt=ds->terms[i].wt/tfs;
377         }
378     /* else: tfs==0 && ds->terms[i].wt==0 */
379     return;
380 }
381
382 static void norm_cosine(void *rsi, void *dsi) {
383     DS ds=(DS)dsi;
384     int i, veclen;
385     double tfs=0.0;
386     /**/
387     veclen=ds->veclen;
388     for (i=0; i < veclen; i++) {
389         ds->terms[i].wt=ds->terms[i].tf*ds->terms[i].idf;
390         tfs+=(ds->terms[i].wt*ds->terms[i].wt);
391     } 
392     tfs=sqrt(tfs); 
393     if (tfs > 0.0)
394         for (i=0; i < veclen; i++) {
395             ds->terms[i].wt=ds->terms[i].wt/tfs;
396         }
397     /* else: tfs==0 && ds->terms[i].wt==0 */
398     return;
399 }
400
401 static void norm_fourth(void *rsi, void *dsi) {
402     DS ds=(DS)dsi;
403     int i, veclen;
404     double tfs=0.0, fr;
405     /**/
406     veclen=ds->veclen;
407     for (i=0; i < veclen; i++) {
408         ds->terms[i].wt=ds->terms[i].tf*ds->terms[i].idf;
409         fr=(ds->terms[i].wt*ds->terms[i].wt);
410         fr=fr*fr; /* ^ 4 */
411         tfs+=fr; 
412     }
413     if (tfs > 0.0)
414         for (i=0; i < veclen; i++) {
415             ds->terms[i].wt=ds->terms[i].wt/tfs;
416         }
417     /* else: tfs==0 && ds->terms[i].wt==0 */
418     return;
419 }
420
421 static void norm_max(void *rsi, void *dsi) {
422     DS ds=(DS)dsi;
423     int i, veclen;
424     double tfm=0.0;
425     /**/
426     veclen=ds->veclen;
427     for (i=0; i < veclen; i++) {
428         ds->terms[i].wt=ds->terms[i].tf*ds->terms[i].idf;
429         if (ds->terms[i].wt > tfm)
430             tfm=ds->terms[i].wt;
431     }
432     if (tfm > 0.0)
433         for (i=0; i < veclen; i++) {
434             ds->terms[i].wt=ds->terms[i].wt/tfm;
435         }
436     /* else: tfs==0 && ds->terms[i].wt==0 */
437     return;
438 }
439
440 /* FIXME add norm_pivot, ... */
441
442 static double sim_cosine(void *dsi1, void *dsi2) {
443     DS ds1=(DS)dsi1;
444     DS ds2=(DS)dsi2;
445     int i, veclen;
446     double smul=0.0, sdiv=0.0, sqr11=0.0, sqr22=0.0;
447     double v1, v2;
448     /**/
449     veclen=ds1->veclen; /* and ds2->veclen */
450     for (i=0; i < veclen; i++) {
451         v1=ds1->terms[i].wt;
452         v2=ds2->terms[i].wt;
453         smul +=(v1*v2);
454         sqr11+=(v1*v1);
455         sqr22+=(v2*v2);
456     }
457     sdiv=sqrt(sqr11*sqr22);
458     if (sdiv==0.0)
459         return 0.0;
460     return (smul/sdiv);
461 }
462
463 /* FIXME: add norm_jaccard, norm_dice, ... */
464
465 /* end weighting functions */
466
467 /* *** */
468
469 static void zv_init_scheme(RS rs, const char *sname) {
470     int slen;
471     char c0, c1, c2, c3, c4, c5, c6;
472     const char *def_rscheme="ntc-atn"; /* a good default */
473     /**/
474     yaz_log(log_level, "zv_init_scheme");
475     slen=strlen(sname);
476     if (slen < 7) 
477         yaz_log(log_level, "zvrank: invalid weighting-scheme \"%s\"", sname);
478     if (slen > 0) c0=sname[0]; else c0=def_rscheme[0];
479     if (slen > 1) c1=sname[1]; else c1=def_rscheme[1];
480     if (slen > 2) c2=sname[2]; else c2=def_rscheme[2];
481     c3='-';
482     if (slen > 4) c4=sname[4]; else c4=def_rscheme[4];
483     if (slen > 5) c5=sname[5]; else c5=def_rscheme[5];
484     if (slen > 6) c6=sname[6]; else c6=def_rscheme[6];
485     
486     /* assign doc functions */
487     switch (c0) 
488     {
489         case 'b':
490             rs->d_tf_fct=tf_binary;
491             rs->rscheme[0]='b';
492             break;
493         case 'm':
494             rs->d_tf_fct=tf_max_norm;
495             rs->rscheme[0]='m';
496             yaz_log(log_level, "tf_max_norm: d_f_max required");
497             break;
498         case 'a':
499             rs->d_tf_fct=tf_aug_norm;
500             rs->rscheme[0]='a';
501             yaz_log(log_level, "tf_aug_norm: d_f_max required");
502             break;
503         case 's':
504             rs->d_tf_fct=tf_square;
505             rs->rscheme[0]='s';
506             break;
507         case 'l':
508             rs->d_tf_fct=tf_log;
509             rs->rscheme[0]='l';
510             break;
511         default: /* 'n' */
512             rs->d_tf_fct=tf_none;
513             rs->rscheme[0]='n';
514     }
515     switch (c1) 
516     {
517         case 't':
518             rs->d_idf_fct=idf_tfidf;
519             rs->rscheme[1]='t';
520             yaz_log(log_level, "idf_tfidf: db_docs required");
521             break;
522         case 'p':
523             rs->d_idf_fct=idf_prob;
524             rs->rscheme[1]='p';
525             yaz_log(log_level, "idf_prob: db_docs required");
526             break;
527         case 'f':
528             rs->d_idf_fct=idf_freq;
529             rs->rscheme[1]='f';
530             yaz_log(log_level, "idf_freq: db_docs required");
531             break;
532         case 's':
533             rs->d_idf_fct=idf_squared;
534             rs->rscheme[1]='s';
535             yaz_log(log_level, "idf_squared: db_docs required");
536             break;
537         default: /* 'n' */
538             rs->d_idf_fct=idf_none;
539             rs->rscheme[1]='n';
540     }
541     switch (c2) 
542     {
543         case 's':
544             rs->d_norm_fct=norm_sum;
545             rs->rscheme[2]='s';
546             break;
547         case 'c':
548             rs->d_norm_fct=norm_cosine;
549             rs->rscheme[2]='c';
550             break;
551         case 'f':
552             rs->d_norm_fct=norm_fourth;
553             rs->rscheme[2]='t';
554             break;
555         case 'm':
556             rs->d_norm_fct=norm_max;
557             rs->rscheme[2]='m';
558             break;
559         default: /* 'n' */
560             rs->d_norm_fct=norm_none;
561             rs->rscheme[2]='n';
562     }
563     rs->rscheme[3]='-';
564     /* assign query functions */
565     switch (c4) 
566     {
567         case 'b':
568             rs->q_tf_fct=tf_binary;
569             rs->rscheme[4]='b';
570             break;
571         case 'm':
572             rs->q_tf_fct=tf_max_norm;
573             yaz_log(log_level, "tf_max_norm: d_f_max required");
574             rs->rscheme[4]='m';
575             break;
576         case 'a':
577             rs->q_tf_fct=tf_aug_norm;
578             rs->rscheme[4]='a';
579             yaz_log(log_level, "tf_aug_norm: d_f_max required");
580             break;
581         case 's':
582             rs->q_tf_fct=tf_square;
583             rs->rscheme[4]='s';
584             break;
585         case 'l':
586             rs->q_tf_fct=tf_log;
587             rs->rscheme[4]='l';
588             break;
589         default: /* 'n' */
590             rs->q_tf_fct=tf_none;
591             rs->rscheme[4]='n';
592     }
593     switch (c5) 
594     {
595         case 't':
596             rs->q_idf_fct=idf_tfidf;
597             rs->rscheme[5]='t';
598             yaz_log(log_level, "idf_tfidf: db_docs required");
599             break;
600         case 'p':
601             rs->q_idf_fct=idf_prob;
602             rs->rscheme[5]='p';
603             yaz_log(log_level, "idf_prob: db_docs required");
604             break;
605         case 'f':
606             rs->q_idf_fct=idf_freq;
607             rs->rscheme[5]='f';
608             yaz_log(log_level, "idf_freq: db_docs required");
609             break;
610         case 's':
611             rs->q_idf_fct=idf_squared;
612             rs->rscheme[5]='s';
613             yaz_log(log_level, "idf_squared: db_docs required");
614             break;
615         default: /* 'n' */
616             rs->q_idf_fct=idf_none;
617             rs->rscheme[5]='n';
618     }
619     switch (c6) 
620     {
621         case 's':
622             rs->q_norm_fct=norm_sum;
623             rs->rscheme[6]='s';
624             break;
625         case 'c':
626             rs->q_norm_fct=norm_cosine;
627             rs->rscheme[6]='c';
628             break;
629         case 'f':
630             rs->q_norm_fct=norm_fourth;
631             rs->rscheme[6]='f';
632             break;
633         case 'm':
634             rs->q_norm_fct=norm_max;
635             rs->rscheme[6]='m';
636             break;
637         default: /* 'n' */
638             rs->q_norm_fct=norm_none;
639             rs->rscheme[6]='n';
640     }
641     rs->rscheme[7]='\0';
642     rs->sim_fct=sim_cosine;
643     yaz_log(log_level, "zv_scheme %s", rs->rscheme);
644 }
645
646 static void zv_init(RS rs, const char *rscheme) {
647     yaz_log(log_level, "zv_init");
648     /**/
649     rs->db_docs=100000;   /* assign correct value here */
650     rs->db_terms=500000;  /* assign correct value here (for debugging) */
651     rs->db_f_max=50;      /* assign correct value here */
652     rs->db_f_max_str="a"; /* assign correct value here (for debugging) */
653     /* FIXME - get those values from somewhere */
654     zv_init_scheme(rs, rscheme);
655     return;
656 }
657
658 /******/
659
660 /*
661  * zv_create: Creates/Initialises this rank handler. This routine is 
662  *  called exactly once. The routine returns the class_handle.
663  */
664 static void *zv_create (ZebraHandle zh) {
665     int i;
666     Res res = zh->res;
667     const char *wscheme;
668     struct rank_class_info *ci = (struct rank_class_info *)
669         xmalloc (sizeof(*ci));
670     if (!log_initialized)
671     {
672         log_level = yaz_log_module_level("zvrank");
673         log_initialized = 1;
674     }
675
676     yaz_log(log_level, "zv_create");
677     wscheme=  res_get_def(res, "zvrank.weighting-scheme", "");
678     for (i = 0; wscheme[i] && i < 8; i++) 
679         ci->rscheme[i]=wscheme[i];
680     ci->rscheme[i] = '\0';
681     return ci;
682 }
683
684 /*
685  * zv_destroy: Destroys this rank handler. This routine is called
686  *  when the handler is no longer needed - i.e. when the server
687  *  dies. The class_handle was previously returned by create.
688  */
689 static void zv_destroy (struct zebra_register *reg, void *class_handle) {
690     struct rank_class_info *ci = (struct rank_class_info *) class_handle;
691     yaz_log(log_level, "zv_destroy");
692     xfree (ci);
693 }
694
695
696 /*
697  * zv_begin: Prepares beginning of "real" ranking. Called once for
698  *  each result set. The returned handle is a "set handle" and
699  *  will be used in each of the handlers below.
700  */
701 static void *zv_begin(struct zebra_register *reg, void *class_handle, 
702                       RSET rset, NMEM nmem, TERMID *terms, int numterms)
703 {
704     struct rs_info *rs=(struct rs_info *)nmem_malloc(nmem,sizeof(*rs));
705     struct rank_class_info *ci=(struct rank_class_info *)class_handle;
706     int i;
707     int veclen;
708     int *ip;
709     zint gocc;
710     /**/
711     yaz_log(log_level, "zv_begin");
712     veclen= numterms;
713     zv_init(rs, ci->rscheme);
714     rs->nmem=nmem;
715     rs->veclen=veclen;
716     prn_rs(rs);
717   
718     rs->qdoc=(struct ds_info *)nmem_malloc(nmem,sizeof(*rs->qdoc));
719     rs->qdoc->terms=(struct ts_info *)nmem_malloc(nmem,
720                                 sizeof(*rs->qdoc->terms)*rs->veclen);
721     rs->qdoc->veclen=veclen;
722     rs->qdoc->d_f_max=1; /* no duplicates */ 
723     rs->qdoc->d_f_max_str=""; 
724
725     rs->rdoc=(struct ds_info *)nmem_malloc(nmem,sizeof(*rs->rdoc));
726     rs->rdoc->terms=(struct ts_info *)nmem_malloc(nmem,
727                          sizeof(*rs->rdoc->terms)*rs->veclen);
728     rs->rdoc->veclen=veclen;
729     rs->rdoc->d_f_max=10; /* just a guess */
730     rs->rdoc->d_f_max_str=""; 
731     /* yaz_log(log_level, "zv_begin_init"); */
732     for (i = 0; i < rs->veclen; i++)
733     {
734         gocc= rset_count(terms[i]->rset);
735         terms[i]->rankpriv=ip=nmem_malloc(nmem, sizeof(int));
736         *ip=i; /* save the index for add() */
737         /* yaz_log(log_level, "zv_begin_init i=%d gocc=%d", i, gocc); */
738         rs->qdoc->terms[i].gocc=gocc;
739         rs->qdoc->terms[i].locc=1;  /* assume query has no duplicate terms */
740         rs->rdoc->terms[i].gocc=gocc;
741         rs->rdoc->terms[i].locc=0;
742     }
743     (*rs->q_tf_fct)(rs, rs->qdoc); /* we do this once only */
744     (*rs->q_idf_fct)(rs, rs->qdoc);
745     (*rs->q_norm_fct)(rs, rs->qdoc);
746     return rs;
747 }
748
749 /*
750  * zv_end: Terminates ranking process. Called after a result set
751  *  has been ranked.
752  */
753 static void zv_end (struct zebra_register *reg, void *rsi)
754 {
755     yaz_log(log_level, "zv_end");
756     /* they all are nmem'd */
757     return;
758 }
759
760 /*
761  * zv_add: Called for each word occurence in a result set. This routine
762  *  should be as fast as possible. This routine should "incrementally"
763  *  update the score.
764  */
765 static void zv_add (void *rsi, int seqno, TERMID term) {
766     RS rs=(RS)rsi;
767     int *ip = term->rankpriv;
768     int i=*ip;
769     if (!term) 
770     {
771         yaz_log(log_level, "zvrank zv_add seqno=%d NULL term",seqno );
772         return;
773     }
774     rs->rdoc->terms[i].locc++;
775     yaz_log(log_level, "zvrank zv_add seqno=%d '%s' term_index=%d cnt=%d", 
776              seqno, term->name, i, rs->rdoc->terms[i].locc );
777 }
778
779 /*
780  * zv_calc: Called for each document in a result. This handler should 
781  *  produce a score based on previous call(s) to the add handler. The
782  *  score should be between 0 and 1000. If score cannot be obtained
783  *  -1 should be returned.
784  */
785 static int zv_calc (void *rsi, zint sysno, zint staticrank, int *stop_flag)
786 {
787     int i, veclen; 
788     int score=0;
789     double dscore=0.0;
790     RS rs=(RS)rsi;
791     /* yaz_log(log_level, "zv_calc"); */
792     /**/
793     veclen=rs->veclen;
794     if (veclen==0)
795         return -1;
796     for (i = 0; i < veclen; i++) {
797         /* qdoc weight has already been calculated */
798         (*rs->d_tf_fct)(rs, rs->rdoc);
799         (*rs->d_idf_fct)(rs, rs->rdoc);
800         (*rs->d_norm_fct)(rs, rs->rdoc);
801         dscore=rs->sim_fct(rs->qdoc, rs->rdoc);
802     }
803     score = (int) (dscore * 1000 +.5);
804     yaz_log (log_level, "zv_calc: sysno=" ZINT_FORMAT " score=%d", 
805             sysno, score);
806     if (score > 1000) /* should not happen */
807         score = 1000;
808     /* reset counts for the next record */
809     for (i = 0; i < rs->veclen; i++)
810         rs->rdoc->terms[i].locc=0;
811     return score;
812 }
813
814 /*
815  * Pseudo-meta code with sequence of calls as they occur in a
816  * server. Handlers are prefixed by --:
817  *
818  *     server init
819  *     -- create
820  *     foreach search
821  *        rank result set
822  *        -- begin
823  *        foreach record
824  *           foreach word
825  *              -- add
826  *           -- calc
827  *        -- end
828  *     -- destroy
829  *     server close
830  */
831
832 static struct rank_control rank_control_vsm = {
833     "zvrank",
834     zv_create,
835     zv_destroy,
836     zv_begin,
837     zv_end,
838     zv_calc,
839     zv_add,
840 };
841  
842 struct rank_control *rank_zv_class = &rank_control_vsm;
843