SRU SOAP decoding: handle HTTP basic auth as well
[yaz-moved-to-github.git] / src / stemmer.c
1
2
3 #if HAVE_CONFIG_H
4 #include "config.h"
5 #endif
6
7 #if YAZ_HAVE_ICU
8
9 #include <yaz/yconfig.h>
10
11 #include <yaz/stemmer.h>
12
13 #include <yaz/xmalloc.h>
14
15 #include <libstemmer.h>
16
17 #include <unicode/ustring.h>  /* some more string fcns*/
18 #include <unicode/uchar.h>    /* char names           */
19
20 enum stemmer_implementation {
21     yaz_no_operation,
22     yaz_snowball
23 };
24 struct yaz_stemmer_t
25 {
26     int implementation;
27     // Required for cloning.
28     char *locale;
29     char *rule;
30     struct sb_stemmer *sb_stemmer;
31 };
32
33 const char* yaz_stemmer_lookup_charenc(const char *charenc, const char *rule) {
34     return "UTF_8";
35 }
36
37 const char* yaz_stemmer_lookup_algorithm(const char *locale, const char *rule) {
38     return locale;
39 }
40
41 yaz_stemmer_p yaz_stemmer_snowball_create(const char *locale, const char *rule, UErrorCode *status) {
42     const char *charenc = yaz_stemmer_lookup_charenc(locale, rule);
43     const char *algorithm = yaz_stemmer_lookup_algorithm(locale,rule);
44     struct sb_stemmer *stemmer = sb_stemmer_new(algorithm, charenc);
45     yaz_stemmer_p yaz_stemmer;
46     if (stemmer == 0) {
47         *status = U_ILLEGAL_ARGUMENT_ERROR;
48         yaz_log(YLOG_FATAL, "yaz_stemmer: Failed to create snowball stemmer from locale %srule %s. Showball: charenc %s algorithm %s ", 
49                 locale, rule, charenc, algorithm);
50         return 0;
51     }
52     yaz_log(YLOG_DEBUG, "created snowball stemmer: algoritm %s charenc %s ", algorithm, charenc);
53     yaz_stemmer = xmalloc(sizeof(*yaz_stemmer));
54     yaz_stemmer->implementation = yaz_snowball;
55       
56     yaz_stemmer->locale = xstrdup(locale);
57     yaz_stemmer->rule = xstrdup(rule);
58     yaz_stemmer->sb_stemmer = stemmer;
59     yaz_log(YLOG_DEBUG, "created snowball stemmer: algoritm %s charenc %s ", algorithm, charenc);
60     return yaz_stemmer;
61 }
62
63 yaz_stemmer_p yaz_stemmer_create(const char *locale, const char *rule, UErrorCode *status) {
64     *status = U_ZERO_ERROR;
65     // dispatch logic required if more algorithms is implemented.
66     yaz_log(YLOG_DEBUG, "create stemmer: locale %s rule %s ", locale, rule);
67     return yaz_stemmer_snowball_create(locale, rule, status);
68 }
69
70 yaz_stemmer_p yaz_stemmer_clone(yaz_stemmer_p stemmer) {
71     UErrorCode error = U_ZERO_ERROR;
72     if (stemmer == 0)
73       return 0;
74     return yaz_stemmer_create(stemmer->locale, stemmer->rule, &error);
75 }
76
77 void yaz_stemmer_stem(yaz_stemmer_p stemmer, struct icu_buf_utf16 *dst, struct icu_buf_utf16* src, UErrorCode *status)
78 {
79     switch(stemmer->implementation) {
80         case yaz_snowball: {
81             struct icu_buf_utf8 *utf8_buf = icu_buf_utf8_create(0);
82             icu_utf16_to_utf8(utf8_buf, src, status);
83             if (*status == U_ZERO_ERROR) {
84                 const sb_symbol *cstr = (const sb_symbol*) icu_buf_utf8_to_cstr(utf8_buf);
85                 const sb_symbol *sb_symbol = sb_stemmer_stem(stemmer->sb_stemmer, cstr, utf8_buf->utf8_len);
86                 if (sb_symbol == 0) {
87                     icu_buf_utf16_copy(dst, src);
88                 }
89                 else {
90
91                     const char *cstr2 = (const char *) sb_symbol;
92                     icu_utf16_from_utf8_cstr(dst, cstr2 , status);
93 #if 0             
94                     yaz_log(YLOG_DEBUG, "stemming %s to %s ", cstr, cstr2);
95 #endif
96                 }
97             }
98             icu_buf_utf8_destroy(utf8_buf);
99             return ;
100             break;
101         }
102     case yaz_no_operation:
103       yaz_log(YLOG_DEBUG, "Stemmer (No operation) called");
104     default: {
105             // Default return the same as given.
106             icu_buf_utf16_copy(dst, src);
107         }
108     }
109 }
110
111 void yaz_stemmer_destroy(yaz_stemmer_p stemmer) 
112 {
113   /* Handle no stemmer correctly */
114   if (stemmer == 0)
115     return ;
116
117   switch (stemmer->implementation) {
118   case yaz_snowball:
119     sb_stemmer_delete(stemmer->sb_stemmer);
120     break;
121   }
122   xfree(stemmer->locale);
123   xfree(stemmer->rule);
124   xfree(stemmer);
125 }
126
127 #endif /* YAZ_HAVE_ICU */