removed a few debug stmts
[idzebra-moved-to-github.git] / NEWS
1 --- 2.0.34 2008/11/06
2
3 Facets can now be performed on sort registers (:s), not just regular indexes
4 (:w, :p) etc.. The performance appers to be much better than before.
5
6 Added a facility to embed metadata for records generated by the DOM XML
7 filter. The meta data step is triggered by a 'process-meta' section in the
8 retrieve section of the dom config, e.g.
9   <retrieve name="myelementset">
10     <xslt stylesheet="my-usual.xsl"/>
11     <process-meta/>
12   </retrieve>
13 The meta section substitutes metadata for all elements called 'meta' in
14 namespace http://indexdata.com/zebra-2.0 . The meta element must have
15 exactly one attribute, name, which specifies the special
16 element set name which is equivalent to the suffix to zebra:: for
17 non-embedded special retrievals. This allows snippets, facets etc to be
18 included.
19
20 Fixed bug #2202: incorrect sorting order when searching multiple databases.
21
22 --- 2.0.32 2008/06/06
23
24 Fixed OAI example.
25
26 --- 2.0.30 2008/05/14
27
28 Changed service name for Windows. Bug #978.
29
30 Fixed the alwaysmatches including _ALLRECORDS for ICU term indexing. Bug #2139.
31
32 --- 2.0.28 2008/04/03
33
34 Handle right-truncation for ICU normalized terms.
35
36 Updated OAI-PMH example.
37
38 --- 2.0.26 2008/01/28 
39
40 Fixes for searches on Chinese text.
41
42 Fixes for scan using ICU indexing terms.
43
44 --- 2.0.24 2008/01/18 
45
46 Fixed some memory violations for ICU enabled indexing that could be
47 triggered by long phrases.
48
49 Enable ICU on Windows. Thanks to Tumer Garip for makefile patches.
50
51 Fixed bug #2002: Zebra crashes during merge using ICU indexing.
52
53 --- 2.0.22 2007/12/20
54
55 Handle encoding errors for strings passed to ICU. (assert was
56 thrown earlier).
57
58 Added zebraidx command, adelete, which attempts to delete records.
59 It's like 'delete', but does not fail if a record does not exist.
60
61 --- 2.0.20 2007/12/19
62
63 Added experimental support for faceted results. This is implemented
64 as a special retrieval on a result set and is triggered using element
65 set name zebra::facet::f1:t1,f2,t2,.. which will return terms and
66 hit counts for field f1, type t1, field f2, type t2, .. The returned
67 data is packed as XML or SUTRS depending on record syntax.
68
69 Added support for Unicode-based indexing using ICU. This allows
70 locale specific scanning, sorting. The implementation is based on
71 the ICU utility part of YAZ 3.0.16 and later. See the manual as well
72 as the examples/marcxml for an example of the use of ICU.
73
74 --- 2.0.18 2007/09/19
75
76 Fixed bug with scan and staticrank enabled. Bug introduced in 2.0.16.
77
78 --- 2.0.16 2007/09/12
79
80 Scan now returns a displayTerm which closer to the original word/phrase
81 from original record.
82
83 Added snippet support. Element set name zebra::snippet will make
84 Zebra return an XML record with snippets (terms around matching terms).
85
86 Fixed bug #1142: Non-indexed but listed attributes issues diagnostic.
87
88 Fixed bug #1131: Missing value-of data in DOM filter.
89
90 Fixed bug #1049: zebra.cfg lines with leading space are ignored.
91
92 Fixed bug #1128: sortmax not honored.
93
94 Fixed bug #1121: Crash for some searches with customized string.chr.
95
96 --- 2.0.14 2007/05/09
97
98 Zebra uses the YAZ 3 API. Note that this changes the Zebra API
99 as well. The register layout is the same however. 
100
101 Fixed bug #1114: scan within set may use excessive CPU.
102
103 Fixed memory leak that occurred in scan.
104
105 Fixed memory leak that occurred for each deleted record.
106
107 Optimize updates of records where content is almost identical to previous
108 version of record. This makes updating of the internal explain database
109 faster too.
110
111 For RPN queries the index type (w,p,..) may be specified verbatim as
112 structure attribute with string value, e.g. @attr 4=w .
113
114 Changed record update API . It is now handled by function
115 zebra_record_update which does insert/replace/delete/update of records .
116 This function replaces zebra_record_{insert,delete} and
117 zebra_admin_exchange_record. The DOM filter uses this feature and the
118 @type attribute in record element specifies the action
119 insert/replace/delete/update.
120
121 Added support for multi-record updates (Bug #944). Based on patch from
122 Hans-Werner Hilse.
123
124 --- 2.0.12 2007/03/07
125
126 Fixed bug with indexing of attributes for rec.grs-class of filters.
127 If X-Path was enabled xelm a/@b would be ignored.
128
129 Fixed bug in register system where 'no more space' messages was produced
130 even though there was plenty of space.
131
132 Fixed bug #884: Entity declarations in input are lost at retrieval time.
133
134 Implemented new filter 'dom'. See test/xslt/dom-config*xml for examples. 
135 This, like alvis, performs indexing and retrieval using XSLT. But Unlike
136 alvis, it allows multiple XSLT steps to be performed and does ISO2709
137 reading. Bug #843.
138
139 --- 2.0.10 2007/01/24
140
141 Staticrank indexing is now an index register type defined in default.idx
142 via directive 'staticrank'. The 'staticrank' directive for grs is no longer
143 supported (was only implemented for Zebra 2.0.8).
144
145 For searches, allow truncmax value to be controlled with attribute 13.
146 If given, that overrides the value of 'truncmax'.
147
148 For truncations being limited (abort at truncmax terms), zebrasrv returns
149 SearchResponse with resultSetStatus=subset.
150
151 For estimated hit counts, zebrasrv returns SearchResponse with 
152 resultSetStatus=estimate.
153
154 --- 2.0.8 2007/01/15
155
156 For searches, do not truncate more than at most 'truncmax' terms in one
157 single term with right-truncation/regular attribute. By default, 'truncmax',
158 is 10000.
159
160 Bug #781: Easier tracking of result sets. We only do this when mkstemp
161 is available (most moderun Unixes supports this). The PID is included
162 in filename : tempdir/zrs_PID_XXXXXX.
163
164 Added support for specification of staticrank for grs-class of filters.
165 This is enabled by using 'staticrank indexname' in .abs. Contents of
166 indexname (elm ... indexname:w) is then used as value for staticrank.
167
168 Implemented sorting via the ISAMB system. To enable, use sortindex:i in
169 zebra.cfg.
170
171 Added special retrieval support for sort keys. These keys can also be
172 fetched using zebra::index:field:s   
173
174 Added support for specification of approximative limits for whole query.
175 This is specified as attribute type 12. Semantics is the same as
176 estimatehits in zebra.cfg.
177
178 --- 2.0.6 2006/11/28
179
180 Fixed bug #736: Updates gets slower.
181
182 Fixed bug #735: Delete fails to process rest of file after a record that
183 does not exist,
184
185 Added RPM package for Zebra 2.
186
187 Improved indexing speed for large documents.
188
189 Added support for special utility retrieval zebra:: which offers retrieval
190 of fundamental properties for record, such as indexed terms, raw record,
191 and system record ID.
192
193 --- 2.0.4 2006/10/16
194
195 Fixed bug #47: Commit needs to check for roll-back.
196
197 Fixed bug #672: Trailing characters in password are ignored
198
199 Added extra presence check for tcl.h, because some systems have
200 tclConfig.sh installed even though Tcl C headers are missing.
201
202 Optimized melm performance.
203
204 Do not use sync(2) during commit (but rely on sync'd individual files).
205
206 Fixed bug in ISAMB's utility function decode_ptr. With gcc -O3 on some
207 platforms the src argument was not updated. Problem was compiler
208 optimization due to strict aliasing rules.
209
210 --- 2.0.2 2006/09/22
211
212 Bug fixes: #638, #647, #657, #669.
213
214 Implement skip of 0 hit counts in scan. Useful for scan operations
215 limited by a result set.
216
217 Honor position attribute, i.e. allow first-in-field search. To
218 enable this, "firstinfield 1" must be given for an index in
219 default.idx. Enabled in tab/default.idx for w. At this stage
220 first-in field is supported for phrase/and-list/or-list searches
221
222 Common stream reader interface for record filters (struct ZebraRecStream).
223
224 Debian package fix: packages idzebra-2.0 + libidzebra-2.0-modules did
225 not depend properly on sub packages.
226
227 --- 2.0.0 2006/08/14
228
229 New record filter (record type) 'alvis' which uses XSLT transformations
230 to drive both indexing as well as retrieval. See example configuration in the
231 'example/alvis-oai' directory.
232
233 'isamb' is now the default ISAM system. In Zebra 1.3, the default ISAM was
234 'isamc'. The type used can still be configured with the 'isam' setting
235 in 'zebra.cfg'.
236
237 Index structure is now 64-bit based, also on 32 bit systems. 
238 There are no more 2GB register file limits.
239
240 Extended search result tuning. Approximate limit for terms can be enabled
241 and specified with attribute 11. The (approx or exact) hit count is returned
242 as part of the search response as in 1.3 series. The subqueryID of a search
243 term hit count can be specified with attribute 10.
244
245 Zebra uses string attributes for indexing internally. Using set+numeric
246 use attribute can still be used. This is a search-only conversion which
247 inspects '*.att'-set files as indicated using attset-directives in 'zebra.cfg'.
248 'attset' references are no longer required, but when used they deserve
249 as "check" for that the index names used are also present in '*.att'.
250
251 Zebra record filters (record type handlers) may be built as loadable
252 modules (.so's) on Unix. In particular the Zebra 2.0 Debian package uses
253 separate packages for each of them. This also means that zebra programs
254 such as zebraidx is no longer depending on Tcl/other..
255
256 Documentation updates, especially on query structure and syntax, SRU, 
257 XSLT support, alvis filter module, and many added examples.
258
259 Improved logging of the 'zebrasrv' and 'zebraidx' binaries.
260
261 Improved debian package structure.
262
263 --- 1.3.16 2004/08/16