Beginnings of zebra_register_check
[idzebra-moved-to-github.git] / NEWS
1 --- 2.0.45 2010/12/22
2
3 Add Debian package for Ubuntu maverick.
4
5 Update to newer Libxml2/Libxslt for Windows package.
6
7 Escape-sequences are disabled for RPN-queries with truncation=105/106.
8 These, unlike regular expressions, do not support \-sequences .
9
10 --- 2.0.44 2010/06/29
11
12 grs1: avoid term_len < 0 for .abs operator 'range'
13
14 ICU: fix use of un-init variable.
15
16 More reasonable approx hits for truncated searches.
17
18 Updates WRT Odr_int (YAZ 4).
19
20 --- 2.0.43 2009/11/05
21
22 Fix hits counts for searches when @attr 12=n is in use. This bug
23 was introduced in 2.0.40.
24
25 --- 2.0.42 2009/10/08
26
27 Proximity modifications. The optimized proximity now deals with more
28 cases, ie all prox of the form @prox 0 d 1 1,2,3 k 2 ..
29 That's exlusive==0, any distance, ordered (true), relation (<, =, <=),
30 known unit word.
31
32 Fix bug WRT inconsistent registers, bug #3062.
33
34 Fix install doc rule so it's compatible with Automake 1.11.
35
36 --- 2.0.41 2009/08/24
37
38 Fix typos and other errors in the documentation. Thanks to Galen
39 Charlton.
40
41 Fix DOM filter so that full record ID (z:id) if given is used verbatim
42 rather than truncated until first blank - in other words use memcpy
43 rather than sscanf. For PI fix record attributes parsing which was
44 completely broken.
45
46 --- 2.0.40 2009/07/13
47
48 Fixed problem in result set handling and segment handling.
49
50 --- 2.0.39 2009/07/09
51
52 Improved speed of record fetching by using a different block sizes
53 for recd{A,B}.
54
55 Added zlib-compression of recd-storage (record data). This is enabled
56 by using recordCompression: zlib in zebra.cfg.
57
58 Dictionary delete more agressive (dict_del_string).
59
60 --- 2.0.38 2009/06/19
61
62 Improved estimated hits for AND operation (bug #2907)
63
64 Fixed problem with register area growing after "drop DB". (bug #2913).
65
66 --- 2.0.37 2009/05/18
67
68 Example with marc21 is now installed and part of packages.
69
70 Fixed XSL for OAI example.
71
72 Fixed problem with generic proximity handling.
73
74 Added new ranking handler: rank-2. This is a combination of rank-1 and
75 static rank.. The staticrank is inverse (lowest value comes first, etc..).
76 rank-2 thus substracts that from score. This allows a system to specify
77 a "base" rank (=staticrank).
78
79 --- 2.0.36 2009/02/17
80
81 Added implementation-codes directive for .mar files.
82
83 Avoid error for missing recordId when zebraidx' option -s is in use.
84
85 Fixed problem with some disk blocks not beeing freed correctly when
86 'drop database' is used.
87
88 --- 2.0.34 2008/11/06
89
90 Facets can now be performed on sort registers (:s), not just regular indexes
91 (:w, :p) etc.. The performance appers to be much better than before.
92
93 Added a facility to embed metadata for records generated by the DOM XML
94 filter. The meta data step is triggered by a 'process-meta' section in the
95 retrieve section of the dom config, e.g.
96   <retrieve name="myelementset">
97     <xslt stylesheet="my-usual.xsl"/>
98     <process-meta/>
99   </retrieve>
100 The meta section substitutes metadata for all elements called 'meta' in
101 namespace http://indexdata.com/zebra-2.0 . The meta element must have
102 exactly one attribute, name, which specifies the special
103 element set name which is equivalent to the suffix to zebra:: for
104 non-embedded special retrievals. This allows snippets, facets etc to be
105 included.
106
107 Fixed bug #2202: incorrect sorting order when searching multiple databases.
108
109 --- 2.0.32 2008/06/06
110
111 Fixed OAI example.
112
113 --- 2.0.30 2008/05/14
114
115 Changed service name for Windows. Bug #978.
116
117 Fixed the alwaysmatches including _ALLRECORDS for ICU term indexing. Bug #2139.
118
119 --- 2.0.28 2008/04/03
120
121 Handle right-truncation for ICU normalized terms.
122
123 Updated OAI-PMH example.
124
125 --- 2.0.26 2008/01/28 
126
127 Fixes for searches on Chinese text.
128
129 Fixes for scan using ICU indexing terms.
130
131 --- 2.0.24 2008/01/18 
132
133 Fixed some memory violations for ICU enabled indexing that could be
134 triggered by long phrases.
135
136 Enable ICU on Windows. Thanks to Tumer Garip for makefile patches.
137
138 Fixed bug #2002: Zebra crashes during merge using ICU indexing.
139
140 --- 2.0.22 2007/12/20
141
142 Handle encoding errors for strings passed to ICU. (assert was
143 thrown earlier).
144
145 Added zebraidx command, adelete, which attempts to delete records.
146 It's like 'delete', but does not fail if a record does not exist.
147
148 --- 2.0.20 2007/12/19
149
150 Added experimental support for faceted results. This is implemented
151 as a special retrieval on a result set and is triggered using element
152 set name zebra::facet::f1:t1,f2,t2,.. which will return terms and
153 hit counts for field f1, type t1, field f2, type t2, .. The returned
154 data is packed as XML or SUTRS depending on record syntax.
155
156 Added support for Unicode-based indexing using ICU. This allows
157 locale specific scanning, sorting. The implementation is based on
158 the ICU utility part of YAZ 3.0.16 and later. See the manual as well
159 as the examples/marcxml for an example of the use of ICU.
160
161 --- 2.0.18 2007/09/19
162
163 Fixed bug with scan and staticrank enabled. Bug introduced in 2.0.16.
164
165 --- 2.0.16 2007/09/12
166
167 Scan now returns a displayTerm which closer to the original word/phrase
168 from original record.
169
170 Added snippet support. Element set name zebra::snippet will make
171 Zebra return an XML record with snippets (terms around matching terms).
172
173 Fixed bug #1142: Non-indexed but listed attributes issues diagnostic.
174
175 Fixed bug #1131: Missing value-of data in DOM filter.
176
177 Fixed bug #1049: zebra.cfg lines with leading space are ignored.
178
179 Fixed bug #1128: sortmax not honored.
180
181 Fixed bug #1121: Crash for some searches with customized string.chr.
182
183 --- 2.0.14 2007/05/09
184
185 Zebra uses the YAZ 3 API. Note that this changes the Zebra API
186 as well. The register layout is the same however. 
187
188 Fixed bug #1114: scan within set may use excessive CPU.
189
190 Fixed memory leak that occurred in scan.
191
192 Fixed memory leak that occurred for each deleted record.
193
194 Optimize updates of records where content is almost identical to previous
195 version of record. This makes updating of the internal explain database
196 faster too.
197
198 For RPN queries the index type (w,p,..) may be specified verbatim as
199 structure attribute with string value, e.g. @attr 4=w .
200
201 Changed record update API . It is now handled by function
202 zebra_record_update which does insert/replace/delete/update of records .
203 This function replaces zebra_record_{insert,delete} and
204 zebra_admin_exchange_record. The DOM filter uses this feature and the
205 @type attribute in record element specifies the action
206 insert/replace/delete/update.
207
208 Added support for multi-record updates (Bug #944). Based on patch from
209 Hans-Werner Hilse.
210
211 --- 2.0.12 2007/03/07
212
213 Fixed bug with indexing of attributes for rec.grs-class of filters.
214 If X-Path was enabled xelm a/@b would be ignored.
215
216 Fixed bug in register system where 'no more space' messages was produced
217 even though there was plenty of space.
218
219 Fixed bug #884: Entity declarations in input are lost at retrieval time.
220
221 Implemented new filter 'dom'. See test/xslt/dom-config*xml for examples. 
222 This, like alvis, performs indexing and retrieval using XSLT. But Unlike
223 alvis, it allows multiple XSLT steps to be performed and does ISO2709
224 reading. Bug #843.
225
226 --- 2.0.10 2007/01/24
227
228 Staticrank indexing is now an index register type defined in default.idx
229 via directive 'staticrank'. The 'staticrank' directive for grs is no longer
230 supported (was only implemented for Zebra 2.0.8).
231
232 For searches, allow truncmax value to be controlled with attribute 13.
233 If given, that overrides the value of 'truncmax'.
234
235 For truncations being limited (abort at truncmax terms), zebrasrv returns
236 SearchResponse with resultSetStatus=subset.
237
238 For estimated hit counts, zebrasrv returns SearchResponse with 
239 resultSetStatus=estimate.
240
241 --- 2.0.8 2007/01/15
242
243 For searches, do not truncate more than at most 'truncmax' terms in one
244 single term with right-truncation/regular attribute. By default, 'truncmax',
245 is 10000.
246
247 Bug #781: Easier tracking of result sets. We only do this when mkstemp
248 is available (most moderun Unixes supports this). The PID is included
249 in filename : tempdir/zrs_PID_XXXXXX.
250
251 Added support for specification of staticrank for grs-class of filters.
252 This is enabled by using 'staticrank indexname' in .abs. Contents of
253 indexname (elm ... indexname:w) is then used as value for staticrank.
254
255 Implemented sorting via the ISAMB system. To enable, use sortindex:i in
256 zebra.cfg.
257
258 Added special retrieval support for sort keys. These keys can also be
259 fetched using zebra::index:field:s   
260
261 Added support for specification of approximative limits for whole query.
262 This is specified as attribute type 12. Semantics is the same as
263 estimatehits in zebra.cfg.
264
265 --- 2.0.6 2006/11/28
266
267 Fixed bug #736: Updates gets slower.
268
269 Fixed bug #735: Delete fails to process rest of file after a record that
270 does not exist,
271
272 Added RPM package for Zebra 2.
273
274 Improved indexing speed for large documents.
275
276 Added support for special utility retrieval zebra:: which offers retrieval
277 of fundamental properties for record, such as indexed terms, raw record,
278 and system record ID.
279
280 --- 2.0.4 2006/10/16
281
282 Fixed bug #47: Commit needs to check for roll-back.
283
284 Fixed bug #672: Trailing characters in password are ignored
285
286 Added extra presence check for tcl.h, because some systems have
287 tclConfig.sh installed even though Tcl C headers are missing.
288
289 Optimized melm performance.
290
291 Do not use sync(2) during commit (but rely on sync'd individual files).
292
293 Fixed bug in ISAMB's utility function decode_ptr. With gcc -O3 on some
294 platforms the src argument was not updated. Problem was compiler
295 optimization due to strict aliasing rules.
296
297 --- 2.0.2 2006/09/22
298
299 Bug fixes: #638, #647, #657, #669.
300
301 Implement skip of 0 hit counts in scan. Useful for scan operations
302 limited by a result set.
303
304 Honor position attribute, i.e. allow first-in-field search. To
305 enable this, "firstinfield 1" must be given for an index in
306 default.idx. Enabled in tab/default.idx for w. At this stage
307 first-in field is supported for phrase/and-list/or-list searches
308
309 Common stream reader interface for record filters (struct ZebraRecStream).
310
311 Debian package fix: packages idzebra-2.0 + libidzebra-2.0-modules did
312 not depend properly on sub packages.
313
314 --- 2.0.0 2006/08/14
315
316 New record filter (record type) 'alvis' which uses XSLT transformations
317 to drive both indexing as well as retrieval. See example configuration in the
318 'example/alvis-oai' directory.
319
320 'isamb' is now the default ISAM system. In Zebra 1.3, the default ISAM was
321 'isamc'. The type used can still be configured with the 'isam' setting
322 in 'zebra.cfg'.
323
324 Index structure is now 64-bit based, also on 32 bit systems. 
325 There are no more 2GB register file limits.
326
327 Extended search result tuning. Approximate limit for terms can be enabled
328 and specified with attribute 11. The (approx or exact) hit count is returned
329 as part of the search response as in 1.3 series. The subqueryID of a search
330 term hit count can be specified with attribute 10.
331
332 Zebra uses string attributes for indexing internally. Using set+numeric
333 use attribute can still be used. This is a search-only conversion which
334 inspects '*.att'-set files as indicated using attset-directives in 'zebra.cfg'.
335 'attset' references are no longer required, but when used they deserve
336 as "check" for that the index names used are also present in '*.att'.
337
338 Zebra record filters (record type handlers) may be built as loadable
339 modules (.so's) on Unix. In particular the Zebra 2.0 Debian package uses
340 separate packages for each of them. This also means that zebra programs
341 such as zebraidx is no longer depending on Tcl/other..
342
343 Documentation updates, especially on query structure and syntax, SRU, 
344 XSLT support, alvis filter module, and many added examples.
345
346 Improved logging of the 'zebrasrv' and 'zebraidx' binaries.
347
348 Improved debian package structure.
349
350 --- 1.3.16 2004/08/16