Summarize news
[idzebra-moved-to-github.git] / NEWS
1 --- 2.0.37 2009/05/18
2
3 Example with marc21 is now installed and part of packages.
4
5 Fixed XSL for OAI example.
6
7 Fixed problem with generic proximity handling.
8
9 Added new ranking handler: rank-2. This is a combination of rank-1 and
10 static rank.. The staticrank is inverse (lowest value comes first, etc..).
11 rank-2 thus substracts that from score. This allows a system to specify
12 a "base" rank (=staticrank).
13
14 --- 2.0.36 2009/02/17
15
16 Added implementation-codes directive for .mar files.
17
18 Avoid error for missing recordId when zebraidx' option -s is in use.
19
20 Fixed problem with some disk blocks not beeing freed correctly when
21 'drop database' is used.
22
23 --- 2.0.34 2008/11/06
24
25 Facets can now be performed on sort registers (:s), not just regular indexes
26 (:w, :p) etc.. The performance appers to be much better than before.
27
28 Added a facility to embed metadata for records generated by the DOM XML
29 filter. The meta data step is triggered by a 'process-meta' section in the
30 retrieve section of the dom config, e.g.
31   <retrieve name="myelementset">
32     <xslt stylesheet="my-usual.xsl"/>
33     <process-meta/>
34   </retrieve>
35 The meta section substitutes metadata for all elements called 'meta' in
36 namespace http://indexdata.com/zebra-2.0 . The meta element must have
37 exactly one attribute, name, which specifies the special
38 element set name which is equivalent to the suffix to zebra:: for
39 non-embedded special retrievals. This allows snippets, facets etc to be
40 included.
41
42 Fixed bug #2202: incorrect sorting order when searching multiple databases.
43
44 --- 2.0.32 2008/06/06
45
46 Fixed OAI example.
47
48 --- 2.0.30 2008/05/14
49
50 Changed service name for Windows. Bug #978.
51
52 Fixed the alwaysmatches including _ALLRECORDS for ICU term indexing. Bug #2139.
53
54 --- 2.0.28 2008/04/03
55
56 Handle right-truncation for ICU normalized terms.
57
58 Updated OAI-PMH example.
59
60 --- 2.0.26 2008/01/28 
61
62 Fixes for searches on Chinese text.
63
64 Fixes for scan using ICU indexing terms.
65
66 --- 2.0.24 2008/01/18 
67
68 Fixed some memory violations for ICU enabled indexing that could be
69 triggered by long phrases.
70
71 Enable ICU on Windows. Thanks to Tumer Garip for makefile patches.
72
73 Fixed bug #2002: Zebra crashes during merge using ICU indexing.
74
75 --- 2.0.22 2007/12/20
76
77 Handle encoding errors for strings passed to ICU. (assert was
78 thrown earlier).
79
80 Added zebraidx command, adelete, which attempts to delete records.
81 It's like 'delete', but does not fail if a record does not exist.
82
83 --- 2.0.20 2007/12/19
84
85 Added experimental support for faceted results. This is implemented
86 as a special retrieval on a result set and is triggered using element
87 set name zebra::facet::f1:t1,f2,t2,.. which will return terms and
88 hit counts for field f1, type t1, field f2, type t2, .. The returned
89 data is packed as XML or SUTRS depending on record syntax.
90
91 Added support for Unicode-based indexing using ICU. This allows
92 locale specific scanning, sorting. The implementation is based on
93 the ICU utility part of YAZ 3.0.16 and later. See the manual as well
94 as the examples/marcxml for an example of the use of ICU.
95
96 --- 2.0.18 2007/09/19
97
98 Fixed bug with scan and staticrank enabled. Bug introduced in 2.0.16.
99
100 --- 2.0.16 2007/09/12
101
102 Scan now returns a displayTerm which closer to the original word/phrase
103 from original record.
104
105 Added snippet support. Element set name zebra::snippet will make
106 Zebra return an XML record with snippets (terms around matching terms).
107
108 Fixed bug #1142: Non-indexed but listed attributes issues diagnostic.
109
110 Fixed bug #1131: Missing value-of data in DOM filter.
111
112 Fixed bug #1049: zebra.cfg lines with leading space are ignored.
113
114 Fixed bug #1128: sortmax not honored.
115
116 Fixed bug #1121: Crash for some searches with customized string.chr.
117
118 --- 2.0.14 2007/05/09
119
120 Zebra uses the YAZ 3 API. Note that this changes the Zebra API
121 as well. The register layout is the same however. 
122
123 Fixed bug #1114: scan within set may use excessive CPU.
124
125 Fixed memory leak that occurred in scan.
126
127 Fixed memory leak that occurred for each deleted record.
128
129 Optimize updates of records where content is almost identical to previous
130 version of record. This makes updating of the internal explain database
131 faster too.
132
133 For RPN queries the index type (w,p,..) may be specified verbatim as
134 structure attribute with string value, e.g. @attr 4=w .
135
136 Changed record update API . It is now handled by function
137 zebra_record_update which does insert/replace/delete/update of records .
138 This function replaces zebra_record_{insert,delete} and
139 zebra_admin_exchange_record. The DOM filter uses this feature and the
140 @type attribute in record element specifies the action
141 insert/replace/delete/update.
142
143 Added support for multi-record updates (Bug #944). Based on patch from
144 Hans-Werner Hilse.
145
146 --- 2.0.12 2007/03/07
147
148 Fixed bug with indexing of attributes for rec.grs-class of filters.
149 If X-Path was enabled xelm a/@b would be ignored.
150
151 Fixed bug in register system where 'no more space' messages was produced
152 even though there was plenty of space.
153
154 Fixed bug #884: Entity declarations in input are lost at retrieval time.
155
156 Implemented new filter 'dom'. See test/xslt/dom-config*xml for examples. 
157 This, like alvis, performs indexing and retrieval using XSLT. But Unlike
158 alvis, it allows multiple XSLT steps to be performed and does ISO2709
159 reading. Bug #843.
160
161 --- 2.0.10 2007/01/24
162
163 Staticrank indexing is now an index register type defined in default.idx
164 via directive 'staticrank'. The 'staticrank' directive for grs is no longer
165 supported (was only implemented for Zebra 2.0.8).
166
167 For searches, allow truncmax value to be controlled with attribute 13.
168 If given, that overrides the value of 'truncmax'.
169
170 For truncations being limited (abort at truncmax terms), zebrasrv returns
171 SearchResponse with resultSetStatus=subset.
172
173 For estimated hit counts, zebrasrv returns SearchResponse with 
174 resultSetStatus=estimate.
175
176 --- 2.0.8 2007/01/15
177
178 For searches, do not truncate more than at most 'truncmax' terms in one
179 single term with right-truncation/regular attribute. By default, 'truncmax',
180 is 10000.
181
182 Bug #781: Easier tracking of result sets. We only do this when mkstemp
183 is available (most moderun Unixes supports this). The PID is included
184 in filename : tempdir/zrs_PID_XXXXXX.
185
186 Added support for specification of staticrank for grs-class of filters.
187 This is enabled by using 'staticrank indexname' in .abs. Contents of
188 indexname (elm ... indexname:w) is then used as value for staticrank.
189
190 Implemented sorting via the ISAMB system. To enable, use sortindex:i in
191 zebra.cfg.
192
193 Added special retrieval support for sort keys. These keys can also be
194 fetched using zebra::index:field:s   
195
196 Added support for specification of approximative limits for whole query.
197 This is specified as attribute type 12. Semantics is the same as
198 estimatehits in zebra.cfg.
199
200 --- 2.0.6 2006/11/28
201
202 Fixed bug #736: Updates gets slower.
203
204 Fixed bug #735: Delete fails to process rest of file after a record that
205 does not exist,
206
207 Added RPM package for Zebra 2.
208
209 Improved indexing speed for large documents.
210
211 Added support for special utility retrieval zebra:: which offers retrieval
212 of fundamental properties for record, such as indexed terms, raw record,
213 and system record ID.
214
215 --- 2.0.4 2006/10/16
216
217 Fixed bug #47: Commit needs to check for roll-back.
218
219 Fixed bug #672: Trailing characters in password are ignored
220
221 Added extra presence check for tcl.h, because some systems have
222 tclConfig.sh installed even though Tcl C headers are missing.
223
224 Optimized melm performance.
225
226 Do not use sync(2) during commit (but rely on sync'd individual files).
227
228 Fixed bug in ISAMB's utility function decode_ptr. With gcc -O3 on some
229 platforms the src argument was not updated. Problem was compiler
230 optimization due to strict aliasing rules.
231
232 --- 2.0.2 2006/09/22
233
234 Bug fixes: #638, #647, #657, #669.
235
236 Implement skip of 0 hit counts in scan. Useful for scan operations
237 limited by a result set.
238
239 Honor position attribute, i.e. allow first-in-field search. To
240 enable this, "firstinfield 1" must be given for an index in
241 default.idx. Enabled in tab/default.idx for w. At this stage
242 first-in field is supported for phrase/and-list/or-list searches
243
244 Common stream reader interface for record filters (struct ZebraRecStream).
245
246 Debian package fix: packages idzebra-2.0 + libidzebra-2.0-modules did
247 not depend properly on sub packages.
248
249 --- 2.0.0 2006/08/14
250
251 New record filter (record type) 'alvis' which uses XSLT transformations
252 to drive both indexing as well as retrieval. See example configuration in the
253 'example/alvis-oai' directory.
254
255 'isamb' is now the default ISAM system. In Zebra 1.3, the default ISAM was
256 'isamc'. The type used can still be configured with the 'isam' setting
257 in 'zebra.cfg'.
258
259 Index structure is now 64-bit based, also on 32 bit systems. 
260 There are no more 2GB register file limits.
261
262 Extended search result tuning. Approximate limit for terms can be enabled
263 and specified with attribute 11. The (approx or exact) hit count is returned
264 as part of the search response as in 1.3 series. The subqueryID of a search
265 term hit count can be specified with attribute 10.
266
267 Zebra uses string attributes for indexing internally. Using set+numeric
268 use attribute can still be used. This is a search-only conversion which
269 inspects '*.att'-set files as indicated using attset-directives in 'zebra.cfg'.
270 'attset' references are no longer required, but when used they deserve
271 as "check" for that the index names used are also present in '*.att'.
272
273 Zebra record filters (record type handlers) may be built as loadable
274 modules (.so's) on Unix. In particular the Zebra 2.0 Debian package uses
275 separate packages for each of them. This also means that zebra programs
276 such as zebraidx is no longer depending on Tcl/other..
277
278 Documentation updates, especially on query structure and syntax, SRU, 
279 XSLT support, alvis filter module, and many added examples.
280
281 Improved logging of the 'zebrasrv' and 'zebraidx' binaries.
282
283 Improved debian package structure.
284
285 --- 1.3.16 2004/08/16