9ef7e85089eb4e0c226e7dd283eeb23637b8a8db
[idzebra-moved-to-github.git] / NEWS
1 --- 2.0.20 2007/12/19
2
3 Added experimental support for faceted results. This is implemented
4 as a special retrieval on a result set and is triggered using element
5 set name zebra::facet::f1:t1,f2,t2,.. which will return terms and
6 hit counts for field f1, type t1, field f2, type t2, .. The returned
7 data is packed as XML or SUTRS depending on record syntax.
8
9 Added support for Unicode-based indexing using ICU. This allows
10 locale specific scanning, sorting. The implementation is based on
11 the ICU utility part of YAZ 3.0.16 and later. See the manual as well
12 as the examples/marcxml for an example of the use of ICU.
13
14 --- 2.0.18 2007/09/19
15
16 Fixed bug with scan and staticrank enabled. Bug introduced in 2.0.16.
17
18 --- 2.0.16 2007/09/12
19
20 Scan now returns a displayTerm which closer to the original word/phrase
21 from original record.
22
23 Added snippet support. Element set name zebra::snippet will make
24 Zebra return an XML record with snippets (terms around matching terms).
25
26 Fixed bug #1142: Non-indexed but listed attributes issues diagnostic.
27
28 Fixed bug #1131: Missing value-of data in DOM filter.
29
30 Fixed bug #1049: zebra.cfg lines with leading space are ignored.
31
32 Fixed bug #1128: sortmax not honored.
33
34 Fixed bug #1121: Crash for some searches with customized string.chr.
35
36 --- 2.0.14 2007/05/09
37
38 Zebra uses the YAZ 3 API. Note that this changes the Zebra API
39 as well. The register layout is the same however. 
40
41 Fixed bug #1114: scan within set may use excessive CPU.
42
43 Fixed memory leak that occurred in scan.
44
45 Fixed memory leak that occurred for each deleted record.
46
47 Optimize updates of records where content is almost identical to previous
48 version of record. This makes updating of the internal explain database
49 faster too.
50
51 For RPN queries the index type (w,p,..) may be specified verbatim as
52 structure attribute with string value, e.g. @attr 4=w .
53
54 Changed record update API . It is now handled by function
55 zebra_record_update which does insert/replace/delete/update of records .
56 This function replaces zebra_record_{insert,delete} and
57 zebra_admin_exchange_record. The DOM filter uses this feature and the
58 @type attribute in record element specifies the action
59 insert/replace/delete/update.
60
61 Added support for multi-record updates (Bug #944). Based on patch from
62 Hans-Werner Hilse.
63
64 --- 2.0.12 2007/03/07
65
66 Fixed bug with indexing of attributes for rec.grs-class of filters.
67 If X-Path was enabled xelm a/@b would be ignored.
68
69 Fixed bug in register system where 'no more space' messages was produced
70 even though there was plenty of space.
71
72 Fixed bug #884: Entity declarations in input are lost at retrieval time.
73
74 Implemented new filter 'dom'. See test/xslt/dom-config*xml for examples. 
75 This, like alvis, performs indexing and retrieval using XSLT. But Unlike
76 alvis, it allows multiple XSLT steps to be performed and does ISO2709
77 reading. Bug #843.
78
79 --- 2.0.10 2007/01/24
80
81 Staticrank indexing is now an index register type defined in default.idx
82 via directive 'staticrank'. The 'staticrank' directive for grs is no longer
83 supported (was only implemented for Zebra 2.0.8).
84
85 For searches, allow truncmax value to be controlled with attribute 13.
86 If given, that overrides the value of 'truncmax'.
87
88 For truncations being limited (abort at truncmax terms), zebrasrv returns
89 SearchResponse with resultSetStatus=subset.
90
91 For estimated hit counts, zebrasrv returns SearchResponse with 
92 resultSetStatus=estimate.
93
94 --- 2.0.8 2007/01/15
95
96 For searches, do not truncate more than at most 'truncmax' terms in one
97 single term with right-truncation/regular attribute. By default, 'truncmax',
98 is 10000.
99
100 Bug #781: Easier tracking of result sets. We only do this when mkstemp
101 is available (most moderun Unixes supports this). The PID is included
102 in filename : tempdir/zrs_PID_XXXXXX.
103
104 Added support for specification of staticrank for grs-class of filters.
105 This is enabled by using 'staticrank indexname' in .abs. Contents of
106 indexname (elm ... indexname:w) is then used as value for staticrank.
107
108 Implemented sorting via the ISAMB system. To enable, use sortindex:i in
109 zebra.cfg.
110
111 Added special retrieval support for sort keys. These keys can also be
112 fetched using zebra::index:field:s   
113
114 Added support for specification of approximative limits for whole query.
115 This is specified as attribute type 12. Semantics is the same as
116 estimatehits in zebra.cfg.
117
118 --- 2.0.6 2006/11/28
119
120 Fixed bug #736: Updates gets slower.
121
122 Fixed bug #735: Delete fails to process rest of file after a record that
123 does not exist,
124
125 Added RPM package for Zebra 2.
126
127 Improved indexing speed for large documents.
128
129 Added support for special utility retrieval zebra:: which offers retrieval
130 of fundamental properties for record, such as indexed terms, raw record,
131 and system record ID.
132
133 --- 2.0.4 2006/10/16
134
135 Fixed bug #47: Commit needs to check for roll-back.
136
137 Fixed bug #672: Trailing characters in password are ignored
138
139 Added extra presence check for tcl.h, because some systems have
140 tclConfig.sh installed even though Tcl C headers are missing.
141
142 Optimized melm performance.
143
144 Do not use sync(2) during commit (but rely on sync'd individual files).
145
146 Fixed bug in ISAMB's utility function decode_ptr. With gcc -O3 on some
147 platforms the src argument was not updated. Problem was compiler
148 optimization due to strict aliasing rules.
149
150 --- 2.0.2 2006/09/22
151
152 Bug fixes: #638, #647, #657, #669.
153
154 Implement skip of 0 hit counts in scan. Useful for scan operations
155 limited by a result set.
156
157 Honor position attribute, i.e. allow first-in-field search. To
158 enable this, "firstinfield 1" must be given for an index in
159 default.idx. Enabled in tab/default.idx for w. At this stage
160 first-in field is supported for phrase/and-list/or-list searches
161
162 Common stream reader interface for record filters (struct ZebraRecStream).
163
164 Debian package fix: packages idzebra-2.0 + libidzebra-2.0-modules did
165 not depend properly on sub packages.
166
167 --- 2.0.0 2006/08/14
168
169 New record filter (record type) 'alvis' which uses XSLT transformations
170 to drive both indexing as well as retrieval. See example configuration in the
171 'example/alvis-oai' directory.
172
173 'isamb' is now the default ISAM system. In Zebra 1.3, the default ISAM was
174 'isamc'. The type used can still be configured with the 'isam' setting
175 in 'zebra.cfg'.
176
177 Index structure is now 64-bit based, also on 32 bit systems. 
178 There are no more 2GB register file limits.
179
180 Extended search result tuning. Approximate limit for terms can be enabled
181 and specified with attribute 11. The (approx or exact) hit count is returned
182 as part of the search response as in 1.3 series. The subqueryID of a search
183 term hit count can be specified with attribute 10.
184
185 Zebra uses string attributes for indexing internally. Using set+numeric
186 use attribute can still be used. This is a search-only conversion which
187 inspects '*.att'-set files as indicated using attset-directives in 'zebra.cfg'.
188 'attset' references are no longer required, but when used they deserve
189 as "check" for that the index names used are also present in '*.att'.
190
191 Zebra record filters (record type handlers) may be built as loadable
192 modules (.so's) on Unix. In particular the Zebra 2.0 Debian package uses
193 separate packages for each of them. This also means that zebra programs
194 such as zebraidx is no longer depending on Tcl/other..
195
196 Documentation updates, especially on query structure and syntax, SRU, 
197 XSLT support, alvis filter module, and many added examples.
198
199 Improved logging of the 'zebrasrv' and 'zebraidx' binaries.
200
201 Improved debian package structure.
202
203 --- 1.3.16 2004/08/16