Zebra with full functionality
[idzebra-moved-to-github.git] / CHANGELOG
1
2 --- 1.2.0 2002/04/05
3
4 Multiple registers. New setting in resource 'root' that holds base
5 directory for register(s). A group a databases may be put in separate
6 register in directory root/reg by using db name 'reg/db1' ... 'reg/dbN'.
7
8 --- 1.1.1 2002/03/21
9
10 Fixes for Digital Unix
11
12 Implemented hits per term using USR:SearchResult-1.
13
14 New Zebra API. Locking system re-implemented.
15
16 --- 1.1.stable 2002/02/20
17
18 Rank weight can be controlled with attribute type 9. Default
19 value is 34. Recommended values between 1-36.
20
21 --- 1.1 2001/10/25
22
23 Updated for YAZ version 1.8.
24
25 Added support for termsets - a result set of terms matching
26 a given query. For @attr 8=<set> creates termset named <set>.
27
28 Added support for raw retrieval. Element Set Name R forces the
29 text filter which returns the record in its original form.
30
31 Added numerical sort - triggered by structure=numeric (4=109).
32
33 Remote record import using Z39.50 Extended Services and Segments.
34
35 Fixed bug where updating a database with user-defined attributes
36 could corrupt the register (bad storeKeys).
37
38 Multi-threaded version.
39
40 Fixed bug regarding proximity.
41
42 Documentation updates.
43
44 Fixed bug in record retrieval module that occured on 64-bit OSF 
45 architectures.
46
47 --- 1.0.1 2000/2/10
48
49 Fixed bug in makefile for WIN32.
50
51 Fixed bug in configure script - used bash-specific features.
52
53 --- 1.0 1999/12/10
54
55 The software was split in two products Zebra (for testing,
56 non-profit use) and the commercial product Z'mbol. Zebra no
57 longer supports INDEX UPDATES, i.e. zebraidx should be invoked only
58 once for each register. Refer to LICENSE.zebra for more info.
59
60 Added support for multiple records in one file for filter grs.sgml.
61
62 Changed record index structure. New layout is incompatible with
63 previous releases. Added setting "recordcompression" to control
64 compression of records. Possible values are "none" (no
65 compression) and bzip2 (compression using libbz2).
66
67 Added XML transfer syntax support for retrieval of structured records.
68 Schema in CompSpec is recognised in retrieval of structured records.
69
70 Changed Tcl record filter so that it attemps to read  <filt>.tflt. If
71 that fails, the filter reads the file <filt>.flt (regx style filter).
72
73 Implemented new Tcl record filter -  use grs.tcl.<filter> to enable it.
74 Zebra's configure script automatically attempts to locate Tcl. For
75 manual Tcl configuration use option --with-tclconfig=<path> to specify
76 where Tcl's library files are located.
77
78 Implemented "compression" of Dictionary and ISAM system. Dictionary
79 format HAS changed.
80
81 Added "tagsysno" directive to zebra.cfg to control under which tag the
82 system ID is placed. Use tagsysno: 0 to disable Zebra's system number
83 entirely.
84
85 Added "tagrank" as above.
86
87 Changed file naming scheme for register files from <name>.mf.<no> to
88 <name>-<no>.mf.
89
90 Implemented "position"-flag for register type (as defined in
91 default.idx). When set to zero no position (or seqence number) is
92 saved in register for each word occurrence, thus saving some register
93 space.
94
95 Implemented database mapping. Using mapdb one can specify a database
96 to be mapped to one or more physical databases. Usage:
97 mapdb <fromdb> <todb> ..
98
99 Added SOIF-filter. Thanks to Peter Valkenburg.
100
101 For the regx-filter "end element -record" may trigger a mark-of-record
102 if outer level is reached.
103
104 Tag sets may be typed in the reference to it. From the .abs-file the
105 "tagset" directive takes a third optional integer type for the tag set
106 referenced. From a .tag-file the "include" directive takes a third
107 optional type as well. The old "type" directive in the tag set itself
108 is still recognized but acts as the default type for the tag set.
109  
110 Zebra supports the specification of arbitrary attributes sets, schemas
111 and tag sets, because of the change in YAZ' OID management system.
112
113 Fixed bug in Sort that caused it NOT to use character mapping as it
114 should.
115
116 Zebra now uses GNU configure to generate Makefile(s).
117
118 Added un-optimised support for left and left/right truncation attributes.
119
120 Added support for relational operators on text when using RPN queries.
121
122 Added support for sort specifications in RPN queries. Type 7 specifies
123 'sort' where value 1=ascending, value 2=descending. The use attribute
124 specifies the field criteria as usual.  The term specifies priority
125 where 0=first, 1=second, ...
126
127 Changed the way use attributes are specified in the recordId
128 specification.
129
130 Maximum number of databases in one Zebra register increased.
131
132 New setting, databasePath, which specifies that first directory during
133 update traversal is the database name (instead of a fixed one).
134
135 New setting, explainDatabase, which specifies that databases are
136 EXPLAIN aware.
137
138 Modified Zebra so that it works with ASN.1 compiled code for YAZ.
139
140 Implemented EXPLAIN database maintenance. Zebra automatically
141 generate - and update CategoryList, TargetInfo, DatabaseInfo,
142 AttributeSetInfo and AttributeDetails records at this stage. The
143 records may be transferred as GRS-1, SUTRS or Explain.
144
145 Fixed register spec so that colon isn't treated as size separator
146 unless followed by [0-9+-] in order to allow DOS drive specifications.
147
148 Fixed two bugs in ISAMC system.
149
150 Changed the way Zebra keeps its maintenance information about attribute
151 sets, available attributes, etc.. Records in "SGML" notation using an
152 EXPLAIN schema is now used when appropriate.
153
154 Bug fix: Index didn't handle update/insert/delete of the same record
155 (i.e. same recordId) in one run (one invocation of zebraidx). Only the
156 first occurence of a record is considered.
157
158 Most searches now return correct number of hits.
159
160 New modular ranking system. Interested programmers are encouraged to
161 inspect rank1.c and improve the algorithm.
162
163 Bug fix: Lock files weren't removed as they should on NT.
164
165 Implemented Z39.50 Sort. Zebra's sort handler uses use attributes to
166 specify a "sort register". Refer to the gils sample records which refer
167 to index type "s" which is specified as "sort" in the default.idx file.
168 Each sort criteria can either be Ascending or Descending and at most
169 three sort elements can be specified.  
170
171 Bug fix: Character mapping didn't work for text files.
172
173 --- 1.0b1 1998/1/29
174
175 Simple ranked searches now return correct number of hits.
176
177 The test option (-s) only makes a read-lock on the index as well
178 as using read-only operations anywhere.
179
180 Moved towards generic character mapping. Configuration file default.idx
181 specifies character map files for register types w, p, u, etc.
182
183 Implemented "begin variant" for the sgml.regx - filter.
184
185 Fixed a few memory leaks.
186
187 Added support for C++, headers uses extern "C" for public definitions.
188
189 Bug fix: The show records facility (-s) only displayed information for
190 the first record in a file (and not for every record in the file).
191
192 Added option "-f <n>" to limit the logging of record operations. After
193 <n> records has been processed no logging is performed (unless errors
194 occur).
195
196 Bug fix: the compressed ISAM system didn't handle update operations
197 correctly.
198
199 Added setting, "maxResultSetSize", to hold the number of records to 
200 save in a result set.
201
202 Bug fix: Complete phrase did't work for search operations.
203
204 Bug fix: temporary result sets weren't deleted.
205
206 Reduced disk space for saved keys (storeKeys = 1).
207
208 Added optional, physical ANY (key replication)
209
210 Implemented proximity operator in search.
211
212 Bug fix: the path name buffers used by file match traversal routines
213 have been extended to support long file names.
214
215 New C(ompressed) ISAM system. To enable it, specify "isam: c" in the
216 configuration file. The resulting register without "storeKeys" is about
217 half the size, and the memory used by zebraidx during phase 2 (merge) is
218 reduced to a minimum.
219
220 Reworked the way Regexp-2 queries with error tolerance are handled and
221 specified. The documentation has been updated accordingly.
222
223 Bug fix: Zebrasrv didn't search correctly when queries contained masking
224 characters. This bug was introduced in 1.0a8.
225
226 Zebrasrv now tag records with the proper database name.
227
228 New settings, memMax and keyTmpDir.
229
230 Changed name of setting lockDir (previously called lockPath) and
231 setTmpDir (previously called tempSetPath).
232
233 Generalized and changed record type specifications. In short, there are:
234        text                plain SUTRS
235        grs.sgml            structured, "SGML-like" syntax
236        grs.regx.<filter>   structured, Regular expression filter
237        grs.marc.<abs>      Reads *MARC records in the ISO2709 format. <abs>
238                            is the name of an abstract syntax file.                           
239 Bug fix: Result sets weren't sorted in operations involving boolean
240 operations with "ranked" operands.
241
242 --- 1.0a8 1996/6/6
243
244 Added national character-handling subsystem.
245
246 Various fixes.
247
248 Small modifications to input filters and profiles.
249
250 Added support for SOIF syntax (with private OID).
251
252 --- 1.0a7 1996/5/16
253
254 Fixed buffer-size problem in indexing.
255
256 Added compression to temporary files for updating.
257
258 Added phrase registers.
259
260 Added dynamic mapping of search attribute to multiple termlists (ANY).
261
262 Scan support in multiple databases/registers.
263
264 Configuration settings are case-insensitive and single dash (-)
265 characters are ignored in comparisons.
266
267 The index processing ignores empty files - warning given.
268
269 New option to zebraidx (-V) displays version information.
270
271 --- 1.0a6 1996/2/24
272
273 Fixed problem in file-update system.
274
275 Fixed problem in shadow system; register was sometimes corrupted after
276 a commit operation.
277
278 --- 1.0a5 1996/2/10
279
280 Fixed problems in the ISAM subsystem. Caused difficulties when updating
281 existing registers.
282
283 Fixed small problem in SUTRS-filter. A newline was sometimes inserted before
284 the rank and record number.
285
286 Fixed bug in the isam subsystem - caused a malfunction when accessing
287 words which occurred more than 10000 times.
288
289 Distribution should now include YAZ (Z39.50 protocol stack) to simplify
290 installation.
291
292 Server can now run under inetd. Use option -i, and -w <directory> to
293 set working directory to desired location.
294
295 New zebraidx command: clean - removes temporary shadow files.
296
297 Fixed bug in ISAM system. Occurred rarely during register updates.
298
299 Logging during index merge phase is improved. The remaining running
300 time is estimated.
301
302 Temporary files generated by zebraidx are removed after each run.
303
304 Bug fix: Dictionary didn't handle 8-bit characters correctly; was obvious
305 when doing scan operations in dictionaries with European characters.
306
307 --- 1.0a4 1996/01/11
308
309 A whole slew of updates, to make the first publicized release. Get the doc
310 and check it out.
311
312 --- 1.0a3 1995/12/06
313
314 Memory-problems in ISAM fixed. More blocktypes added to the default setup
315 to increase performance on larger databases.
316
317 Various minor changes in data management system.
318
319 --- 1.0a2 1995/12/05
320
321 A couple of portability-problems resolved.
322
323 Changed some malloc() to xmalloc().
324
325 --- 1.0a1 1995/11/28
326
327 First release.