Implemented TCL filter. Updated recctrl system.
[idzebra-moved-to-github.git] / CHANGELOG
1 Implemented new Tcl record filter -  use grs.tcl.<filter> to enable it.
2 Zebra's configure script automatically attempts to locate Tcl. For
3 manual Tcl configuration use option --with-tclconfig=<path> to specify
4 where Tcl's library files are located.
5
6 Implemented "compression" of Dictionary and ISAM system. Dictionary
7 format HAS changed.
8
9 Added "tagsysno" directive to zebra.cfg to control under which tag the
10 sysstem ID is placed. Use tagsysno: 0 to disable Zebra's system number
11 entirely.
12
13 Added "tagrank" as above.
14
15 Changed file naming scheme for register files from <name>.mf.<no> to
16 <name>-<no>.mf.
17
18 Implemented "position"-flag for register type (as defined in
19 default.idx). When set to zero no position (or seqence number) is
20 saved in register for each word occurrence, thus saving some register
21 space.
22
23 Implemented database mapping. Using mapdb one can specify a database
24 to be mapped to one or more physical databases. Usage:
25 mapdb <fromdb> <todb> ..
26
27 Added SOIF-filter. Thanks to Peter Valkenburg.
28
29 For the regx-filter "end element -record" may trigger a mark-of-record
30 if outer level is reached.
31
32 Tag sets may be typed in the reference to it. From the .abs-file the
33 "tagset" directive takes a third optional integer type for the tag set
34 referenced. From a .tag-file the "include" directive takes a third
35 optional type as well. The old "type" directive in the tag set itself
36 is still recognized but acts as the default type for the tag set.
37  
38 Zebra supports the specification of arbitrary attributes sets, schemas
39 and tag sets, because of the change in YAZ' OID management system.
40
41 Fixed bug in Sort that caused it NOT to use character mapping as it
42 should.
43
44 Zebra now uses GNU configure to generate Makefile(s).
45
46 Added un-optimised support for left and left/right truncation attributes.
47
48 Added support for relational operators on text when using RPN queries.
49
50 Added support for sort specifications in RPN queries. Type 7 specifies
51 'sort' where value 1=ascending, value 2=descending. The use attribute
52 specifies the field criteria as usual.  The term specifies priority
53 where 0=first, 1=second, ...
54
55 Changed the way use attributes are specified in the recordId
56 specification.
57
58 Maximum number of databases in one Zebra register increased.
59
60 New setting, databasePath, which specifies that first directory during
61 update traversal is the database name (instead of a fixed one).
62
63 New setting, explainDatabase, which specifies that databases are
64 EXPLAIN aware.
65
66 Modified Zebra so that it works with ASN.1 compiled code for YAZ.
67
68 Implemented EXPLAIN database maintenance. Zebra automatically
69 generate - and update CategoryList, TargetInfo, DatabaseInfo,
70 AttributeSetInfo and AttributeDetails records at this stage. The
71 records may be transferred as GRS-1, SUTRS or Explain.
72
73 Fixed register spec so that colon isn't treated as size separator
74 unless followed by [0-9+-] in order to allow DOS drive specifications.
75
76 Fixed two bugs in ISAMC system.
77
78 Changed the way Zebra keeps its maintenance information about attribute
79 sets, available attributes, etc.. Records in "SGML" notation using an
80 EXPLAIN schema is now used when appropriate.
81
82 Bug fix: Index didn't handle update/insert/delete of the same record
83 (i.e. same recordId) in one run (one invocation of zebraidx). Only the
84 first occurence of a record is considered.
85
86 Most searches now return correct number of hits.
87
88 New modular ranking system. Interested programmers are encouraged to
89 inspect rank1.c and improve the algorithm.
90
91 Bug fix: Lock files weren't removed as they should on NT.
92
93 Implemented Z39.50 Sort. Zebra's sort handler uses use attributes to
94 specify a "sort register". Refer to the gils sample records which refer
95 to index type "s" which is specified as "sort" in the default.idx file.
96 Each sort criteria can either be Ascending or Descending and at most
97 three sort elements can be specified.  
98
99 Bug fix: Character mapping didn't work for text files.
100
101 --- 1.0b1 1998/1/29
102
103 Simple ranked searches now return correct number of hits.
104
105 The test option (-s) only makes a read-lock on the index as well
106 as using read-only operations anywhere.
107
108 Moved towards generic character mapping. Configuration file default.idx
109 specifies character map files for register types w, p, u, etc.
110
111 Implemented "begin variant" for the sgml.regx - filter.
112
113 Fixed a few memory leaks.
114
115 Added support for C++, headers uses extern "C" for public definitions.
116
117 Bug fix: The show records facility (-s) only displayed information for
118 the first record in a file (and not for every record in the file).
119
120 Added option "-f <n>" to limit the logging of record operations. After
121 <n> records has been processed no logging is performed (unless errors
122 occur).
123
124 Bug fix: the compressed ISAM system didn't handle update operations
125 correctly.
126
127 Added setting, "maxResultSetSize", to hold the number of records to 
128 save in a result set.
129
130 Bug fix: Complete phrase did't work for search operations.
131
132 Bug fix: temporary result sets weren't deleted.
133
134 Reduced disk space for saved keys (storeKeys = 1).
135
136 Added optional, physical ANY (key replication)
137
138 Implemented proximity operator in search.
139
140 Bug fix: the path name buffers used by file match traversal routines
141 have been extended to support long file names.
142
143 New C(ompressed) ISAM system. To enable it, specify "isam: c" in the
144 configuration file. The resulting register without "storeKeys" is about
145 half the size, and the memory used by zebraidx during phase 2 (merge) is
146 reduced to a minimum.
147
148 Reworked the way Regexp-2 queries with error tolerance are handled and
149 specified. The documentation has been updated accordingly.
150
151 Bug fix: Zebrasrv didn't search correctly when queries contained masking
152 characters. This bug was introduced in 1.0a8.
153
154 Zebrasrv now tag records with the proper database name.
155
156 New settings, memMax and keyTmpDir.
157
158 Changed name of setting lockDir (previously called lockPath) and
159 setTmpDir (previously called tempSetPath).
160
161 Generalized and changed record type specifications. In short, there are:
162        text                plain SUTRS
163        grs.sgml            structured, "SGML-like" syntax
164        grs.regx.<filter>   structured, Regular expression filter
165        grs.marc.<abs>      Reads *MARC records in the ISO2709 format. <abs>
166                            is the name of an abstract syntax file.                           
167 Bug fix: Result sets weren't sorted in operations involving boolean
168 operations with "ranked" operands.
169
170 --- 1.0a8 1996/6/6
171
172 Added national character-handling subsystem.
173
174 Various fixes.
175
176 Small modifications to input filters and profiles.
177
178 Added support for SOIF syntax (with private OID).
179
180 --- 1.0a7 1996/5/16
181
182 Fixed buffer-size problem in indexing.
183
184 Added compression to temporary files for updating.
185
186 Added phrase registers.
187
188 Added dynamic mapping of search attribute to multiple termlists (ANY).
189
190 Scan support in multiple databases/registers.
191
192 Configuration settings are case-insensitive and single dash (-)
193 characters are ignored in comparisons.
194
195 The index processing ignores empty files - warning given.
196
197 New option to zebraidx (-V) displays version information.
198
199 --- 1.0a6 1996/2/24
200
201 Fixed problem in file-update system.
202
203 Fixed problem in shadow system; register was sometimes corrupted after
204 a commit operation.
205
206 --- 1.0a5 1996/2/10
207
208 Fixed problems in the ISAM subsystem. Caused difficulties when updating
209 existing registers.
210
211 Fixed small problem in SUTRS-filter. A newline was sometimes inserted before
212 the rank and record number.
213
214 Fixed bug in the isam subsystem - caused a malfunction when accessing
215 words which occurred more than 10000 times.
216
217 Distribution should now include YAZ (Z39.50 protocol stack) to simplify
218 installation.
219
220 Server can now run under inetd. Use option -i, and -w <directory> to
221 set working directory to desired location.
222
223 New zebraidx command: clean - removes temporary shadow files.
224
225 Fixed bug in ISAM system. Occurred rarely during register updates.
226
227 Logging during index merge phase is improved. The remaining running
228 time is estimated.
229
230 Temporary files generated by zebraidx are removed after each run.
231
232 Bug fix: Dictionary didn't handle 8-bit characters correctly; was obvious
233 when doing scan operations in dictionaries with European characters.
234
235 --- 1.0a4 1996/01/11
236
237 A whole slew of updates, to make the first publicized release. Get the doc
238 and check it out.
239
240 --- 1.0a3 1995/12/06
241
242 Memory-problems in ISAM fixed. More blocktypes added to the default setup
243 to increase performance on larger databases.
244
245 Various minor changes in data management system.
246
247 --- 1.0a2 1995/12/05
248
249 A couple of portability-problems resolved.
250
251 Changed some malloc() to xmalloc().
252
253 --- 1.0a1 1995/11/28
254
255 First release.