Implemented position-flag for registers.
[idzebra-moved-to-github.git] / CHANGELOG
1 Implemented "position"-flag for register type (as defined in
2 default.idx). When set to zero no position (or seqence number) is
3 saved in register for each word occurrence, thus saving some register
4 space.
5
6 Implemented database mapping. Using mapdb one can specify a database
7 to be mapped to one or more physical databases. Usage:
8 mapdb <fromdb> <todb> ..
9
10 Added SOIF-filter. Thanks to Peter Valkenburg.
11
12 For the regx-filter "end element -record" may trigger a mark-of-record
13 if outer level is reached.
14
15 Tag sets may be typed in the reference to it. From the .abs-file the
16 "tagset" directive takes a third optional integer type for the tag set
17 referenced. From a .tag-file the "include" directive takes a third
18 optional type as well. The old "type" directive in the tag set itself
19 is still recognized but acts as the default type for the tag set.
20  
21 Zebra supports the specification of arbitrary attributes sets, schemas
22 and tag sets, because of the change in YAZ' OID management system.
23
24 Fixed bug in Sort that caused it NOT to use character mapping as it
25 should.
26
27 Zebra now uses GNU configure to generate Makefile(s).
28
29 Added un-optimised support for left and left/right truncation attributes.
30
31 Added support for relational operators on text when using RPN queries.
32
33 Added support for sort specifications in RPN queries. Type 7 specifies
34 'sort' where value 1=ascending, value 2=descending. The use attribute
35 specifies the field criteria as usual.  The term specifies priority
36 where 0=first, 1=second, ...
37
38 Changed the way use attributes are specified in the recordId
39 specification.
40
41 Maximum number of databases in one Zebra register increased.
42
43 New setting, databasePath, which specifies that first directory during
44 update traversal is the database name (instead of a fixed one).
45
46 New setting, explainDatabase, which specifies that databases are
47 EXPLAIN aware.
48
49 Modified Zebra so that it works with ASN.1 compiled code for YAZ.
50
51 Implemented EXPLAIN database maintenance. Zebra automatically
52 generate - and update CategoryList, TargetInfo, DatabaseInfo,
53 AttributeSetInfo and AttributeDetails records at this stage. The
54 records may be transferred as GRS-1, SUTRS or Explain.
55
56 Fixed register spec so that colon isn't treated as size separator
57 unless followed by [0-9+-] in order to allow DOS drive specifications.
58
59 Fixed two bugs in ISAMC system.
60
61 Changed the way Zebra keeps its maintenance information about attribute
62 sets, available attributes, etc.. Records in "SGML" notation using an
63 EXPLAIN schema is now used when appropriate.
64
65 Bug fix: Index didn't handle update/insert/delete of the same record
66 (i.e. same recordId) in one run (one invocation of zebraidx). Only the
67 first occurence of a record is considered.
68
69 Most searches now return correct number of hits.
70
71 New modular ranking system. Interested programmers are encouraged to
72 inspect rank1.c and improve the algorithm.
73
74 Bug fix: Lock files weren't removed as they should on NT.
75
76 Implemented Z39.50 Sort. Zebra's sort handler uses use attributes to
77 specify a "sort register". Refer to the gils sample records which refer
78 to index type "s" which is specified as "sort" in the default.idx file.
79 Each sort criteria can either be Ascending or Descending and at most
80 three sort elements can be specified.  
81
82 Bug fix: Character mapping didn't work for text files.
83
84 --- 1.0b1 1998/1/29
85
86 Simple ranked searches now return correct number of hits.
87
88 The test option (-s) only makes a read-lock on the index as well
89 as using read-only operations anywhere.
90
91 Moved towards generic character mapping. Configuration file default.idx
92 specifies character map files for register types w, p, u, etc.
93
94 Implemented "begin variant" for the sgml.regx - filter.
95
96 Fixed a few memory leaks.
97
98 Added support for C++, headers uses extern "C" for public definitions.
99
100 Bug fix: The show records facility (-s) only displayed information for
101 the first record in a file (and not for every record in the file).
102
103 Added option "-f <n>" to limit the logging of record operations. After
104 <n> records has been processed no logging is performed (unless errors
105 occur).
106
107 Bug fix: the compressed ISAM system didn't handle update operations
108 correctly.
109
110 Added setting, "maxResultSetSize", to hold the number of records to 
111 save in a result set.
112
113 Bug fix: Complete phrase did't work for search operations.
114
115 Bug fix: temporary result sets weren't deleted.
116
117 Reduced disk space for saved keys (storeKeys = 1).
118
119 Added optional, physical ANY (key replication)
120
121 Implemented proximity operator in search.
122
123 Bug fix: the path name buffers used by file match traversal routines
124 have been extended to support long file names.
125
126 New C(ompressed) ISAM system. To enable it, specify "isam: c" in the
127 configuration file. The resulting register without "storeKeys" is about
128 half the size, and the memory used by zebraidx during phase 2 (merge) is
129 reduced to a minimum.
130
131 Reworked the way Regexp-2 queries with error tolerance are handled and
132 specified. The documentation has been updated accordingly.
133
134 Bug fix: Zebrasrv didn't search correctly when queries contained masking
135 characters. This bug was introduced in 1.0a8.
136
137 Zebrasrv now tag records with the proper database name.
138
139 New settings, memMax and keyTmpDir.
140
141 Changed name of setting lockDir (previously called lockPath) and
142 setTmpDir (previously called tempSetPath).
143
144 Generalized and changed record type specifications. In short, there are:
145        text                plain SUTRS
146        grs.sgml            structured, "SGML-like" syntax
147        grs.regx.<filter>   structured, Regular expression filter
148        grs.marc.<abs>      Reads *MARC records in the ISO2709 format. <abs>
149                            is the name of an abstract syntax file.                           
150 Bug fix: Result sets weren't sorted in operations involving boolean
151 operations with "ranked" operands.
152
153 --- 1.0a8 1996/6/6
154
155 Added national character-handling subsystem.
156
157 Various fixes.
158
159 Small modifications to input filters and profiles.
160
161 Added support for SOIF syntax (with private OID).
162
163 --- 1.0a7 1996/5/16
164
165 Fixed buffer-size problem in indexing.
166
167 Added compression to temporary files for updating.
168
169 Added phrase registers.
170
171 Added dynamic mapping of search attribute to multiple termlists (ANY).
172
173 Scan support in multiple databases/registers.
174
175 Configuration settings are case-insensitive and single dash (-)
176 characters are ignored in comparisons.
177
178 The index processing ignores empty files - warning given.
179
180 New option to zebraidx (-V) displays version information.
181
182 --- 1.0a6 1996/2/24
183
184 Fixed problem in file-update system.
185
186 Fixed problem in shadow system; register was sometimes corrupted after
187 a commit operation.
188
189 --- 1.0a5 1996/2/10
190
191 Fixed problems in the ISAM subsystem. Caused difficulties when updating
192 existing registers.
193
194 Fixed small problem in SUTRS-filter. A newline was sometimes inserted before
195 the rank and record number.
196
197 Fixed bug in the isam subsystem - caused a malfunction when accessing
198 words which occurred more than 10000 times.
199
200 Distribution should now include YAZ (Z39.50 protocol stack) to simplify
201 installation.
202
203 Server can now run under inetd. Use option -i, and -w <directory> to
204 set working directory to desired location.
205
206 New zebraidx command: clean - removes temporary shadow files.
207
208 Fixed bug in ISAM system. Occurred rarely during register updates.
209
210 Logging during index merge phase is improved. The remaining running
211 time is estimated.
212
213 Temporary files generated by zebraidx are removed after each run.
214
215 Bug fix: Dictionary didn't handle 8-bit characters correctly; was obvious
216 when doing scan operations in dictionaries with European characters.
217
218 --- 1.0a4 1996/01/11
219
220 A whole slew of updates, to make the first publicized release. Get the doc
221 and check it out.
222
223 --- 1.0a3 1995/12/06
224
225 Memory-problems in ISAM fixed. More blocktypes added to the default setup
226 to increase performance on larger databases.
227
228 Various minor changes in data management system.
229
230 --- 1.0a2 1995/12/05
231
232 A couple of portability-problems resolved.
233
234 Changed some malloc() to xmalloc().
235
236 --- 1.0a1 1995/11/28
237
238 First release.