CHANGELOG

   1
   2 --- 1.3.10 2003/04/01
   3
   4 Fix bug in and operation which in some cases could result in "extra"
   5 hits. Bug was introduced in 1.3.5.
   6
   7 Fix bug in handling of schema conversion when producing numeric tags.
   8
   9 --- 1.3.9 2003/03/27
  10
  11 Zvrank updates.
  12
  13 Add missing files doc/zvrank.txt and doc/marc_indexing.xml.
  14
  15 --- 1.3.8 2003/03/26
  16
  17 Zvrank: an experimental ranking algorithm. See doc/zvrank.txt and
  18 source in index/zvrank.c. Enable this by using rank: zvrank in zebra.cfg.
  19 Contributed by Johannes Leveling <Johannes.Leveling at fernuni-hagen.de>
  20
  21 livrank: another experimental ranking algorithm. Source in livcode.c.
  22 Enable this by using rank: livrank in zebra.cfg and use -DLIV_CODE=1
  23 for CFLAGS.
  24 Contributed by Pete Mallinson, University of Liverpool.
  25
  26 Advanced MARC indexing. See doc/marc_indexing.xml
  27  Oleg Kolobov <oleg at lib.tpu.ru>
  28
  29 Perl API updates and fixes.
  30  Peter Popovics <pop at technomat.hu>
  31
  32 Fixed 'zebraidx delete'.
  33
  34 Implemented 'zebraidx clean'.
  35
  36 64-bit offsets for register files on WIN32 (no 2 GB limit).
  37
  38 Fixed a few memory leaks WRT sorting.
  39
  40 --- 1.3.7 2003/02/27
  41
  42 Fixed error handling : error code was not properly returned.
  43
  44 Support Truncation 104 (CCL).
  45
  46 --- 1.3.6 2003/02/25
  47
  48 Added missing source files for perl extension.
  49
  50 --- 1.3.5 2003/02/23
  51
  52 Implemented xelm directive.
  53
  54 Updated for newer version of YAZ (introduction of string schema).
  55
  56 Directory examples/zthes now part of distribution (was missing
  57 in previous release).
  58
  59 New .abs directive, systag, that control where to put retrieval
  60 information. The directive takes two arguments: system tag, element name.
  61 System tag is one of : rank, sysno, size.
  62
  63 --- 1.3.4 2002/11/26
  64
  65 Perl Filter and Perl API. By Peter Popovics.
  66
  67 For zebra.cfg, if no profilePath is specified, directory
  68  (prefix)/share/idzebra/tab
  69 is used.
  70
  71 Zebra Examples in examples . Zebra tests in test.
  72
  73 Bug fix: sort index was not properly modified on
  74 record updates/deletes.
  75
  76 Fix handling of character entities for sgml filter.
  77
  78 Move data1 to Zebra (used to be part of YAZ).
  79
  80 --- 1.3.3 2002/10/05
  81
  82 Fix character encoding of scan response terms.
  83
  84 Fix character decoding of scan request terms.
  85
  86 Fix ESpec handling (requires YAZ 1.9.1)
  87
  88 Fix searches for complete fields.
  89
  90 --- 1.3.2 2002/09/09
  91
  92 When name zebra is used in a filename or directory 'idzebra' is used
  93 instead to avoid confusion with GNU zebra (routing software).
  94
  95 Zebra server stops with a fatal error if config file cannot be read.
  96
  97 New config setting, followLinks, that controls whether update of files
  98 should follow symbolic. Set it to 1 (for enable) or 0 (to disable).
  99 By default symbolic links are followed.
 100
 101 Fix MARC transfer . MARC fields had wrong data for multiple fields.
 102
 103 XML record reader moved from YAZ to Zebra, to make YAZ less
 104 dependant on external libraries.
 105
 106 Zebra uses yaz_iconv which is mini iconv library supporting UTF-8,
 107 UCS4, ISO-8859-1. This means that Zebra does UNICODE even
 108 on systems that doesn't offer iconv.
 109
 110 XML record reader supports external system entities.
 111
 112 --- 1.3.1 2002/08/20
 113
 114 New .abs-directive "xpath" that takes one argument: "enable"
 115 or "disable" to enable and disable XPath -indexing. If no "xpath"
 116 direcive is found in .abs-file , XPath-indexing is disabled to ensure
 117 backwards compatibility. For missing .abs-files XPath-indexing is
 118 enabled so that such records are searchable.
 119
 120 Zebra warns about missing .abs-file only once (for each type).
 121
 122 Fixed a bug in file update where already-inserted files could
 123 be treated as "new".
 124
 125 --- 1.3.0 2002/08/05
 126
 127 Zebra license changed to GNU GPL.
 128
 129 XPath-like queries used when RPN string attributes are used, eg.
 130    @attr 1=/portal/title sometitle
 131    @attr 1=/portal/title[@xml:lang=da] danishtitle
 132    @attr 1=/portal/title/@xml:lang da
 133    @attr 1=//title sometitle
 134
 135 Zebra uses UTF-8 internally:
 136 1) New setting "encoding" for zebra.cfg that specifies encoding for
 137 OCTET terms in queries and record encoding for most transfer syntaxes
 138 (except those that use International Strings, such as GRS-1).
 139 2) The encoding of International strings is UTF-8 by default. It
 140 may be changed by character set negotiation. If character set
 141 negotiation is in effect and if records are selected for conversion
 142 these'll be converted to the selected character set - thus overriding
 143 the encoding setting in zebra.cfg.
 144 3) New directive "encoding" in .abs-files. This specifies the external
 145 character encoding for files indexed by zebra. However, if records
 146 themselves have an XML header that specifies and encoding that'll be used
 147 instead.
 148
 149 XML filter (-t grs.xml).
 150
 151 Multiple registers. New setting in resource 'root' that holds base
 152 directory for register(s). A group a databases may be put in separate
 153 register in directory root/reg by using db name 'reg/db1' ... 'reg/dbN'.
 154
 155 --- 1.1.1 2002/03/21
 156
 157 Fixes for Digital Unix
 158
 159 Implemented hits per term using USR:SearchResult-1.
 160
 161 New Zebra API. Locking system re-implemented.
 162
 163 --- 1.1.stable 2002/02/20
 164
 165 Rank weight can be controlled with attribute type 9. Default
 166 value is 34. Recommended values between 1-36.
 167
 168 --- 1.1 2001/10/25
 169
 170 Updated for YAZ version 1.8.
 171
 172 Added support for termsets - a result set of terms matching
 173 a given query. For @attr 8=<set> creates termset named <set>.
 174
 175 Added support for raw retrieval. Element Set Name R forces the
 176 text filter which returns the record in its original form.
 177
 178 Added numerical sort - triggered by structure=numeric (4=109).
 179
 180 Remote record import using Z39.50 Extended Services and Segments.
 181
 182 Fixed bug where updating a database with user-defined attributes
 183 could corrupt the register (bad storeKeys).
 184
 185 Multi-threaded version.
 186
 187 Fixed bug regarding proximity.
 188
 189 Documentation updates.
 190
 191 Fixed bug in record retrieval module that occured on 64-bit OSF
 192 architectures.
 193
 194 --- 1.0.1 2000/2/10
 195
 196 Fixed bug in makefile for WIN32.
 197
 198 Fixed bug in configure script - used bash-specific features.
 199
 200 --- 1.0 1999/12/10
 201
 202 Added support for multiple records in one file for filter grs.sgml.
 203
 204 Changed record index structure. New layout is incompatible with
 205 previous releases. Added setting "recordcompression" to control
 206 compression of records. Possible values are "none" (no
 207 compression) and bzip2 (compression using libbz2).
 208
 209 Added XML transfer syntax support for retrieval of structured records.
 210 Schema in CompSpec is recognised in retrieval of structured records.
 211
 212 Changed Tcl record filter so that it attemps to read  <filt>.tflt. If
 213 that fails, the filter reads the file <filt>.flt (regx style filter).
 214
 215 Implemented new Tcl record filter -  use grs.tcl.<filter> to enable it.
 216 Zebra's configure script automatically attempts to locate Tcl. For
 217 manual Tcl configuration use option --with-tclconfig=<path> to specify
 218 where Tcl's library files are located.
 219
 220 Implemented "compression" of Dictionary and ISAM system. Dictionary
 221 format HAS changed.
 222
 223 Added "tagsysno" directive to zebra.cfg to control under which tag the
 224 system ID is placed. Use tagsysno: 0 to disable Zebra's system number
 225 entirely.
 226
 227 Added "tagrank" as above.
 228
 229 Changed file naming scheme for register files from <name>.mf.<no> to
 230 <name>-<no>.mf.
 231
 232 Implemented "position"-flag for register type (as defined in
 233 default.idx). When set to zero no position (or seqence number) is
 234 saved in register for each word occurrence, thus saving some register
 235 space.
 236
 237 Implemented database mapping. Using mapdb one can specify a database
 238 to be mapped to one or more physical databases. Usage:
 239 mapdb <fromdb> <todb> ..
 240
 241 Added SOIF-filter. Thanks to Peter Valkenburg.
 242
 243 For the regx-filter "end element -record" may trigger a mark-of-record
 244 if outer level is reached.
 245
 246 Tag sets may be typed in the reference to it. From the .abs-file the
 247 "tagset" directive takes a third optional integer type for the tag set
 248 referenced. From a .tag-file the "include" directive takes a third
 249 optional type as well. The old "type" directive in the tag set itself
 250 is still recognized but acts as the default type for the tag set.
 251
 252 Zebra supports the specification of arbitrary attributes sets, schemas
 253 and tag sets, because of the change in YAZ' OID management system.
 254
 255 Fixed bug in Sort that caused it NOT to use character mapping as it
 256 should.
 257
 258 Zebra now uses GNU configure to generate Makefile(s).
 259
 260 Added un-optimised support for left and left/right truncation attributes.
 261
 262 Added support for relational operators on text when using RPN queries.
 263
 264 Added support for sort specifications in RPN queries. Type 7 specifies
 265 'sort' where value 1=ascending, value 2=descending. The use attribute
 266 specifies the field criteria as usual.  The term specifies priority
 267 where 0=first, 1=second, ...
 268
 269 Changed the way use attributes are specified in the recordId
 270 specification.
 271
 272 Maximum number of databases in one Zebra register increased.
 273
 274 New setting, databasePath, which specifies that first directory during
 275 update traversal is the database name (instead of a fixed one).
 276
 277 New setting, explainDatabase, which specifies that databases are
 278 EXPLAIN aware.
 279
 280 Modified Zebra so that it works with ASN.1 compiled code for YAZ.
 281
 282 Implemented EXPLAIN database maintenance. Zebra automatically
 283 generate - and update CategoryList, TargetInfo, DatabaseInfo,
 284 AttributeSetInfo and AttributeDetails records at this stage. The
 285 records may be transferred as GRS-1, SUTRS or Explain.
 286
 287 Fixed register spec so that colon isn't treated as size separator
 288 unless followed by [0-9+-] in order to allow DOS drive specifications.
 289
 290 Fixed two bugs in ISAMC system.
 291
 292 Changed the way Zebra keeps its maintenance information about attribute
 293 sets, available attributes, etc.. Records in "SGML" notation using an
 294 EXPLAIN schema is now used when appropriate.
 295
 296 Bug fix: Index didn't handle update/insert/delete of the same record
 297 (i.e. same recordId) in one run (one invocation of zebraidx). Only the
 298 first occurence of a record is considered.
 299
 300 Most searches now return correct number of hits.
 301
 302 New modular ranking system. Interested programmers are encouraged to
 303 inspect rank1.c and improve the algorithm.
 304
 305 Bug fix: Lock files weren't removed as they should on NT.
 306
 307 Implemented Z39.50 Sort. Zebra's sort handler uses use attributes to
 308 specify a "sort register". Refer to the gils sample records which refer
 309 to index type "s" which is specified as "sort" in the default.idx file.
 310 Each sort criteria can either be Ascending or Descending and at most
 311 three sort elements can be specified.
 312
 313 Bug fix: Character mapping didn't work for text files.
 314
 315 --- 1.0b1 1998/1/29
 316
 317 Simple ranked searches now return correct number of hits.
 318
 319 The test option (-s) only makes a read-lock on the index as well
 320 as using read-only operations anywhere.
 321
 322 Moved towards generic character mapping. Configuration file default.idx
 323 specifies character map files for register types w, p, u, etc.
 324
 325 Implemented "begin variant" for the sgml.regx - filter.
 326
 327 Fixed a few memory leaks.
 328
 329 Added support for C++, headers uses extern "C" for public definitions.
 330
 331 Bug fix: The show records facility (-s) only displayed information for
 332 the first record in a file (and not for every record in the file).
 333
 334 Added option "-f <n>" to limit the logging of record operations. After
 335 <n> records has been processed no logging is performed (unless errors
 336 occur).
 337
 338 Bug fix: the compressed ISAM system didn't handle update operations
 339 correctly.
 340
 341 Added setting, "maxResultSetSize", to hold the number of records to
 342 save in a result set.
 343
 344 Bug fix: Complete phrase did't work for search operations.
 345
 346 Bug fix: temporary result sets weren't deleted.
 347
 348 Reduced disk space for saved keys (storeKeys = 1).
 349
 350 Added optional, physical ANY (key replication)
 351
 352 Implemented proximity operator in search.
 353
 354 Bug fix: the path name buffers used by file match traversal routines
 355 have been extended to support long file names.
 356
 357 New C(ompressed) ISAM system. To enable it, specify "isam: c" in the
 358 configuration file. The resulting register without "storeKeys" is about
 359 half the size, and the memory used by zebraidx during phase 2 (merge) is
 360 reduced to a minimum.
 361
 362 Reworked the way Regexp-2 queries with error tolerance are handled and
 363 specified. The documentation has been updated accordingly.
 364
 365 Bug fix: Zebrasrv didn't search correctly when queries contained masking
 366 characters. This bug was introduced in 1.0a8.
 367
 368 Zebrasrv now tag records with the proper database name.
 369
 370 New settings, memMax and keyTmpDir.
 371
 372 Changed name of setting lockDir (previously called lockPath) and
 373 setTmpDir (previously called tempSetPath).
 374
 375 Generalized and changed record type specifications. In short, there are:
 376        text                plain SUTRS
 377        grs.sgml            structured, "SGML-like" syntax
 378        grs.regx.<filter>   structured, Regular expression filter
 379        grs.marc.<abs>      Reads *MARC records in the ISO2709 format. <abs>
 380                            is the name of an abstract syntax file.
 381 Bug fix: Result sets weren't sorted in operations involving boolean
 382 operations with "ranked" operands.
 383
 384 --- 1.0a8 1996/6/6
 385
 386 Added national character-handling subsystem.
 387
 388 Various fixes.
 389
 390 Small modifications to input filters and profiles.
 391
 392 Added support for SOIF syntax (with private OID).
 393
 394 --- 1.0a7 1996/5/16
 395
 396 Fixed buffer-size problem in indexing.
 397
 398 Added compression to temporary files for updating.
 399
 400 Added phrase registers.
 401
 402 Added dynamic mapping of search attribute to multiple termlists (ANY).
 403
 404 Scan support in multiple databases/registers.
 405
 406 Configuration settings are case-insensitive and single dash (-)
 407 characters are ignored in comparisons.
 408
 409 The index processing ignores empty files - warning given.
 410
 411 New option to zebraidx (-V) displays version information.
 412
 413 --- 1.0a6 1996/2/24
 414
 415 Fixed problem in file-update system.
 416
 417 Fixed problem in shadow system; register was sometimes corrupted after
 418 a commit operation.
 419
 420 --- 1.0a5 1996/2/10
 421
 422 Fixed problems in the ISAM subsystem. Caused difficulties when updating
 423 existing registers.
 424
 425 Fixed small problem in SUTRS-filter. A newline was sometimes inserted before
 426 the rank and record number.
 427
 428 Fixed bug in the isam subsystem - caused a malfunction when accessing
 429 words which occurred more than 10000 times.
 430
 431 Distribution should now include YAZ (Z39.50 protocol stack) to simplify
 432 installation.
 433
 434 Server can now run under inetd. Use option -i, and -w <directory> to
 435 set working directory to desired location.
 436
 437 New zebraidx command: clean - removes temporary shadow files.
 438
 439 Fixed bug in ISAM system. Occurred rarely during register updates.
 440
 441 Logging during index merge phase is improved. The remaining running
 442 time is estimated.
 443
 444 Temporary files generated by zebraidx are removed after each run.
 445
 446 Bug fix: Dictionary didn't handle 8-bit characters correctly; was obvious
 447 when doing scan operations in dictionaries with European characters.
 448
 449 --- 1.0a4 1996/01/11
 450
 451 A whole slew of updates, to make the first publicized release. Get the doc
 452 and check it out.
 453
 454 --- 1.0a3 1995/12/06
 455
 456 Memory-problems in ISAM fixed. More blocktypes added to the default setup
 457 to increase performance on larger databases.
 458
 459 Various minor changes in data management system.
 460
 461 --- 1.0a2 1995/12/05
 462
 463 A couple of portability-problems resolved.
 464
 465 Changed some malloc() to xmalloc().
 466
 467 --- 1.0a1 1995/11/28
 468
 469 First release.