Implemented yaz_iconv to support conversion to MARC-8
[yaz-moved-to-github.git] / NEWS
1 Utility yaz_iconv now supports conversion to MARC-8.
2
3 New facilities for the MARC module. The reading - and writing of
4 content are separate methods for the yaz_marc_t handle. The following
5 read functions are available: yaz_marc_read_iso2709 (Reads MARC in
6 ISO2709 format), yaz_marc_read_xml (reads MARC in MARCXML/MarcXchange
7 format). Write functions have prefix yaz_marc_write_.. The existing
8 utilities yaz_marc_decode_wrbuf and yaz_marc_decode_buf are still
9 available. Removed support for OAI-MARC and simplexml (not the
10 simplexml from PHP5).
11
12 Added a new ZOOM event type ZOOM_EVENT_END which signals no more events
13 to be returned for this connection.
14
15 --- 2.1.16 2006/03/31
16
17 Allow multiple languages and charsets to be specified with
18 yaz-client. Each item must be separated by comma (NO BLANKS). E.g.
19   negcharset iso-8859-1,utf-8
20
21 Translation of proximity nodes from CQL into PQF now works.
22
23 Moved to automake 1.8, 1.9.
24
25 Added function yaz_log_set_handler which allows a log handler to be
26 installed. This handler will be called for all log messages.  Output
27 to file is also produced; but that can be disabled by passing NULL
28 fname to yaz_log_init_file.
29
30 Fixed another problem with MARC-8 -> ISO-8859-1 conversions. Bug #537.
31
32 For SRW (including GFS), accept application/soap+xml as content-type
33 for SOAP msg.
34
35 For GFS in SRU mode, an empty stylesheet in SRU URL (&stylesheet=&)
36 produces NO stylesheet reference even if a default stylesheet is specified
37 in GFS XML config.
38
39 --- 2.1.14 2006/03/14 
40
41 Updated Windows package to include yazd.dll + yazd.lib for the
42 Development component.
43
44 If the environment variable YAZ_LOG is set, then it is used as a
45 string indicating the default level of logging to use if not
46 overridden by calls to yaz_log_init() or yaz_log_init_level().  If
47 it's not defined, then the manifest constant YLOG_DEFAULT_LEVEL is
48 used as before.  So, for example, to omit warnings from YAZ logging,
49         export YAZ_LOG=-warn
50
51 cql_transform() now map structure and other attributes before indexes,
52 so that index-specific structures and other attributes can override
53 defaults.  So now a combination of mapping specifications such as:
54         structure.* = 4=1
55         index.dc.date = 1=date-modified 4=5
56 does the right thing.
57
58 cql_transform() now also respects the "always" mapping specification,
59 which establishes an initial set of attributes to be used for all
60 terms except where overridden by more specific attributes associated
61 with the index, relation or modifier.
62
63 Added SRU-GET and SRU-POST support for ZOOM C. Option "sru" specifies
64 which mode to use; one of "post", "get" or "soap" (SRW, default).
65
66 Fixes for yaz_iconv routines: changed trie-based character set conversions
67 to use only non-negative values for bit fields due to Sun's C compiler not
68 supporting negative values.
69
70 Fixed bug in character set conversion yaz_iconv. Some three byte UTF-8
71 sequences where not read correctly. Fix by Rustam Usmanov.
72
73 Updated win/makefile to use options, settings which makes things
74 compile with VS C 2005.
75
76 --- 2.1.12 2006/02/01 
77
78 Fixed bug in yaz_oi_update which used incorrect value for categoryValue.
79
80 In ZOOM socket code, use select instead of poll on MacOSX.
81
82 ZOOM-C now support client-side compilation of CQL into RPN that is
83 sent to the server, enabling CQL to be used against all Z39.50
84 servers.  Use ZOOM_query_cql2rpn() to set the compiled CQL into a
85 ZOOM_query object, and submit it using ZOOM_connection_search().
86 The CQL-to-RPN translation uses a configuration file, the name of
87 which must be specified in the Connection's "cqlfile" option.
88
89 ZOOM-C also support CQL scanning, via the new ZOOM_connection_scan1()
90 function, which takes as its start-term parameter a ZOOM_query object
91 (which may have had either CQL or RPN set into it).
92
93
94 --- 2.1.10 2005/11/29 
95
96 Added ZiNG Update Support. New codecs are defined in srw.h. Extended the
97 GFS to support this as well. Backend handler, bend_srw_update, does the
98 update work. Code contributed by Ko van der Sloot.
99
100 Allow retrieval of Search Result-1 information in ZOOM by the use of
101 options that are attached to a result set. ZOOM documentation updated
102 accordingly.
103
104 Fixed bug #416: First/second comb characters not handled in the MARC-8 to
105 UTF-8 conversion. Patch by Raj Patel.
106
107 Added option -m to GFS to control formatting of timestamps in log file.
108
109 Added 'exit' as synonym for 'quit' in yaz-client
110
111 Added support for specifying SRW resultSetId + resultSetIdleTime in a
112 Generic Frontend Server's search handler. Refer to include/yaz/backend.h
113 for the new members. Patch by Ko van der Sloot.
114
115 Added support for SRU POST. It is supported for content-type
116 application/x-www-form-urlencoded only. Patch by Ko van der Sloot.
117
118 Do not build the separate Multi-threaded (MT) library libyazthread.la.
119 Instead make the library libyaz.la multi-threaded. Threading as a whole
120 can still be disabled by configure option --disable-threads. Previosly, 
121 with older GLIBCs there were problems with MT libs under Apache. This
122 has now been fixed a long time ago.
123
124 Fixed bugs in yaz_log that occurred on Sparc Solaris in Multi-threaded
125 applications.
126
127 CQL module modified to be case insensitive for relations/indexes/operations.
128
129 Fixed bug in CQL transform code: incorrect value relationModifieder
130 was used.
131
132 Added 'show all' command for yaz-client which retrieves all results
133 for last search.
134
135 Added new yaz-client, xmles, which takes a (private) OID and
136 a document to be sent as an extended service request.
137
138 Describe new yaz-client commands wait_response and set_auto_wait.
139
140 Increase TCP/IP listener backlog from 3 (which I am guessing was
141 copied from the SunOS manual entry way back when) so SOMAXCONN, so
142 that the socket will queue as many incoming connections as it's able
143 to handle ongoing connections.  In other words, it will never now
144 refuse a connection that it would be able to handle merely because
145 it's not got around to accepting() enough of the pending connections
146 yet.  This is the behaviour anyway under Linux, where the listen()
147 argument is ignored; but not under BSD and on systems such as
148 MS-Windows that use BSD-derived TCP/IP stacks.  The behaviour of
149 YAZ-based servers should now be uniform across operating systems in
150 this respect.
151
152 yaz-marcdump uses 64-bit file access on some systems. This is enabled 
153 on Linux and other Unix variants where _FILE_OFSET_BITS=64 is supported.
154 This allows yaz-marcdump to read large MARC batches (>2 GB).
155
156 Modified all YAZ source files - except the source which is auto-generated
157 by tools - to use spaces rather than TABS. Emacs/VIM trailer added to
158 all source files.
159
160 Add ZOOM_connection_option_getl() and ZOOM_options_getl(),
161 corresponding to the existing *_setl() function.  These allow option
162 values containing arbitrary valuues.
163
164 Add ZOOM_resultset_sort1(), which should ALWAYS be used in place of
165 ZOOM_resultset_sort() in new applications.  Its behaviour is identical
166 except that it returns an indicator of whether or not the sort
167 criterion was accepted (0 for OK, -1 for invalid).
168
169 --- 2.1.8 2005/06/07 
170
171 Fixed bug in yaz_marc_decode_buf. By mistake the routine appended
172 MARC output rather than returning "new" buffer.
173
174 yaz-client warns about unknown init options.
175
176 Fixed bug #371: "options concurrentOperations ignores concurrentOperations"
177
178 --- 2.1.6 2005/05/24 
179
180 Added support for SRW sort in Generic Frontend Server. Patch
181 by Ko van der Sloot. Member srw_sortKeys in bend_search_rr holds
182 sortKeys - or NULL if none is provided.
183
184 Fixed bug #307: It was impossible to specify indefinite/no timeout
185 for ZOOM_event. Special timeout value -1 now means indefinite timeout
186 (i.e.  no timeout).
187
188 Added support for multiple languages and charsets to be specified in
189 ZOOM. Each charset/language is separated by a blank. If negotiation is
190 in effect in init-response, Option
191 "negotiation-charset-in-effect-for-records" set to 1(true) or 0(false). 
192 Code based on patch by Vasiliy Osadchuk.
193
194 Fixed bug #306: infinite recursion that occurred when calling
195 yaz_log_level_init as the first call (before other log level or
196 nmem_init calls)
197
198 Fixed bug in scan handling in front end server: if preferred-Position-In-
199 Response was non-present, a NULL pointer referece was performed.
200
201 --- 2.1.4 2005/04/26 
202
203 Changed include/yaz/diagbib1.h and added include/yaz/diagsrw.h with
204 diagnostic messages+codes for Bib-1 and SRW. Preprocessor defines are
205 now defined for all those error codes. So instead of putting 109 in
206 your program you'd use YAZ_BIB1_DATABASE_UNAVAILABLE. The messages
207 are generated from a .csv - file. See src/bib1.csv and srw/srw.csv.
208
209 Modified the yaz-marcdump utility to skip garbage bytes between MARC
210 records in a file.
211
212 Fixed bug - uninitialized memory - due to bad code for fix of bug #272.
213
214 Program yaz-client now exits and produces an error message if multiple
215 Z39.50 servers are specified on the command line (none or one allowed
216 only).
217
218 Program yaz-marcdump skips garbage bytes between ISO2709 records rather
219 than abort.
220
221 --- 2.1.2 2005/03/16 
222
223 Fixed bug #273: Update for recent MARC-8 -> UNICODE changes. 
224
225 Fixed bug #272: Preserve spacing for CCL terms.
226
227 --- 2.1.0 2005/03/14 
228
229 Added support for virtual hosts and multiple backend servers for
230 the YAZ frontend server. The configution is XML based and
231 support specificition of CQL to RPN mappings and explain information.
232 See section "Virtual Hosts" in the YAZ manual.
233
234 Extended OPAC display utility. OPAC display utility renders
235 bibliographic (MARC) record as well. Added yaz_opac_decode_wrbuf
236 to supplement yaz_marc_decode_wrbuf.
237
238 Fixed a bug in MARC decoder that could caused it to crash for some
239 invalid MARC records. More diagnostics and warnings where added in
240 XML output (warnings, etc are stored in comments).
241
242 --- 2.0.34 2005/02/08 
243
244 Fixes for UNIX domain sockets. Bug #261.
245
246 Fixes for MARC-8 to UTF-8 conversion. Bugs #258 and #260.
247
248 Fixed bug #263: YAZ MARCXML dump shows extra spaces after control fields.
249 Added yaz_marc_subfield_str which defines subfield lead string which is
250 used in YAZ_MARC_LINE format. Default string is blank+$. Added
251 yaz_marc_endline_str which defines end of fields string used in
252 YAZ_MARC_LINE format. Default string is newline.
253
254 Experimental support for MarcXChange. This format can be produced
255 by yaz-marcdump and is implemented in yaz_marc_decode - functions.
256  http://www.bs.dk/standards/MarcXchange.xsd
257
258 Added yaz-client commands scansize that sets maximum number of
259 entries to be returned by scan.
260
261 --- 2.0.32 2005/01/11 
262
263 Added support for SRW scan in yaz-client and Generic Frontend Server.
264
265 * Added whereInList member to SRW Scan Term.
266
267 * Changed Z_SRW_scanRequest to be able to carry both CCL and PQF.
268
269 Fixed NMEM system to return aligned blocks on the smallest boundaries
270 that are suitably aligned for all possible types on the particular
271 architecture YAZ is being built for.
272
273 --- 2.0.30 2005/01/04 
274
275 Fixed numerious warnings that was issued with newer versions of GCC.
276
277 Fixed NMEM system to return aligned blocks on 8 byte boundaries rather
278 than 4 bytes, since 4 may not be enough on some systems such as GCC 3.4.3
279 on Solaris.
280
281 Make YAZ Generic Frontend Server slightly faster.
282
283 Enhance (and reduce) logging for Generic Frontend Server.
284
285 Revert YAZ log system so that it flushes every write operation
286 by default. (YAZ 2.0.26 and earlier verisons did that). Bug #240.
287
288 Modified the YAZ logging system. The LOG level defines use YLOG_ prefix
289 instead of LOG_, due to name clash with syslog(3). LOG_ are still
290 present. New applications should define YAZ_USE_NEW_LOG=1 - this
291 will effectively disable old definitions.
292
293 --- 2.0.28 2004/11/09 
294
295 Added yaz_log_time_format which specifies log format using
296 strftime(3).
297
298 Added yaz_log_module_level which returns mask for a module. Value
299 is non-zero mask a if module is enabled; zero if disabled.
300
301 * Fixed bug #148: CQL parser may leak. A few prototypes were changed
302 in include/yaz/cql.h.
303
304 Fixed bug #176: Dont throw diagnostics on empty SRU args.
305
306 Fixed bug #175: surrogate diagnostics in SRW lacking NS.
307
308 Fixed bug #172: RPM builds does not enable SSL.
309
310 Doxyfile.in part of dist. Doxyfile generated by configure.
311
312 Configure aborts if any of --with-xml2, --with-openssl, --enable-tcpd 
313 are given and the corresponding component does not exist.
314
315 Extend CCL documentation in YAZ reference. Describe r=r.
316
317 --- 2.0.26 2004/10/01
318
319 Fixed MARC->MARCXML conversion to properly deal with
320 fields, subfields, indicators having non-ASCII characters.
321
322 Fixed MARC->MARCXML conversion so that ASCII control characters
323 except TAB,CR,LF are removed from resulting XML (XML 1.0 does not
324 support these).
325
326 Added YAZ GFS support for conversion from Z39.50 surrogate
327 diagnostics to SRW surrogate diagnostics.
328
329 Bug fix: YAZ GFS did not return schema in explainResponse.
330
331 --- 2.0.25 2004/09/30
332
333 The YAZ GFS when converting SRW/SRU requests to Z39.50 structures
334 now converts recordSchema to elementSetName as well as schema URI.
335
336 Fixed bug in COMSTACK that prevented HTTP request packages from being
337 decoded properly.
338
339 --- 2.0.24 2004/09/29
340
341 Added CCL facility r=r "range" which is similar to r=o "ordered" but
342 does not require white-space before and after the dash in a range, e.g.
343 x=-1990 is equivalent to x <= 1990 iff r=r, but equivalent to x= -1980
344 iff r=o.
345
346 Fixed a few AC_TRY_LINK configure tests that did not operate properly
347 due to new GCC removing "redundant" code.
348
349 Added yaz-client commands scanpos and scanstep that sets preferred
350 position and step-size for scan.
351
352 Macro YAZ_INIT in yaz.m4: option --with-yazconfig renamed to --with-yaz.
353
354 Added CCL utility ccl_qual_buf which parses one or more CCL 
355 spec lines in a buffer.
356
357 Added CCL utility ccl_qual_line which adds CCL qualifier line consisting
358 of name and value - ignoring empty lines and comments.
359
360 On Windows, the debug DLL/import lib is now named yazd.{dll,lib}.
361
362 Added odr_get_element_path which returns current element path for an
363 ODR handle. This utility is useful in error handling or user-defined
364 ODR_PRINT stream.
365
366 Added ODR_PRINT utility odr_set_stream which is is a more generic
367 alternative to odr_setprint. odr_set_stream takes a stream handle, pointer
368 to a write function and pointer to close function. The close function - if
369 non-NULL - will be called during odr_destroy.
370
371 Fixed bug in CCL parser where truncation char was not removed from
372 right side when truncation=both was in effect.
373
374 Fixed CQL parser to use unsigned chars for isxxx from ctype.h due
375 to VS.NET.
376
377 --- 2.0.23 2004/08/11
378
379 Fix buffer overrun in CQL parser when dealing with proximity (%).
380
381 Fixes for MARC-8 in yaz_iconv character set utilies. The MARC-8
382 to UTF-8/UCS conversion is now only based on codetables.xml.
383
384 yaz_marc_decode_buf sets leader pos 9 to "a" for MARCXML output.
385
386 --- 2.0.22 2004/08/06
387
388 Add support for more "commit changes" in ZOOM (uses Extended Services).
389
390 For yaz-client, command set_marcdump <file> / -m <file> dumps SUTRS/XML/..
391 records as well.
392
393 Yet another small fix for configure of SSL.
394
395 --- 2.0.21 2004/05/14
396
397 Fix SSL libs for configure when --with-openssl=DIR is given.  
398
399 --- 2.0.20 2004/05/10
400
401 Add autoconf m4 macro YAZ_DOC for YAZ documentation setup (docbook).
402
403 SSL comstack now uses yaz.pem certificate file on server side
404 by default. Certificate filename can be configured by calling
405 comstack function cs_set_ssl_certificate_file before cs_bind is used.
406
407 Fix bug regarding multiple calls to ZOOM_connection_connect.
408
409 Implement cs_set_ssl_ctx which sets SSL_CTX for SSL comstack.
410
411 Do not create SSL_CTX in cs_create (ssl_type). Create in tcpip_bind,
412 tcpip_rcvconnect instead. This allows user to set custom SSL_CTX.
413
414 ZOOM now allows inspection of X509 peer certificate for verification.
415 The X509 buffer is retrived by reading ZOOM option "sslPeerCert".
416
417 Removed libyazssl.la. When SSL is enabled, libyaz.la has SSL support and
418 all programs have too (yaz-ztest, yaz-client, zoom..). May not be
419 as "modular" but it simplifies things.
420
421 Added cs_get_peer_certificate to that returns peer X509 PEM.
422
423 Added cs_get_ssl that returns SSL handle (SSL *) for SSL comstack; returns
424 NULL if SSL is unavailable.
425
426 Documentation about MARC decoding tools.
427
428 Fix --disable-tcpd to really disable tcpd. Patch by Robin H. Johnson.
429
430 --- 2.0.19 2004/03/30
431
432 Rename CHANGELOG to NEWS to follow GNU style packing.
433
434 Fix bug with missing initialization of member in init_diagnostics.
435 This bug affects threaded version of GFS server.
436
437 --- 2.0.18 2004/03/20
438
439 Use wrbuf_xmlputs_n instead of wrbuf_write_cdata to avoid clash with
440 Zebra symbol.
441
442 Ensure zlib.dll is packed with Windows install.
443
444 --- 2.0.17 2004/03/17
445
446 Fix encoding of xsd:string to use text instead of CDATA.
447
448 Fix endless loop in CQL parser with unbalanced ".
449
450 Use a more compact way to store MARC-8 conversion tables.
451
452 --- 2.0.16 2004/03/16 Debian only
453
454 Oleg Kolobov Fixed a bug in yaz_iconv regarding conversion to
455 UCS4 / UCS4LE.
456
457 Update CQL parser to use new CQL 1.1 modifiers for booleans and
458 relations.
459
460 Add CQL test cases.
461
462 --- 2.0.15 2004/03/01
463
464 Another fix for decoding of XML packed records.
465
466 --- 2.0.14 2004/02/25
467
468 Fixes for Chunked encoding. White space not ignored after length spec.
469
470 Update NS and use default NS for SRW diagnostic elements.
471
472 --- 2.0.13 2004/02/23
473
474 Implement ZOOM_resultset_cache_reset which resets record cache.
475
476 Implement ZOOM_resultset_sort which sorts a result set.
477
478 Implement chunked HTTP transfer.
479
480 For SSL, use -lssl -lcrypto on systems that don't have pkg-config.
481
482 --- 2.0.12 2004/02/16
483
484 Added member 'schema' to bend_explain_rr structure so that backend
485 can specify explain record identifier. Defaults to Zeerex 2.0.
486
487 Fix encoding of OID's of form 1.0.X. Bug introduced in 2.0.11.
488
489 --- 2.0.11 2004/02/16
490
491 * SRW/SRU 1.1 updates: updated diagnostic in srw.h to use uri instead
492 of code.
493
494 Added init command for yaz-client which sends "extra" init request.
495
496 Fixed two bugs in OID codec - ber_oidc. Throw error when encoding/decoding
497 bad truncated OID. Fix decoding of OID X.Y... when X=2 and Y>39.
498
499 Fixed a bug in ASN.1 compiler that caused Type-1 Operator codec to fail.
500
501 Make ZOOM error code for "invalid query".
502
503 Fixed compilation for SSL which wasn't properly enabled for all platforms.
504
505 --- 2.0.10 2004/02/05 
506
507 For yaz.m4, allow second argument for YAZ_INIT to hold minimal version of
508 YAZ required.
509
510 * SRW/SRU 1.1 updates. Diagnostic code now a URI.
511
512 Added option -p <file> to make Generic Frontend Server to write PID file.
513
514 Added option -D to put Generic Frontend Server in background on its own.
515
516 Make ZOOM C recognize option "password". If unset, "pass" is used
517 (for backwards compatibility).
518
519 Fixed a bug in Generic Frontend Server that could make it crash if a
520 client sets characterSetNegotation bit, but didn't pass negotiation stuff
521 in InitRequest.
522
523 New YAZ client command, zversion, that sets Z39.50 version (1,2,3..).
524 Must be issued before open, in order to be in effect.
525
526 --- 2.0.9-6 2004/01/12  Debian/Windows
527
528 Make the SRU server more picky WRT unknown params, etc.
529
530 Bug fix: ZOOM scan response didn't return displayTerm - when present.
531
532 New YAZ client command, options, that sets Z39.50 options.
533
534 New utility functions yaz_init_opt_{encode,decode} to encode/decode Z39.50
535 options from a string of tokens (one token for each option bit).
536
537 Update SRW diagnostic code messages.
538
539 --- 2.0.9-5 2004/01/07  Debian/Windows
540
541 Handle user defined stylesheet for SRW/SRU.
542
543 --- 2.0.9-4 2004/01/06  Debian/Windows
544
545 Fix bug in decoding of Content-Length.
546
547 --- 2.0.9-3 2004/01/06  Debian/Windows
548
549 Fix a bug with decoding of XML packed records.
550
551 --- 2.0.9-2 2004/01/05  Debian only
552
553 Allow empty ODR (NMEM=0) for odr_oiddup and odr_getoidbystr.
554
555 Fix bug in SRW/SRU diagnostics decoding.
556
557 --- 2.0.9 2004/01/05
558
559 Fixed bug in Generic Frontend Server which could drop records exceeding
560 preferred message size. Reported and fixed by Irina Dijour.
561
562 Fixed calculation of package size for structured records in Generic
563 Frontend Server. Reported and fixed by Irina Dijour.
564
565 Fixed namespace for SRW/SRU diagnostics.
566
567 Fixed SEGV in yaz-client that occured for HTTP connection errors.
568
569 --- 2.0.8 2003/12/22
570
571 * SRW/SRU 1.1. Since the Namespace has changed for SRW/SRU, it means that
572 this version is incompatible with version 1.0 and older YAZ SRW/SRU
573 implementations.
574
575 CQL changes to reflect recent changes to the specification:
576 * Documentation talks about context sets instead of index sets.
577 * Documentation talks about indexes instead of qualifiers.
578 * The CQL-to-PQF transformer's configuration file now uses
579         "index.set.name = <attributes>" instead of the old form
580         "qualifier.set.name = <attributes>".  (Both forms are still
581         understood but the latter is deprecated.)
582 * CQL terms with no explicit index specified are now interpreted as
583         cql.serverChoice instead of srw.serverChoice (which of course
584         behaves exactly the same.)
585
586 --- 2.0.7 2003/12/16
587
588 MARC conversion can now generate ISO2709 output in another
589 character set. yaz-marcdump uses this facility if you invoke it
590 with option -O.
591
592 Added missing C decl macros for include/yaz/{soap.h,srw.h,cql.h}, so that
593 functions from there can be used from C++.
594
595 --- 2.0.6 2003/12/04
596
597 Frontend server now transfers memory from decoded packages to stream
598 ODR for search.
599
600 NMEM now clears freed blocks with 'Y' (hex 59) to force bad memory
601 references to show up. 
602
603 ZOOM-C now supports standard ZOOM option names as described in v1.4 of
604 the ZOOM Abstract API.  The older names for the same options are still
605 also supported for the benefit of old applications.
606
607 ZOOM-C supports "implementationId" and "implementationVersion" options
608 to go along with "implementationName".  These allow the user code to
609 specify identification strings to be sent to servers.
610 Add OID for the new ExtLite attribute set.
611
612 Add OIDs for NACSIS-CATP, FINMARC2000 and MARC21-fin record-syntaxes,
613  as requested/supplid by Ere Maijala <ere@atp.fi>
614
615 For generic frontend server, reverse the order of
616 "toolkit-supplied / application-supplied" strings sent as implementationId,
617 Name and Version.  Also, remove the spaces around the slash.  This brings
618 the GFS in line with the behaviour of ZOOM-C on the client side.
619
620 Add function ZOOM_scanset_display_term.
621
622 yaz-client shows scan displayTerm if present.
623
624 Utility yaz-iconv is now installed by default along with the man page 
625 yaz-iconv.1.
626
627 Extend configure check for OpenSSL to use pkg-config where available (such
628 as RedHat 9).
629
630 Incorporate patch by Morten Bogeskov which allows a Unix file socket
631 server to specify uid/gid/mask for socket using the format
632  unix:[user=uid,][group=gid,][umask=mask,]file=path
633 If file= is omitted the existing format is assumed, e.g.
634  unix:path
635 in which case the mask is 0666 (rw for everybody).
636
637 Major restructure of YAZ source. All source in libyaz is in src directory.
638 Programs in client (yaz-client), ztest (yaz-ztest), zoom (zoom programs),
639 util (utility programs such as ASN.1 compiler, yaz-marcdump). 
640
641 Added man page for utility yaz-marcdump (used to be called marcdump).
642 yaz-marcdump is installed by 'make install'.
643
644 Fixed a memory leak in Generic Frontend Server that occurred when decoding
645 of incoming package failed.
646
647 Fixed a potential DOS attack vulnerability in COMSTACK/ODR.
648
649 Change prototype of odr_perror: add const to message string.
650
651 New function yaz_log_reopen which reopens log file (for log rotate, etc.)
652
653 * Blocking parameter for COMSTACK cs_create is now a bit mask rather
654 than a blocking flag. Bit 0 is set for blocking, reset for non-blocking.
655 Bit 1 is set if cs_addrstr should avoid DNS lookup; reset for full
656 DNS lookup. There should not be any compatibility problems with this
657 assuming that blocking=1 or 0 is used.
658
659 Fix bad reference in UNIX comstack in function cs_addrstr.
660
661 Fix for compilation on AIX.
662
663 The generic front-end server (server/seshigh.c) now supports returning
664 Init diagnostics to the client in User-information-field, in
665 accordance with Z35.90 Implementor Agreement 5 (Returning diagnostics
666 in an InitResponse)
667
668 --- 2.0.4 2003/09/04
669
670 Allow any CQL relation (not just all,any,exact,scr).
671
672 Fixes for OCLC UI ASN.1 to make it work with SilverPlatter targets
673 that features the same UI.
674
675 Implemented command update0 in YAZ client which is equivalent to
676 update but uses old of Ext Update ASN.1.
677
678 Use OID 1.2.840.10003.15.1000.81.1 for privately defined charsets
679 in charset negotiation. Added VAL_ID_CHARSET in oid.h.
680 Previously no OID was used for this info.
681
682 ZOOM uses smallSetUpperBound=1 instead of 0 for piggyback searches.
683 It apparantely upsets EBSCO Publishing IR Z39.50 Server which
684 returns 'malformed search term' otherwise.
685
686 SortResponse member resultCount now set to NULL in sort handler of
687 frontend server.
688
689 OPAC support ZOOM. ZOOM_record_get returns OPAC info (as XML) if
690 type is "opac".
691
692 Add three new utility functions for translating OIDs between various
693 formats -- symbolic name such as "Usmarc", minus-1-terminated int
694 arrays and dotted strings such as "1.2.840.10003.9.5.1":
695  int *oid_name_to_oid(oid_class oclass, const char *name, int *oid);
696  char *oid_to_dotstring(const int *oid, char *oidbuf);
697  char *oid_name_to_dotstring(oid_class oclass, const char *name, char *oidbuf);
698
699 Reverted modifications for ES Update definition for z_IU0Update 
700 (OID 1.2.840.10003.9.5.1 and 1.2.840.10003.9.5). The definition
701 is back to YAZ 2.0.2.
702
703 String value attributes for CCL parser.
704
705 Support for OCLC's locally registered "OCLC-UserInformation" PDU,
706 which their FirstSearch server returns in Init responses, sometimes
707 carrying useful diagnostic information when Init fails.  This has the
708 OID 1.2.840.10003.10.1000.17.1 and is defined in the file
709 "z39.50/oclcui.asn", where its definition is somewhat different from
710 what OCLC document on their web-site, as required to interoperate with
711 their servers.
712
713 Support for anonymous authentication in yaz-client.  Use the command
714 "auth -".
715
716 * Fix the OID of the Index Data-local "admin" Extended Service from 
717   1.2.840.10003.9.81.1 to 1.2.840.10003.9.1000.81.1.  The omission of
718   the 1000, which indicates a locally-defined OID, was a mistake.
719
720 --- 2.0.3 2003/06/20
721
722 Fix CCL directive @case handling so that it affects string match for
723 both CCL keywords and qualifiers.
724
725 * ESFormat-Update updates. Packages with OID 1.2.840.10003.9.5.1 and
726 1.2.840.10003.9.5 are now handled by the same decoder z_IU0Update .
727 Decoder has been updated with ASN.1 changes as listed in
728 http://lcweb.loc.gov/z3950/agency/defns/updateES.html
729 Note that the "latest" DB Update, OID 1.2.840.10003.9.5.1.1 , handler
730 z_IUUpdate, remains unchanged. 
731
732 ZOOM_record_get may now return a record in a specific character set.
733 For type use "form; charset=from[,to]" where form (render, xml, ..) ,
734 "from" is the character set of record as returned by target. "to" is
735 the character set to be returned. If omitted, "to" is UTF-8.
736
737 YAZ ASN.1 compiler renamed from yaz-comp to yaz-asncomp
738
739 New ODR utility, odr_getelement, which returns name of element for
740 which encoding/decoding failed.
741
742 Fixed ODR so that it returns error code OREQUIRED rather than ONONE
743 in cases where a required element was omitted.
744
745 Bug fix: some MARC8 sequences were not converted.
746
747 New ZOOM option "step" which specifies number of records to be
748 retrieved in one chunk. Used in conjunction with "start" and "count".
749
750 SRW support for yaz-client. Use scheme http: to use it, e.g.
751  http://host:port/db
752
753 yaz-client no longer does (un)intelligent character set conversions
754 by default. Can be enabled with charset and marc_charset commands.
755
756 xmalloc trace fix for 64-bit systems such as DEC alpha. 
757
758 Solaris 2.6 compile fix.
759
760 New function, cql_strerror() translates SRW error codes, as returned
761 by cql_transform_error(), into human-readable English strings.  Used
762 in yaz-client diagnostics when appropriate.
763
764 New CQL2RPN query-type for the command-line yaz-client, parses CQL and
765 converts it into a type-1 query which is sent to the server.  This
766 makes CQL available for use with all Z-servers, as opposed to the tiny
767 minority that can handle CQL queries themselves.
768
769 --- 2.0.2 2003/04/28
770
771 New Debian package layout similar to the Redhat Package layout.
772
773 New ZOOM events ZOOM_EVENT_RECV_{RECORD,SEARCH} for receiving a record
774 and search result respectively.
775
776 --- 2.0.1 2003/04/25
777
778 Redhat package is now several packages: libyaz (runtime libraries),
779 libyaz-devel (development and documentation, and yaz (utility programs).
780 Package spec file by Morten Bøgeskov.
781
782 New member 'schema' in struct bend_fetch_rr which the name of requested
783 schema (SRW/SRU) for record (or NULL if none was given). The fetch
784 handler MAY set this to reflect the schema of the returned record.
785
786 New member 'display_term' in struct scan_entry. GFS now sets member entries
787 and allocates scan entries to be filled by user scan handler. In previous
788 version, entries member was allocated by the scan handler. That still works,
789 but the GFS will ignore member display_term - assuming it was NOT set by
790 the handler. The fact that the GFS now allocates the entries both allows
791 for new members and makes a scan handler easier to write.
792
793 Fix CQL lex buffer overflow.
794
795 SRW/SRU recordPacking. For SRW default recordPacking is string. For
796 SRU default recordPacking is string.
797
798 SRU protocol support for frontend server.
799
800 Fix compile bug for systems that have nl_langinfo but CODESET undefined.
801
802 Added missing PQF transform rules for <= and >= . Thanks to Peter Popovics.
803
804 Added scan for the ZOOM shell (zoomsh).
805
806 --- 2.0 2003/02/23
807
808 * String Identifers for Schemas (Amendment 5).
809 http://lcweb.loc.gov/z3950/agency/amend/am5.html
810 Old definition for schema
811   Odr_oid *schema; /* OPT */
812 New:
813   int which;
814   union {
815      Odr_oid *oid;
816      Z_InternationalString *uri;
817   #define Z_Schema_oid 1
818   #define Z_Schema_uri 2
819   } schema; /* OPT */
820
821 * resultCount parameter to Sort Response (Amendment 1).
822 http://lcweb.loc.gov/z3950/agency/amend/am1.html
823
824 Support for SRW 1.0 over HTTP. This is an optional feature and
825 requires libxml2 to operate. Enable SOAP by specifying --with-xml2
826 for configure.
827
828 Generic frontend server supports HTTP/SOAP/SRW and Z39.50/BER
829 on the same port.  SRW SearchRetrieveRequests are mapped
830 to bend_init,bend_search,bend_fetch,bend_close. 
831
832 Z39.50 Query Type-104 added - to facilitate CQL within Z39.50.
833
834 CQL support. Source is directory 'cql'. CQL is supported in ZOOM
835 (both SRW and Z39.50) and the YAZ client (Z39.50 only).
836
837 ZOOM connections are SRW based if schem http is used for hostname
838 in connect, e.g.  z = ZOOM_connection_new("http://myserver");
839 ZOOM_query may be of type CQL, e.g. ZOOM_query_cql(q, "dc.title=x");
840
841 CCL proximity operators !n, %n converts to PQF @prox 0 n 1 2 k 2
842 and @prox 0 n 0 1 k 2 respectively, meaning: exlusion=false,
843 distance=n, order=true/false, relation=le, prox unit=word. If
844 n is omitted, distance 1 is used.
845
846 Fixed problem with C compiler include path in wrong order.
847
848 For TCP/IP COMSTACK, set recv buffer to an appropriate "large" value
849 on Solaris. Patch from Ko van der Sloot.
850
851 New MARC decode API. All new functions operate on a yaz_marc_t
852 handle. The most important new functions are: yaz_marc_create,
853 yaz_marc_decode_{buf,wrbuf}, yaz_marc_destroy, .. to create handler,
854 decode and destroy respectively. Decoder can produce formats
855 MARC line, simple XML, OAI MARC and MARC XML (LoC). See
856 include/yaz/marcdisp.h.
857
858 YAZ Iconv utility now supports MARC8 decoding (marc8.c). Converts
859 to UTF-8, UCS-32, wchar_t or Latin-1.
860
861 * Prototypes for yaz_iconv_-functions moved to separate header 
862 include/yaz/yaz-iconv.h.
863
864 Make a few private functions 'static' in unix.c. This prevents
865 duplicate unix_close in PHP with YAZ and imap. PHP Bug 20977.
866
867 For ZOOM connection, the options targetImplementation{Id,Name,Version}
868 are set when Init Response is received.
869
870 New function ZOOM_connection_error_x similar to ZOOM_connection_error
871 but returns diagnostic set as well.
872
873 New function yaz_strerror which is a portable wrapper for
874 strerror/strerror_r/GetLastMessage.
875
876 * ZOOM_record_get supports type "xml" in which case MARC XML (from LOC)
877 is returned for MARC. If type is "oai", then OAI MARC is returned.
878
879 Fix creation of lib/yaz-config so it works if srcdir != objdir. Patch
880 from Kang-Jin Lee.
881
882 --- 1.9.2 2002/11/26
883
884 yaz_marc_decode uses OAI MARC as XML format for ISO2709 records.
885
886 Fix bad race conditions on SIGTERM and terminate gracefully in
887 frontend server.
888
889 Move retrieval (data1) module to Zebra since nobody seems to be
890 using it.
891
892 Add GRS-1 render for ZOOM using same format as yaz-client.
893
894 --- 1.9.1 2002/10/05
895
896 Added man pages: yaz-client(1), yaz-ztest(8), yaz(7), zoomsh(1).
897
898 Fix broken ESpec handling in data1 module.
899
900 SGML reader parses comments and makes them part of the data1 tree.
901
902 Added several type casts so that YAZ compiles as C++ code.
903
904 ZOOM didn't handle PDU encoding failures properly.
905
906 Added more Bib-1 diagnostics (approved extensions).
907
908 GNU configure: better check for iconv.
909
910 More portable use of accept, getpeername. Check for socklen_t. Use
911 int/size_t if socklen_t is not defined.
912
913 --- 1.9 2002/09/06
914
915 PQF parser rejects bad queries - including those with extra
916 characters in them. PQF parser used to silently ignore that.
917 Cleaner API for PQF added, which allows you to get detailed
918 error information for bad queries (see yaz/pquery.h).
919
920 Fixed bug in ZOOM_record_get for type "database".
921
922 Implemented mini iconv library supporting conversions between
923 UTF-8, UCS4, UCS4LE and ISO-8859-1. Implemented in util/siconv.c.
924
925 * Removed XML reader (d1_expat.c). It's part of Zebra instead.
926
927 --- 1.8.9 2002/08/20
928
929 Fixed ZOOM C record cache so that preferredRecordSyntax and
930 elementSetName is used to check for already fetched records.
931
932 --- 1.8.8 2002/08/02
933
934 Added three members in bend_initrequest structure to facilitate
935 character set negotiation.
936
937 Fixed a bug in frontend server that could cause indefinite
938 loops under rare conditions. 
939
940 Revised character set utilities (charneg.h) so that encoding
941 UCS-4, UCSA-4, UTF-16 and UTF-8 are encoded non-privately.
942
943 For PQF, directive @term <type> sets term type for Scan/Search.
944 Here <type> is general, string, numeric, null. The term type
945 is inherited - just like @attr.
946
947 New call odr_set_charset that sets character set conversion for
948 international-strings on a ODR stream. Prototype is:
949  int odr_set_charset(ODR o, const char *to, const char *from);
950 The InternationalString is still represented as C string in YAZ 
951 so native strings of type UTF-8, ASCII, etc. will work (UTF-16
952 won't). On the protocol level, you can use any encoding.
953
954 Support for UNIX sockets in ZOOM.
955
956 Solaris recv sometimes returns errno == ENOENT. It is treated as
957 EINPROGRESS. COMSTACK patch by Ko van der Sloot.
958
959 New COMSTACK of type UNIX Socket. Use "unix:/path" as address for
960 both client and server. Code by Morten Bøgeskov.
961
962 --- 1.8.7 2002/05/22
963
964 On Windows ZOOM functions are of type __stdcall rather than __cdecl, so
965 that they can be used directly from Visual Basic. You must recompile
966 your windows APP if you're using ZOOM.
967
968 Character Set and Language Negotiation(3) for ZOOM API and YAZ client.
969 Commands "lang" and "charset" sets language and character set respectively.
970 Options "lang" and "charset" is interpreted by the ZOOM API. Note, these
971 are not part of the official ZOOM spec) All is due to Oleg Kolobov. 
972
973 Attributes from multiple CCL fields may be OR'ed rather than merged
974 using directive "@field or". Fields are still merged by default -
975 equivalent to "@field merge".
976
977 Fixed bug in ZOOM connect that occurred on OpenBSD (maybe others). Patch
978 by Oleg Kolobov.
979
980 Fixed bug in zget for parameter ExtendedServicesResponse.
981
982 Fix OID for ILL.
983
984 --- 1.8.6 2002/03/25
985
986 Added PQF feature: '@attr type=value' may be written as '@type=value'.
987
988 Client displays USR.1:SearchResult-1 (hits per term).
989
990 Additional Search Info for search in Generic Frontend Server.
991
992 Fixed CCL parsing of "field=s".
993
994 WIN32 installer - using the excellent NSIS software from nullsoft.
995
996 Fixed CCL parsing of "field = - <number>".
997
998 Added function yaz_marc_decode that decodes MARC for line mode
999 display or XML (similar to that used by JZKit).
1000
1001 Fixed BER decoding of OPTIONAL CHOICE. The bug didn't affect the
1002 Z39.50. But ISO/ILL was, however.
1003
1004 Added patch by Rustam T. Usmanov that implements Z39.50 duplicate
1005 detection service (Z39.50-1995 Amendment 2) and Language Negotiation (3).
1006 See:
1007  http://lcweb.loc.gov/z3950/agency/amend/am2.html
1008  http://lcweb.loc.gov/z3950/agency/defns/charneg-3.html
1009
1010 --- 1.8.5 2002/02/03
1011
1012 New YAZ client features: Command completion and new commands:
1013 push_command, set_apdufile, set_marcdump, set_cclfields, register_oid.
1014 Code provided by Jacob Poulsen.
1015
1016 New call oid_trav, that visits all registered OIDs via callback.
1017
1018 Function ZOOM_record_get now returns const char pointer rather than
1019 void pointer. It saves a lot of type casts.
1020
1021 For YAZ client, command "auth" now allows you to set authentication
1022 in IdPass style. It is enabled when three tokens are given - order
1023 is user, group and password.
1024
1025 Fix memory leaks in MARC record handling for ZOOM.
1026
1027 New option for YAZ client, -k <kilobytes> that sets
1028 maximum record size. Similar to -k option for generic frontend
1029 server and yaz-ztest.
1030
1031 More fixes for scan. Non-zero stepSize handled. OID's fixes.
1032
1033 Prefix query parser reports "fail" when bad attribute set is given.
1034
1035 Fix in MARC decoder. Proximity logging. Fix for attribute set
1036 in scan handler for server. Patches by Shigeru Ishida.
1037
1038 SSL/COMSTACK updates. cs_rcvconnect completes SSL handshake. ZOOM
1039 works with SSL.
1040
1041 Configure option --with-openssl=<dir> now works when a directory is
1042 specified. Patch provided by Morten Bøgeskov.
1043
1044 New option for YAZ client, -u <auth>, that sets authentication.
1045
1046 ZOOM fix: error information was sometimes "missing", since error
1047 was cleared/reset too when it shouldn't.
1048
1049 ZOOM_record_get returns ISO2709 buffer when "raw" is given.
1050
1051 --- 1.8.4 2002/01/04
1052
1053 Scan for ZOOM API. New object ZOOM_scanset. New functions
1054 ZOOM_connection_scan, ZOOM_scanset_size, ZOOM_scanset_term and
1055 ZOOM_scanset_destroy.
1056
1057 New ZOOM function, ZOOM_connection_last_event, that returns type
1058 of last event (such as "receive data", "send data", "apdu received",
1059 etc.
1060
1061 New ZOOM option, schema, that specifies schema for retrieval.
1062
1063 New CCL feature. Qualifiers can be aliases for one or more
1064 other qualifiers (if more than one is given, OR is used).
1065
1066 ZOOM uses named result sets if target supports it.
1067
1068 Two new YAZ client commands: .  (dot, which sources a script of YAZ
1069 client commands), and ! (to execute shell command.). Implemented
1070 by Jacob Poulsen.
1071
1072 Working on Debian packages.
1073
1074 --- 1.8.3 2001/11/19
1075
1076 YAZ client enables named result sets only if target supports it.
1077
1078 *** ZOOM. Prefix for ZOOM definitions changed from Z3950_ to ZOOM_.
1079
1080 * ZOOM. Removed Z3950_connection_host. Use Z3950_connection_option_get
1081 with key="host" to get same result.
1082
1083 * ZOOM. Added Z3950_record_clone and removed Z3950_resultset_get.
1084 Function Z3950_resultset_record(s) returns references to records
1085 "owned" by resultset. To become owner use Z3950_record_clone.
1086
1087 Function z_ext_record handles Extended Services. Thanks to
1088 Irina Dijour.
1089
1090 --- 1.8.2 2001/11/12
1091
1092 CCL Parser fix: ignore token comma when dealing with and-lists.
1093
1094 Documentation updates for COMSTACK.
1095
1096 * ZOOM changes. Query object renamed from Z3950_search to Z3950_query.
1097 Changed prototype Z3950_records. For some functions, int parameters
1098 were changed to size_t.
1099
1100 TCP/IP COMSTACK no longer uses getprotobyname to avoid memory leak
1101 on some Unices.
1102
1103 New MARC decode/display function, marc_display_exl, which properly rejects
1104 non-ISO2709 records. YAZ client uses it.
1105
1106 --- 1.8.1 2001/10/29
1107
1108 Fix bug: local attribute set wasn't set correctly in PQF strings.
1109
1110 --- 1.8 2001/10/25
1111
1112 * Old Z39.50 codecs no longer supported. 
1113
1114 Added ZOOM C binding. See http://zoom.z3950.org/
1115
1116 Renamed states for COMSTACKs to avoid confusion with events.
1117
1118 Implemented cs_look and proper cs_rcvconnect.
1119
1120 Fixed COMSTACK error that occurred on HPUX. Fix by Giannis Kosmas.
1121
1122 Configure detects POSIX threads on OpenBSD.
1123
1124 When sort flag 'i' was specified in yaz-client the caseSensitivy flag
1125 was set to a wrong value.  Thanks to Robert Sanderson for reporting this.
1126
1127 When error is returned from present handler, non-surrogate diagnostic
1128 is returned in present response (and fetch handler is no longer called).
1129
1130 * Minor adjustments to pquery parser (PQF). Token characters may be
1131 escaped by using backslash (C-style).
1132
1133 PQF parser allows string attribute values to be specified. For @attr,
1134 non-numeric characters after the equal-sign are treated as strings
1135 (e.g. @attr 9=title).
1136
1137 CCL trunction character may be defined (@truncation in file)
1138
1139 * function zget_ExtendedServicesRequest sets waitAction to
1140   waitIfPossible (was wait).
1141
1142 Added cs_set_blocking to set change blocking mode of a COMSTACK. Thanks
1143 to Matthew Carey.
1144
1145 CCL operator names may be set in field definition files (CCL_bibset).
1146 See ccl/bib1 for an example.
1147
1148 Fixes in ASN.1 compiler for C++ compatibility.
1149
1150 * Renamed members "and" and "or" in struct Z_Operator to "op_and"
1151 and "op_or" to avoid conflict with C++.
1152
1153 Fixed problem with GNU readline detection on Redhat 7.0.
1154
1155 Added step-size for Scan backend handler.
1156
1157 Fixed bug that made the frontend server crash when no attribute
1158 set was specified for scan.
1159
1160 Front-end server automatically switches to original working directory
1161 when installed as an NT service. Previously -w had to be specified to
1162 make it work.
1163
1164 Added extended attributes for retrieval module (data1), so that data1
1165 records carry d1_readXML/SGML attributes. d1_read also supports
1166 null-data rules ( <tag/>)
1167
1168 On UNIX when POSIX threads are available, a separate library libyazthread
1169 is created. Programmers should link with that library and the yaz library
1170 when using threads. The reason for the split was that some applications
1171 on Linux, such as Apache, doesn't work well when using shared objects that
1172 relies on threads.
1173
1174 Added SSL support for the COMSTACK. You start yaz-client and yaz-ztest
1175 (or any frontend server) in SSL mode by specifying ssl: followed by
1176 address. Only tested on UNIX.
1177
1178 Added feature for CCL module. Virtual structure s=al or s=ol generates
1179 and-list and or-list respectively instead of phrase search.
1180
1181 Added some OID's.
1182
1183 * Added prefix "yaz_" for the functions log_init.., log_file..  and
1184 log_mask_str. This was done to avoid name conflicts with other libraries
1185 (such as other PHP extensions).
1186
1187 Added raw OID member for preferred record syntax (request_format_raw)
1188 and returned record syntax (output_format_raw) for backend fetch method.
1189
1190 Config file yaz-config now accepts options so that it returns specific
1191 compile settings, etc. Thanks to Morten Bøgeskov <morten@bogeskov.dk>
1192
1193 Shared library support for UNIX using GNU libtool.
1194
1195 * Modified backend interface. Request/Response struct's replaced by
1196 one read/write C struct. For example bend_fetchrequest and
1197 bend_fetchresult have been replaced by single bend_fetch_rr struct.
1198 Every handler - even search has to be registered in bend_init
1199 handler. This means that the YAZ library no longer refers to
1200 external functions and it makes it possible to make the whole
1201 thing a single DLL/SO.
1202
1203 Added Segment handler for backend server.
1204
1205 Added Zmbol/Zebra administrative functions to YAZ client.
1206
1207 Threaded frontend server on UNIX (when POSIX Threads are available).
1208 Starting the server with option -T enables multi-threading.
1209
1210 --- 1.6 2000/03/03
1211
1212 Added configure option --enable-comp/disable-comp to control use
1213 of YAZ ASN.1 compiler. Use --disable-comp to use the old *coders
1214 located in sub directory asn.
1215
1216 YAZ ASN.1 compiler renamed to yaz-comp in sub directory. It's installed
1217 in ${exec_prefix}/bin along with the other programs yaz-client and
1218 yaz-ztest.
1219
1220 GNU automake used to maintain makefiles.
1221
1222 Added several OID's.
1223
1224 Changed retrieval module so that we can load records with no abstract
1225 syntax defined. Tagpaths in these records are fully composed of string
1226 tags.
1227
1228 Implemented ISO ILL protocol. Refer to stuff in sub directory ill.
1229
1230 --- 1.5 1999/12/10
1231
1232 On UNIX, the generated makefile now supports a proper 'make install'.
1233 The prefix can be set via GNU configure to set the install location
1234 (default is /usr/local).
1235
1236 * YAZ programs client and ztest were renamed to yaz-client and
1237 yaz-ztest to avoid conflicts when users install YAZ in "standard"
1238 locations, such as /usr/bin,/usr/local/bin,etc.
1239
1240 * YAZ Header files were moved from include to include/yaz. YAZ Header
1241 files are referred to as include <yaz/log.h> rather than <log.h>.
1242 The YAZ include path (-I ..) is therefore the same as before. Programmers
1243 should update their #include statements or use -Ipath/include/yaz
1244 instead. The main motivation for doing this change is that YAZ header files
1245 can be installed in "standard" locations /usr/include,/usr/local/include 
1246 without introducing conflicts, since ALL YAZ header files are stored
1247 in subdirectory yaz (under /usr/include for example).
1248
1249 Compilation of YAZ for WIN32 is now handled by an nmake-style makefile 
1250 rather than project/workspace files. We switched because project files
1251 are incompatible between Visual C++ 5 and 6. Refer to windows.txt for
1252 details.
1253
1254 Changed name of logging function, logf, to yaz_log, to prevent name
1255 clash with some math-log functions. The YAZ header log.h defines logf
1256 to yaz_log (#define) so there should be no incompatibilities by this
1257 modification.
1258
1259 Added bend_start/bend_stop handlers for server. These handler are
1260 called on start/stop of server. For windows they are called whenever
1261 a service is started/stopped.
1262
1263 * YAZ now auto-generates decoders/encoders for the Z39.50 protocol using
1264 a fairly small ASN.1 compiler written in Tcl. The compiler is located
1265 in util/yc.tcl. The auto-generated C code structures are, in a few
1266 cases, incompatible with the old decoders. There are differences in the
1267 following C structures Z_DiagRec, Z_External, Z_SortRequest, Z_SortResponse,
1268 Z_AttributesPlusTerm, Z_ProximityOperator, Z_DefaultDiagFormat.
1269 The preprocessor variable ASN_COMPILED is defined when the compiled
1270 ASN.1 is being used. Encoder/decoder routines as well as the Z39.50
1271 protocol ASN.1 is located sub directory <tt>z39.50</tt>. If you
1272 wish to use the old encoders/decoders you can specify --disable-yc
1273 for configure.
1274
1275 Assigned OID for old DB Update (VAL_DBUPDATE0). Updated YAZ compiled
1276 version so that it supports both new - and old version of DB Update
1277
1278 * Added 'name' parameter to ODR encoder/decoder routines to facilitate
1279 pretty ODR print. Updated whole Z39.50 encoder/decoder to reflect the
1280 change. The name parameter can be set to 0 in which no name is specified
1281 for the construction. The macros odr_implicit and odr_explicit sets name
1282 parameter to zero for the construction involved. New macros
1283 odr_implicit_tag and odr_explicit_tag are similar to the others,
1284 except that a name parameter is added. For programmers' that don't use
1285 ODR they probably only need to change the call to z_APDU and z_External.
1286
1287 Added access control facility by interfacing the TCP wrapper library.
1288 YAZ automatically attempts to find the TCP wrapper Library (-lwrap) and
1289 tcpd.h on Unix systems. For the server, option -d<daemon> specifies the
1290 name of the daemon and enables the access control as specified in
1291 hosts.allow/hosts.deny. Refer to man pages tcpd(8) and hosts_access(5).
1292
1293 Fixed memory leak in ccl_find_str and ccl_qual_rm. Thanks to Hans van
1294 den Dool <H.M.vdnDool@kub.nl>.
1295
1296 Added reference ID parameter to most functions in server API - refer
1297 to backend.h. Thanks to Hans van den Dool <H.M.vdnDool@kub.nl>.
1298
1299 Changed name of ccl library to libccl.a (was ccl.a).
1300
1301 Fixed bug in decoder for Explain (Category TargetInfo).
1302
1303 Added support for GNU readline in client. Thanks to Jacob Poulsen
1304 <ja7@dbc.dk>. GNU configure attempts to detect if readline is available.
1305
1306 * CHANGED DEFINITION OF ES: UPDATE (INCLUDING THE OID) to reflect the
1307 new definition from the ZIG. NOTE THIS IF YOU HAVE AN UPDATE
1308 IMPLEMENTATION! This change was made to the development version before
1309 the ZIG decided to retract the amendment. If any users MUST be
1310 compatible with the original Update definition, PLEASE CONTACT US, and
1311 we will include a separate definition corresponding to the old Update
1312 ES. Note that because of the change to the ASN.1 of the
1313 TaskPackageRecordStructure we cannot define a single structure that
1314 will support both versions.
1315
1316 * Added const modifier to buffer parameter for some ODR/BER encoding
1317 routines: ber_dectag, ber_declen, odp_more_chunks, completeBER,
1318 completeWAIS, odr_dumpBER.
1319
1320 Fixed bug in client.c which caused a crash when a scanResponse didn't
1321 contain positionOfTerm.
1322
1323 * Fixed inconsistency in the ScanResponse/ListEntries protocol. This
1324 * will cause an error in a client if a non-YAZ target sends both a
1325 * list of Scan entries and non-surrogate diagnostics.
1326
1327 Retrieval module enhancements. Tag sets may be typed in the reference
1328 to it. From the .abs-file the "tagset" directive takes a third optional
1329 integer type for the tag set referenced. From a .tag-file the "include"
1330 directive takes a third optional type as well. The old "type" directive
1331 in the tag set itself is still recognized but acts as the default type
1332 for the tag set.
1333
1334 Backend interface change. Individual Scan terms returned from bend_scan
1335 may also be tagged as Surrogate Diagnostics. Refer to struct scan_entry
1336 in include/backend.h.
1337
1338 Retrieval module enhancements. Multiple tag sets and attribute sets may
1339 be specified in abstract syntax specs. Revised the error/warning for
1340 logging messages reported by the retrieval module when reading the
1341 various spec files.
1342
1343 Object Identifier system (oid_..) changed. The API is backwards
1344 compatible but the oid-routines now allocates new OID's when needed.
1345 Raw OID's may be specified in oid_getvalbyname.
1346
1347 YAZ now uses GNU configure to generate Makefile(s).
1348
1349 * Minor changes in some of the member names of DeleteResultSetRequest and
1350 DeleteResultSetResponse. See include/proto.h.
1351
1352 * Changed some C definitions regarding EXPLAIN record syntax (prt-exp.h)
1353 and added member 'languages' in TargetInfo (which was missing).
1354
1355 Changed the way attribute sets are handled in the retrieval
1356 module. These are now cached, just like the abstract syntaxes
1357 (schemas).
1358
1359 Changed YAZ so that it links with compiled ASN.1.
1360
1361 Added Explain-schema definitions and mapping routines. The following
1362 Explain categories have been implemented: AttributeDetails,
1363 AttributeSetInfo, DatabaseInfo, CategoryList and TargetInfo.
1364
1365 Fixed minor bug in Windows version of Server Library.
1366
1367 --- 1.4pl2+ 1998/4/17 (Released with Zebra)
1368
1369 Added Extended Services to server (backend.h). Thanks to Charles Woodfield.
1370
1371 Added EXTERNAL: UNIverse Resource Report (non-standard).
1372
1373 Implemened odr_enum and odr_set_of functions to handle ASN.1 types
1374 ENUMERATED and SET OF.
1375
1376 * Added 'const' to some of the char pointer arguments for the
1377 functions, data1_read_node, data1_getelementbytagname,
1378 data1_insert_taggeddata, data1_getesetbyname, data1_getelementbyname,
1379 data1_get_absyn.
1380
1381 Fixed bug in data1_insert_taggeddata - the last_child member of
1382 parent wasn't initialised.
1383
1384 * Changed data1_read_record and data1_read_node so that the supplied
1385 "SGML"-buffer is read-only. In particular the resulting data1 - tree
1386 doesn't refer to any parts of the "SGML"-buffer.
1387
1388 Fixed bug in server library (Windows version of statserv_remove).
1389
1390 * Changed code so that it compiles as C++. The type definition
1391 of Odr_fun which is a member of Odr_arm was changed. The result is,
1392 that an explicit typecast is needed for the fun pointer when
1393 using Odr_arm - as in:
1394     {1, -1, -1, Z_IdAuthentication_idPass, (Odr_fun)z_IdPass},
1395
1396 Updated TagSet-G and -M definitions (tagsetm.tag and tagsetg.tag).
1397
1398 Implemented the new structured date and time definition as approved
1399 by the ZIG. Added schemaId element to the specificTag in Espec-1
1400 (also approved at the last ZIG). Thanks to RVDM.
1401
1402 Added some Object identifiers (RVDM).
1403
1404 Changed the Update Extended Service (RVDM).
1405
1406 Added command "refid" to client which specifies referenceId for
1407 the following requests.
1408
1409 Implemented extended service handling for server. See ztest.c
1410 for an example as well as backend.h. New handlers are registerd
1411 in the Init handler.
1412
1413 * Changed interface for sort in server.
1414
1415 Added new members to statserv_options_block. It allows a server
1416 to read options from another source than just the command line. Thanks
1417 to Charles Woodfield.
1418
1419 * Changed definition of Z_Triple in file prt-grs.h - member boolean
1420 renamed to zboolean. Some C++ compilers complained about the name.
1421
1422 Minor changes to gils.abs. Added index 's' (sort) on title
1423 and date/time-last-modified.
1424
1425 --- 1.4pl2 1998/1/30
1426
1427 Fixed bug in server library regarding inetd mode (-i). This bug
1428 was introduced by release 1.4.
1429
1430 --- 1.4pl1 1998/1/29
1431
1432 Added sort facility in client and backend server interface.
1433
1434 Fixed problem with dependencies in Makefile(s).
1435
1436 Fixed bugs for encoders/decoders of extended services and 
1437 SearchInfoReport.
1438
1439 Implemented sub-tree feature for schemas. Sub-trees are
1440 referenced in *.abs-files. See explain.abs for an example
1441 of the use of this feature.
1442
1443 Modified bib1.att; local attributes for ANY didn't include
1444 ANY itself (only affects use of the retrieval module).
1445
1446 Fixed bug in plain SGML reader in function data1_read_node:
1447 tags with prefix "var" was incorrectly interpreted as variants.
1448
1449 Added feature "sub-schemas" to enable references to - and definitions
1450 of - group of elements.
1451
1452 * Removed member parent from type data1_element (in data1.h).
1453
1454 Implemented function odr_nullval() that returns the value of
1455 ODR_NULLVAL.
1456
1457 * Removed member num_children from data1_node (in data1.h).
1458
1459 Made NT service interface part of the server library. The
1460 function statserv_main uses the NT service when required and
1461 calls the statserv_start / statserv_close routines.
1462
1463 Routine zget_SearchRequest and zget_PresentRequest fills
1464 resultSetName/Id member with "default" instead of "Default".
1465
1466 Fixed memory leak in server. Request queue member wasn't freed.
1467
1468 Fixed nmem_exit so that memory is freed.
1469
1470 --- 1.4 1997/10/2
1471
1472 Revised the CCL parser utility to be thread safe.
1473
1474 Added function, oid_ent_to_oid, to replace the function 
1475 oid_getoidbyent, which is not thread safe.
1476
1477 * Added nmem_init and nmem_exit to initialize and release
1478 NMEM resources. Function nmem_init should be called once in the
1479 initial thread before NMEM/ODR is used. statserv.c and client.c
1480 have been changed accordingly. The change was necessary to make
1481 NMEM thread safe. The NMEM memory pool is shared amongst threads
1482 in a process. Unix-based applications will still work fine without
1483 calling this.
1484
1485 Added NT Services interface for the the Z39.50 (statserv) Server. 
1486 Refer to the ztest.c source on the usage.
1487
1488 Windows 95/NT port using MSVC5.0. Project files are included in the
1489 distribution.
1490
1491 * Defined new 'global' handle for the retrieval (data1) system. The
1492 new handled, data1_handle, describes the state of the data1 system.
1493 This handle is passed as first argument to virtually all
1494 data1 related routines. The functions data1_create and data1_destroy
1495 creates and destroys a data1 handle respectively.
1496
1497 Added ODR encode stream member to all backend request structures
1498 init, search, scan etc. This stream should be used to allocate all
1499 memory used for the response when thread safe operation is needed.
1500
1501 Changed the comstack utility, cs_addstr, to be thread safe. The
1502 returned hostname string returned by the function is now part the
1503 COMSTACK instance.
1504
1505 Added comstack utility, cs_straddr, which replaces the tcpip_strtoaddr
1506 function. The cs_straddr takes a COMSTACK handle as argument, so this
1507 function must be used after cs_create and before bind/connect.
1508 This function is thread safe.
1509
1510 Moved test server to 'ztest' directory - generic server code still
1511 in 'server' directory.
1512
1513 Made prefix query (pquery.c) utility thread safe.
1514
1515 Added new function modifier YAZ_EXPORT to 'export' public DLL
1516 functions when using windows (see include/yconfig.h).
1517
1518 Added definitions to the OID database (util/oid.c) (RVDM).
1519
1520 Added new BIB-1 diagnostic messages to the handler diagbib1_str.
1521
1522 Added call to ccl_rpn_delete in client program.
1523
1524 Added ODR argument to ccl_rpn_query and ccl_scan_query to provide
1525 release of RPN structure.
1526
1527 Added support for C++, headers uses extern "C" for public definitions.
1528 With input from RVDM.
1529
1530 In handling of SEQUENCE OF: Counter set to zero when SEQUENCE OF is absent.
1531 Thanks to Ronald van der Meer (RVDM).
1532
1533 Added initializers (zget_ routines) for a number of PDUs. Thanks to RVDM.
1534
1535 Added support for private extensions to the OID database
1536 (oid_setprivateoids()). Thanks to RVDM.
1537     
1538 Added optional, physical ANY (key replication)
1539
1540 Fixed null-reference problem in GRS-1 output filter.
1541
1542 Proximity operator added to Prefix Query Format (PQF).
1543
1544 In test client command "base" accepts multiple databases.
1545
1546 Fixed bug in cs_close stack that caused trouble with WINSOCK.
1547
1548 --- 1.3 1996/10/11
1549
1550 Fixed tagging bug in ResourceReportResponse PDU encoder/decode.
1551
1552 Smallish bug-fixes in the new encoders/decoders (explain).
1553
1554 Bug fixed in DeleteRequest.
1555
1556 Fixed tagging bug of type 101 query in SearchRequest-Query PDU encoder/decoder.
1557
1558 Fixed tagging bug in ResourceReportResponse PDU encoder/decode.
1559
1560 Added SOIF syntax (using private OID for now) to retrieval module and client.
1561
1562 Added Update extended service.
1563
1564 Added SearchResult-1 additional info structure.
1565
1566 Added optional CCL (ISO8777) interpreter as separate module. Available
1567 in linemode client.
1568
1569 --- 1.2 1996/6/10 (1st anniversary release)
1570
1571 Added Summary record syntax. Lightly tested.
1572
1573 Added OPAC record syntax. Untested.
1574
1575 Added ResourceReport service encoders/decoders. Untested.
1576
1577 Fixed bug in z_Unit - wrong tagging on unitSystem.
1578
1579 Fixed bug in the DiagRecs decoder.
1580
1581 Added options for max PDU size and session timeout to frontend-server.
1582
1583 Added documentation of query-language parsers and other supporting utilities.
1584
1585 [frontend-server] Added Attribute set to the bend_scanrequest API.
1586
1587 [frontend-server] NextResultSetPosition was sometimes set incorrectly when
1588 surrogate diagnostics were generated.
1589
1590 [retrieval] Allow multiple local values for attribute.
1591
1592 [retrieval] Allow multiple attributes per element in .abs files. index type.
1593
1594 [retrieval] Added Summary tagset, abstract syntax, and d1-node/ASN filter.
1595
1596 --- 1.1pl2  1996/4/10
1597
1598 Minor changes, mostly specific to Zebra's requirements (retrieval)
1599
1600 --- 1.1  1996/2/20
1601
1602 Repaired bug in frontend server when running multiple listening
1603 endpoints in dynamic mode.
1604
1605 z_External() now won't break if a known, ASN.1 value comes encapsulated
1606 in an octet-string. The value will pass through unmodified in an Odr_oct.
1607
1608 Added a bit of code to the demo client to decode & display
1609 ASN.1-structured records represented in the octet-aligned branch of
1610 the EXTERNAL CHOICE. Thanks to CAS for prodding us to finally do this.
1611
1612 Added z_ext_getentbyref() to the ASN module. Doc updated.
1613
1614 * Completed the SCAN definition in the ASN module. This may break SCAN
1615 code based on older YAZ-versions at compile-time. The fix is easy -
1616 look in proto.h.
1617
1618 * Added 'displayTerm' and OtherInformation to the TermInfo structure
1619 under the SCAN definition. Remember to initialize this, server-people.
1620
1621 Comstack should now support the WAIS protocol in TCP/IP mode. Note
1622 that this does not extend to ODR and ASN.
1623
1624 Comstack allows insertion of established socket (primarily for
1625 inetd-operation of servers). Doc updated.
1626
1627 Front-end server can now start from the inetd in TCP mode. Doc
1628 updated.
1629
1630 --- 1.0pl4 1996/1/24
1631
1632 Added Sort PDU.
1633
1634 Fixed small problem in SUTRS-filter. A newline was sometimes inserted before
1635 the rank and record number.
1636
1637 Adjustments to the frontend server.
1638
1639 Fixed diagnostic BER dumper. It ignored the file argument.
1640
1641 --- 1.0pl3 1996/1/2
1642
1643 Various changes to retrieval module.
1644
1645 Changed the union discriminators of the protocol files from enums to
1646 ints paired with #defines.
1647
1648 *Changed oident.class to oident.oclass to avoid a reserved word in C++
1649  compilers.
1650
1651 *Changed operator in the RPN structure to 'roperator', again to avoid a
1652  conflict with C++.
1653
1654 Fixed problems in Explain decoders/encoders.
1655
1656 --- 1.0pl2 1995/12/6
1657
1658 Memory bug in log module fixed.
1659
1660 --- 1.0pl1 1995/12/5
1661
1662 Occasional malloc() of 0 bytes fixed in d1_espec.c.
1663
1664 Bug in Explain DatabaseInfo module fixed.
1665
1666 Some '\r' snuck into one or two of the ret'l config tables. A curse on Windows.
1667
1668 --- 1.0 1995/11/28
1669
1670 The shift to v1.0 signals that we now consider the *core* functionality
1671 of YAZ reasonably stable (the core being more or less equivalent to
1672 Z39.50-1992). Some of the really nifty v3 stuff is still not heavily
1673 tested (Explain not at all - though that will happen soonish).
1674
1675 Minor changes to code to support Windows port.
1676
1677 Various minor changes after we're getting to use GRS-1 & co. more.
1678
1679 Added Espec-1 format.
1680
1681 Added VisibleString field body type to GRS-1. It is illegal acc. to my copy
1682 of the protocol and it cannot be selected when encoding (maps into 'string'
1683 when decoding). Needed to talk to some servers.
1684
1685 Demo client can request simple element set names.
1686
1687 Added Diagnostic Format encoders/decoders.
1688
1689 Added simple Close handling to frontend server (no hooks for resource
1690 reporting yet), and demonstration client.
1691
1692 Added cs_addrstr() command to COMSTACK to retrieve peer hostname/address.
1693
1694 --- 1.0b3 1995/08/24
1695
1696 Fixed bug in the frontend-server. The numberOfRecordsReturned field was
1697 handled incorrectly when records were requested in the searchResponse. This
1698 will only affect you if you use the frontend-server.
1699
1700 Added GRS-1 encoders/decoders to the service-level API. Lightly tested.
1701 Test-client will ask for and print GRS1. Ztest will return dummy records
1702 on request.
1703
1704 Added Explain encoders/decoders to the service-level API. Untested.
1705
1706 Added Extended Services: Item Order encoders and decoders to the Service-
1707 level API. Untested. We could use a recent copy of the pertinent bits
1708 of the ILL protocol to add those bits.
1709
1710 Added diagnostic format 1 encoders/decoders to the service-level API.
1711 Untested.
1712
1713 Moved pretty-printing of structure-wrappers ({..}) from odr_seq.c to
1714 odr_cons.c, which causes a more correct output.
1715
1716 Fixed handling of searchRequest in frontend server. NextResultSetPosition
1717 was always set to 0 when no records were requested in the searchRequest.
1718
1719 * Added better external-handling. This shouldn't harm old code that
1720 *encodes* externals. It can break code that looks for a
1721 'single-ASN1-type' representation, since those types that are known
1722 are now decoded immediately. Look at the SUTRS sample code in
1723 seshigh.c and client.c. Documentation updated.
1724
1725 Handling of structured records in bend_fetchresponse. Length -1 marks
1726 structured record, type is deduced from format field.
1727
1728 --- 1.0b2 1995/06/27
1729 Fairly quick maintenance release to add SUTRS support.
1730
1731 Fixed handling of SUTRS records in the demonstration client.
1732
1733 * Added format field to the bend_fetchrequest and bend_fetchresponce
1734 structures of the backend API (frontend server). When the record is
1735 returned, the value of the format field is mapped to an OID. The
1736 value VAL_SUTRS will also cause a slightly different ASN.1 packaging
1737 of the record. The special value VAL_NONE in the bend_request means
1738 that no specific format was requested by the client. Documentation
1739 updated accordingly. Test server (ztest) will return a fixed dummy
1740 SUTRS record if your client requests SUTRS.
1741
1742 Documentation updated accordingly.
1743
1744 You can now set external libraries and RANLIB support in the top-level
1745 Makefile.
1746
1747 --- 1.0b 1995/06/19
1748 First public release.