When error is returned from present handler, non-surrogate diagnostic
[yaz-moved-to-github.git] / CHANGELOG
1 Possible compatibility problems with earlier versions marked with '*'.
2
3 When error is returned from present handler, non-surrogate diagnostic
4 is returned in present response (and fetch handler is no longer called).
5
6 * Minor adjustments to pquery parser (PQF). Token characters may be
7 escaped by using backslash (C-style).
8
9 PQF parser allows string attribute values to be specified. For @attr,
10 non-numeric characters after the equal-sign are treated as strings
11 (e.g. @attr 9=title).
12
13 CCL trunction character may be defined (@truncation in file)
14
15 * function zget_ExtendedServicesRequest sets waitAction to
16   waitIfPossible (was wait).
17
18 Added cs_set_blocking to set change blocking mode of a COMSTACK. Thanks
19 to Matthew Carey.
20
21 CCL operator names may be set in field definition files (CCL_bibset).
22 See ccl/bib1 for an example.
23
24 Fixes in ASN.1 compiler for C++ compatibility.
25
26 * Renamed members "and" and "or" in struct Z_Operator to "op_and"
27 and "op_or" to avoid conflict with C++.
28
29 Fixed problem with GNU readline detection on Redhat 7.0.
30
31 Added step-size for Scan backend handler.
32
33 Fixed bug that made the frontend server crash when no attribute
34 set was specified for scan.
35
36 Front-end server automatically switches to original working directory
37 when installed as an NT service. Previously -w had to be specified to
38 make it work.
39
40 Added extended attributes for retrieval module (data1), so that data1
41 records carry d1_readXML/SGML attributes. d1_read also supports
42 null-data rules ( <tag/>)
43
44 On UNIX when POSIX threads are available, a separate library libyazthread
45 is created. Programmers should link with that library and the yaz library
46 when using threads. The reason for the split was that some applications
47 on Linux, such as Apache, doesn't work well when using shared objects that
48 relies on threads.
49
50 Added SSL support for the COMSTACK. You start yaz-client and yaz-ztest
51 (or any frontend server) in SSL mode by specifying ssl: followed by
52 address. Only tested on UNIX.
53
54 Added feature for CCL module. Virtual structure s=al or s=ol generates
55 and-list and or-list respectively instead of phrase search.
56
57 Added some OID's.
58
59 * Added prefix "yaz_" for the functions log_init.., log_file..  and
60 log_mask_str. This was done to avoid name conflicts with other libraries
61 (such as other PHP extensions).
62
63 Added raw OID member for preferred record syntax (request_format_raw)
64 and returned record syntax (output_format_raw) for backend fetch method.
65
66 Config file yaz-config now accepts options so that it returns specific
67 compile settings, etc. Thanks to Morten B√łgeskov <morten@bogeskov.dk>
68
69 Shared library support for UNIX using GNU libtool.
70
71 * Modified backend interface. Request/Response struct's replaced by
72 one read/write C struct. For example bend_fetchrequest and
73 bend_fetchresult have been replaced by single bend_fetch_rr struct.
74 Every handler - even search has to be registered in bend_init
75 handler. This means that the YAZ library no longer refers to
76 external functions and it makes it possible to make the whole
77 thing a single DLL/SO.
78
79 Added Segment handler for backend server.
80
81 Added Zmbol/Zebra administrative functions to YAZ client.
82
83 Threaded frontend server on UNIX (when POSIX Threads are available).
84 Starting the server with option -T enables multi-threading.
85
86 --- 1.6 2000/03/03
87
88 Added configure option --enable-comp/disable-comp to control use
89 of YAZ ASN.1 compiler. Use --disable-comp to use the old *coders
90 located in sub directory asn.
91
92 YAZ ASN.1 compiler renamed to yaz-comp in sub directory. It's installed
93 in ${exec_prefix}/bin along with the other programs yaz-client and
94 yaz-ztest.
95
96 GNU automake used to maintain makefiles.
97
98 Added several OID's.
99
100 Changed retrieval module so that we can load records with no abstract
101 syntax defined. Tagpaths in these records are fully composed of string
102 tags.
103
104 Implemented ISO ILL protocol. Refer to stuff in sub directory ill.
105
106 --- 1.5 1999/12/10
107
108 On UNIX, the generated makefile now supports a proper 'make install'.
109 The prefix can be set via GNU configure to set the install location
110 (default is /usr/local).
111
112 * YAZ programs client and ztest were renamed to yaz-client and
113 yaz-ztest to avoid conflicts when users install YAZ in "standard"
114 locations, such as /usr/bin,/usr/local/bin,etc.
115
116 * YAZ Header files were moved from include to include/yaz. YAZ Header
117 files are referred to as include <yaz/log.h> rather than <log.h>.
118 The YAZ include path (-I ..) is therefore the same as before. Programmers
119 should update their #include statements or use -Ipath/include/yaz
120 instead. The main motivation for doing this change is that YAZ header files
121 can be installed in "standard" locations /usr/include,/usr/local/include 
122 without introducing conflicts, since ALL YAZ header files are stored
123 in subdirectory yaz (under /usr/include for example).
124
125 Compilation of YAZ for WIN32 is now handled by an nmake-style makefile 
126 rather than project/workspace files. We switched because project files
127 are incompatible between Visual C++ 5 and 6. Refer to windows.txt for
128 details.
129
130 Changed name of logging function, logf, to yaz_log, to prevent name
131 clash with some math-log functions. The YAZ header log.h defines logf
132 to yaz_log (#define) so there should be no incompatibilities by this
133 modification.
134
135 Added bend_start/bend_stop handlers for server. These handler are
136 called on start/stop of server. For windows they are called whenever
137 a service is started/stopped.
138
139 * YAZ now auto-generates decoders/encoders for the Z39.50 protocol using
140 a fairly small ASN.1 compiler written in Tcl. The compiler is located
141 in util/yc.tcl. The auto-generated C code structures are, in a few
142 cases, incompatible with the old decoders. There are differences in the
143 following C structures Z_DiagRec, Z_External, Z_SortRequest, Z_SortResponse,
144 Z_AttributesPlusTerm, Z_ProximityOperator, Z_DefaultDiagFormat.
145 The preprocessor variable ASN_COMPILED is defined when the compiled
146 ASN.1 is being used. Encoder/decoder routines as well as the Z39.50
147 protocol ASN.1 is located sub directory <tt>z39.50</tt>. If you
148 wish to use the old encoders/decoders you can specify --disable-yc
149 for configure.
150
151 Assigned OID for old DB Update (VAL_DBUPDATE0). Updated YAZ compiled
152 version so that it supports both new - and old version of DB Update
153
154 * Added 'name' parameter to ODR encoder/decoder routines to facilitate
155 pretty ODR print. Updated whole Z39.50 encoder/decoder to reflect the
156 change. The name parameter can be set to 0 in which no name is specified
157 for the construction. The macros odr_implicit and odr_explicit sets name
158 parameter to zero for the construction involved. New macros
159 odr_implicit_tag and odr_explicit_tag are similar to the others,
160 except that a name parameter is added. For programmers' that don't use
161 ODR they probably only need to change the call to z_APDU and z_External.
162
163 Added access control facility by interfacing the TCP wrapper library.
164 YAZ automatically attempts to find the TCP wrapper Library (-lwrap) and
165 tcpd.h on Unix systems. For the server, option -d<daemon> specifies the
166 name of the daemon and enables the access control as specified in
167 hosts.allow/hosts.deny. Refer to man pages tcpd(8) and hosts_access(5).
168
169 Fixed memory leak in ccl_find_str and ccl_qual_rm. Thanks to Hans van
170 den Dool <H.M.vdnDool@kub.nl>.
171
172 Added reference ID parameter to most functions in server API - refer
173 to backend.h. Thanks to Hans van den Dool <H.M.vdnDool@kub.nl>.
174
175 Changed name of ccl library to libccl.a (was ccl.a).
176
177 Fixed bug in decoder for Explain (Category TargetInfo).
178
179 Added support for GNU readline in client. Thanks to Jacob Poulsen
180 <ja7@dbc.dk>. GNU configure attempts to detect if readline is available.
181
182 * CHANGED DEFINITION OF ES: UPDATE (INCLUDING THE OID) to reflect the
183 new definition from the ZIG. NOTE THIS IF YOU HAVE AN UPDATE
184 IMPLEMENTATION! This change was made to the development version before
185 the ZIG decided to retract the amendment. If any users MUST be
186 compatible with the original Update definition, PLEASE CONTACT US, and
187 we will include a separate definition corresponding to the old Update
188 ES. Note that because of the change to the ASN.1 of the
189 TaskPackageRecordStructure we cannot define a single structure that
190 will support both versions.
191
192 * Added const modifier to buffer parameter for some ODR/BER encoding
193 routines: ber_dectag, ber_declen, odp_more_chunks, completeBER,
194 completeWAIS, odr_dumpBER.
195
196 Fixed bug in client.c which caused a crash when a scanResponse didn't
197 contain positionOfTerm.
198
199 * Fixed inconsistency in the ScanResponse/ListEntries protocol. This
200 * will cause an error in a client if a non-YAZ target sends both a
201 * list of Scan entries and non-surrogate diagnostics.
202
203 Retrieval module enhancements. Tag sets may be typed in the reference
204 to it. From the .abs-file the "tagset" directive takes a third optional
205 integer type for the tag set referenced. From a .tag-file the "include"
206 directive takes a third optional type as well. The old "type" directive
207 in the tag set itself is still recognized but acts as the default type
208 for the tag set.
209
210 Backend interface change. Individual Scan terms returned from bend_scan
211 may also be tagged as Surrogate Diagnostics. Refer to struct scan_entry
212 in include/backend.h.
213
214 Retrieval module enhancements. Multiple tag sets and attribute sets may
215 be specified in abstract syntax specs. Revised the error/warning for
216 logging messages reported by the retrieval module when reading the
217 various spec files.
218
219 Object Identifier system (oid_..) changed. The API is backwards
220 compatible but the oid-routines now allocates new OID's when needed.
221 Raw OID's may be specified in oid_getvalbyname.
222
223 YAZ now uses GNU configure to generate Makefile(s).
224
225 * Minor changes in some of the member names of DeleteResultSetRequest and
226 DeleteResultSetResponse. See include/proto.h.
227
228 * Changed some C definitions regarding EXPLAIN record syntax (prt-exp.h)
229 and added member 'languages' in TargetInfo (which was missing).
230
231 Changed the way attribute sets are handled in the retrieval
232 module. These are now cached, just like the abstract syntaxes
233 (schemas).
234
235 Changed YAZ so that it links with compiled ASN.1.
236
237 Added Explain-schema definitions and mapping routines. The following
238 Explain categories have been implemented: AttributeDetails,
239 AttributeSetInfo, DatabaseInfo, CategoryList and TargetInfo.
240
241 Fixed minor bug in Windows version of Server Library.
242
243 --- 1.4pl2+ 1998/4/17 (Released with Zebra)
244
245 Added Extended Services to server (backend.h). Thanks to Charles Woodfield.
246
247 Added EXTERNAL: UNIverse Resource Report (non-standard).
248
249 Implemened odr_enum and odr_set_of functions to handle ASN.1 types
250 ENUMERATED and SET OF.
251
252 * Added 'const' to some of the char pointer arguments for the
253 functions, data1_read_node, data1_getelementbytagname,
254 data1_insert_taggeddata, data1_getesetbyname, data1_getelementbyname,
255 data1_get_absyn.
256
257 Fixed bug in data1_insert_taggeddata - the last_child member of
258 parent wasn't initialised.
259
260 * Changed data1_read_record and data1_read_node so that the supplied
261 "SGML"-buffer is read-only. In particular the resulting data1 - tree
262 doesn't refer to any parts of the "SGML"-buffer.
263
264 Fixed bug in server library (Windows version of statserv_remove).
265
266 * Changed code so that it compiles as C++. The type definition
267 of Odr_fun which is a member of Odr_arm was changed. The result is,
268 that an explicit typecast is needed for the fun pointer when
269 using Odr_arm - as in:
270     {1, -1, -1, Z_IdAuthentication_idPass, (Odr_fun)z_IdPass},
271
272 Updated TagSet-G and -M definitions (tagsetm.tag and tagsetg.tag).
273
274 Implemented the new structured date and time definition as approved
275 by the ZIG. Added schemaId element to the specificTag in Espec-1
276 (also approved at the last ZIG). Thanks to RVDM.
277
278 Added some Object identifiers (RVDM).
279
280 Changed the Update Extended Service (RVDM).
281
282 Added command "refid" to client which specifies referenceId for
283 the following requests.
284
285 Implemented extended service handling for server. See ztest.c
286 for an example as well as backend.h. New handlers are registerd
287 in the Init handler.
288
289 * Changed interface for sort in server.
290
291 Added new members to statserv_options_block. It allows a server
292 to read options from another source than just the command line. Thanks
293 to Charles Woodfield.
294
295 * Changed definition of Z_Triple in file prt-grs.h - member boolean
296 renamed to zboolean. Some C++ compilers complained about the name.
297
298 Minor changes to gils.abs. Added index 's' (sort) on title
299 and date/time-last-modified.
300
301 --- 1.4pl2 1998/1/30
302
303 Fixed bug in server library regarding inetd mode (-i). This bug
304 was introduced by release 1.4.
305
306 --- 1.4pl1 1998/1/29
307
308 Added sort facility in client and backend server interface.
309
310 Fixed problem with dependencies in Makefile(s).
311
312 Fixed bugs for encoders/decoders of extended services and 
313 SearchInfoReport.
314
315 Implemented sub-tree feature for schemas. Sub-trees are
316 referenced in *.abs-files. See explain.abs for an example
317 of the use of this feature.
318
319 Modified bib1.att; local attributes for ANY didn't include
320 ANY itself (only affects use of the retrieval module).
321
322 Fixed bug in plain SGML reader in function data1_read_node:
323 tags with prefix "var" was incorrectly interpreted as variants.
324
325 Added feature "sub-schemas" to enable references to - and definitions
326 of - group of elements.
327
328 * Removed member parent from type data1_element (in data1.h).
329
330 Implemented function odr_nullval() that returns the value of
331 ODR_NULLVAL.
332
333 * Removed member num_children from data1_node (in data1.h).
334
335 Made NT service interface part of the server library. The
336 function statserv_main uses the NT service when required and
337 calls the statserv_start / statserv_close routines.
338
339 Routine zget_SearchRequest and zget_PresentRequest fills
340 resultSetName/Id member with "default" instead of "Default".
341
342 Fixed memory leak in server. Request queue member wasn't freed.
343
344 Fixed nmem_exit so that memory is freed.
345
346 --- 1.4 1997/10/2
347
348 Revised the CCL parser utility to be thread safe.
349
350 Added function, oid_ent_to_oid, to replace the function 
351 oid_getoidbyent, which is not thread safe.
352
353 * Added nmem_init and nmem_exit to initialize and release
354 NMEM resources. Function nmem_init should be called once in the
355 initial thread before NMEM/ODR is used. statserv.c and client.c
356 have been changed accordingly. The change was necessary to make
357 NMEM thread safe. The NMEM memory pool is shared amongst threads
358 in a process. Unix-based applications will still work fine without
359 calling this.
360
361 Added NT Services interface for the the Z39.50 (statserv) Server. 
362 Refer to the ztest.c source on the usage.
363
364 Windows 95/NT port using MSVC5.0. Project files are included in the
365 distribution.
366
367 * Defined new 'global' handle for the retrieval (data1) system. The
368 new handled, data1_handle, describes the state of the data1 system.
369 This handle is passed as first argument to virtually all
370 data1 related routines. The functions data1_create and data1_destroy
371 creates and destroys a data1 handle respectively.
372
373 Added ODR encode stream member to all backend request structures
374 init, search, scan etc. This stream should be used to allocate all
375 memory used for the response when thread safe operation is needed.
376
377 Changed the comstack utility, cs_addstr, to be thread safe. The
378 returned hostname string returned by the function is now part the
379 COMSTACK instance.
380
381 Added comstack utility, cs_straddr, which replaces the tcpip_strtoaddr
382 function. The cs_straddr takes a COMSTACK handle as argument, so this
383 function must be used after cs_create and before bind/connect.
384 This function is thread safe.
385
386 Moved test server to 'ztest' directory - generic server code still
387 in 'server' directory.
388
389 Made prefix query (pquery.c) utility thread safe.
390
391 Added new function modifier YAZ_EXPORT to 'export' public DLL
392 functions when using windows (see include/yconfig.h).
393
394 Added definitions to the OID database (util/oid.c) (RVDM).
395
396 Added new BIB-1 diagnostic messages to the handler diagbib1_str.
397
398 Added call to ccl_rpn_delete in client program.
399
400 Added ODR argument to ccl_rpn_query and ccl_scan_query to provide
401 release of RPN structure.
402
403 Added support for C++, headers uses extern "C" for public definitions.
404 With input from RVDM.
405
406 In handling of SEQUENCE OF: Counter set to zero when SEQUENCE OF is absent.
407 Thanks to Ronald van der Meer (RVDM).
408
409 Added initializers (zget_ routines) for a number of PDUs. Thanks to RVDM.
410
411 Added support for private extensions to the OID database
412 (oid_setprivateoids()). Thanks to RVDM.
413     
414 Added optional, physical ANY (key replication)
415
416 Fixed null-reference problem in GRS-1 output filter.
417
418 Proximity operator added to Prefix Query Format (PQF).
419
420 In test client command "base" accepts multiple databases.
421
422 Fixed bug in cs_close stack that caused trouble with WINSOCK.
423
424 --- 1.3 1996/10/11
425
426 Fixed tagging bug in ResourceReportResponse PDU encoder/decode.
427
428 Smallish bug-fixes in the new encoders/decoders (explain).
429
430 Bug fixed in DeleteRequest.
431
432 Fixed tagging bug of type 101 query in SearchRequest-Query PDU encoder/decoder.
433
434 Fixed tagging bug in ResourceReportResponse PDU encoder/decode.
435
436 Added SOIF syntax (using private OID for now) to retrieval module and client.
437
438 Added Update extended service.
439
440 Added SearchResult-1 additional info structure.
441
442 Added optional CCL (ISO8777) interpreter as separate module. Available
443 in linemode client.
444
445 --- 1.2 1996/6/10 (1st anniversary release)
446
447 Added Summary record syntax. Lightly tested.
448
449 Added OPAC record syntax. Untested.
450
451 Added ResourceReport service encoders/decoders. Untested.
452
453 Fixed bug in z_Unit - wrong tagging on unitSystem.
454
455 Fixed bug in the DiagRecs decoder.
456
457 Added options for max PDU size and session timeout to frontend-server.
458
459 Added documentation of query-language parsers and other supporting utilities.
460
461 [frontend-server] Added Attribute set to the bend_scanrequest API.
462
463 [frontend-server] NextResultSetPosition was sometimes set incorrectly when
464 surrogate diagnostics were generated.
465
466 [retrieval] Allow multiple local values for attribute.
467
468 [retrieval] Allow multiple attributes per element in .abs files. index type.
469
470 [retrieval] Added Summary tagset, abstract syntax, and d1-node/ASN filter.
471
472 --- 1.1pl2  1996/4/10
473
474 Minor changes, mostly specific to Zebra's requirements (retrieval)
475
476 --- 1.1  1996/2/20
477
478 Repaired bug in frontend server when running multiple listening
479 endpoints in dynamic mode.
480
481 z_External() now won't break if a known, ASN.1 value comes encapsulated
482 in an octet-string. The value will pass through unmodified in an Odr_oct.
483
484 Added a bit of code to the demo client to decode & display
485 ASN.1-structured records represented in the octet-aligned branch of
486 the EXTERNAL CHOICE. Thanks to CAS for prodding us to finally do this.
487
488 Added z_ext_getentbyref() to the ASN module. Doc updated.
489
490 * Completed the SCAN definition in the ASN module. This may break SCAN
491 code based on older YAZ-versions at compile-time. The fix is easy -
492 look in proto.h.
493
494 * Added 'displayTerm' and OtherInformation to the TermInfo structure
495 under the SCAN definition. Remember to initialize this, server-people.
496
497 Comstack should now support the WAIS protocol in TCP/IP mode. Note
498 that this does not extend to ODR and ASN.
499
500 Comstack allows insertion of established socket (primarily for
501 inetd-operation of servers). Doc updated.
502
503 Front-end server can now start from the inetd in TCP mode. Doc
504 updated.
505
506 --- 1.0pl4 1996/1/24
507
508 Added Sort PDU.
509
510 Fixed small problem in SUTRS-filter. A newline was sometimes inserted before
511 the rank and record number.
512
513 Adjustments to the frontend server.
514
515 Fixed diagnostic BER dumper. It ignored the file argument.
516
517 --- 1.0pl3 1996/1/2
518
519 Various changes to retrieval module.
520
521 Changed the union discriminators of the protocol files from enums to
522 ints paired with #defines.
523
524 *Changed oident.class to oident.oclass to avoid a reserved word in C++
525  compilers.
526
527 *Changed operator in the RPN structure to 'roperator', again to avoid a
528  conflict with C++.
529
530 Fixed problems in Explain decoders/encoders.
531
532 --- 1.0pl2 1995/12/6
533
534 Memory bug in log module fixed.
535
536 --- 1.0pl1 1995/12/5
537
538 Occasional malloc() of 0 bytes fixed in d1_espec.c.
539
540 Bug in Explain DatabaseInfo module fixed.
541
542 Some '\r' snuck into one or two of the ret'l config tables. A curse on Windows.
543
544 --- 1.0 1995/11/28
545
546 The shift to v1.0 signals that we now consider the *core* functionality
547 of YAZ reasonably stable (the core being more or less equivalent to
548 Z39.50-1992). Some of the really nifty v3 stuff is still not heavily
549 tested (Explain not at all - though that will happen soonish).
550
551 Minor changes to code to support Windows port.
552
553 Various minor changes after we're getting to use GRS-1 & co. more.
554
555 Added Espec-1 format.
556
557 Added VisibleString field body type to GRS-1. It is illegal acc. to my copy
558 of the protocol and it cannot be selected when encoding (maps into 'string'
559 when decoding). Needed to talk to some servers.
560
561 Demo client can request simple element set names.
562
563 Added Diagnostic Format encoders/decoders.
564
565 Added simple Close handling to frontend server (no hooks for resource
566 reporting yet), and demonstration client.
567
568 Added cs_addrstr() command to COMSTACK to retrieve peer hostname/address.
569
570 --- 1.0b3 1995/08/24
571
572 Fixed bug in the frontend-server. The numberOfRecordsReturned field was
573 handled incorrectly when records were requested in the searchResponse. This
574 will only affect you if you use the frontend-server.
575
576 Added GRS-1 encoders/decoders to the service-level API. Lightly tested.
577 Test-client will ask for and print GRS1. Ztest will return dummy records
578 on request.
579
580 Added Explain encoders/decoders to the service-level API. Untested.
581
582 Added Extended Services: Item Order encoders and decoders to the Service-
583 level API. Untested. We could use a recent copy of the pertinent bits
584 of the ILL protocol to add those bits.
585
586 Added diagnostic format 1 encoders/decoders to the service-level API.
587 Untested.
588
589 Moved pretty-printing of structure-wrappers ({..}) from odr_seq.c to
590 odr_cons.c, which causes a more correct output.
591
592 Fixed handling of searchRequest in frontend server. NextResultSetPosition
593 was always set to 0 when no records were requested in the searchRequest.
594
595 * Added better external-handling. This shouldn't harm old code that
596 *encodes* externals. It can break code that looks for a
597 'single-ASN1-type' representation, since those types that are known
598 are now decoded immediately. Look at the SUTRS sample code in
599 seshigh.c and client.c. Documentation updated.
600
601 Handling of structured records in bend_fetchresponse. Length -1 marks
602 structured record, type is deduced from format field.
603
604 --- 1.0b2 1995/06/27
605 Fairly quick maintenance release to add SUTRS support.
606
607 Fixed handling of SUTRS records in the demonstration client.
608
609 * Added format field to the bend_fetchrequest and bend_fetchresponce
610 structures of the backend API (frontend server). When the record is
611 returned, the value of the format field is mapped to an OID. The
612 value VAL_SUTRS will also cause a slightly different ASN.1 packaging
613 of the record. The special value VAL_NONE in the bend_request means
614 that no specific format was requested by the client. Documentation
615 updated accordingly. Test server (ztest) will return a fixed dummy
616 SUTRS record if your client requests SUTRS.
617
618 Documentation updated accordingly.
619
620 You can now set external libraries and RANLIB support in the top-level
621 Makefile.
622
623 --- 1.0b 1995/06/19
624 First public release.