Fixed problem with stack overflow for very nested records.
[yaz-moved-to-github.git] / CHANGELOG
1 Possible compatibility problems with earlier versions marked with '*'.
2
3 Fixes in ASN.1 compiler for C++ compatibility.
4
5 * Changed member names "and", "or" and "and_not" in struct Z_Operator
6 to "op_and", "op_or" and "op_and_not" to avoid conflict with C++.
7
8 Fixed problem with GNU readline detection on Redhat 7.0.
9
10 Added step-size for Scan backend handler.
11
12 Fixed bug that made the frontend server crash when no attribute
13 set was specified for scan.
14
15 Front-end server automatically switches to original working directory
16 when installed as an NT service. Previously -w had to be specified to
17 make it work.
18
19 Added extended attributes for retrieval module (data1), so that data1
20 records carry d1_readXML/SGML attributes. d1_read also supports
21 null-data rules ( <tag/>)
22
23 On UNIX when POSIX threads are available, a separate library libyazthread
24 is created. Programmers should link with that library and the yaz library
25 when using threads. The reason for the split was that some applications
26 on Linux, such as Apache, doesn't work well when using shared objects that
27 relies on threads.
28
29 Added SSL support for the COMSTACK. You start yaz-client and yaz-ztest
30 (or any frontend server) in SSL mode by specifying ssl: followed by
31 address. Only tested on UNIX.
32
33 Added feature for CCL module. Virtual structure s=al or s=ol generates
34 and-list and or-list respectively instead of phrase search.
35
36 Added some OID's.
37
38 * Added prefix "yaz_" for the functions log_init.., log_file..  and
39 log_mask_str. This was done to avoid name conflicts with other libraries
40 (such as other PHP extensions).
41
42 Added raw OID member for preferred record syntax (request_format_raw)
43 and returned record syntax (output_format_raw) for backend fetch method.
44
45 Config file yaz-config now accepts options so that it returns specific
46 compile settings, etc. Thanks to Morten Bøgeskov <morten@bogeskov.dk>
47
48 Shared library support for UNIX using GNU libtool.
49
50 * Modified backend interface. Request/Response struct's replaced by
51 one read/write C struct. For example bend_fetchrequest and
52 bend_fetchresult have been replaced by single bend_fetch_rr struct.
53 Every handler - even search has to be registered in bend_init
54 handler. This means that the YAZ library no longer refers to
55 external functions and it makes it possible to make the whole
56 thing a single DLL/SO.
57
58 Added Segment handler for backend server.
59
60 Added Zmbol/Zebra administrative functions to YAZ client.
61
62 Threaded frontend server on UNIX (when POSIX Threads are available).
63 Starting the server with option -T enables multi-threading.
64
65 --- 1.6 2000/03/03
66
67 Added configure option --enable-comp/disable-comp to control use
68 of YAZ ASN.1 compiler. Use --disable-comp to use the old *coders
69 located in sub directory asn.
70
71 YAZ ASN.1 compiler renamed to yaz-comp in sub directory. It's installed
72 in ${exec_prefix}/bin along with the other programs yaz-client and
73 yaz-ztest.
74
75 GNU automake used to maintain makefiles.
76
77 Added several OID's.
78
79 Changed retrieval module so that we can load records with no abstract
80 syntax defined. Tagpaths in these records are fully composed of string
81 tags.
82
83 Implemented ISO ILL protocol. Refer to stuff in sub directory ill.
84
85 --- 1.5 1999/12/10
86
87 On UNIX, the generated makefile now supports a proper 'make install'.
88 The prefix can be set via GNU configure to set the install location
89 (default is /usr/local).
90
91 * YAZ programs client and ztest were renamed to yaz-client and
92 yaz-ztest to avoid conflicts when users install YAZ in "standard"
93 locations, such as /usr/bin,/usr/local/bin,etc.
94
95 * YAZ Header files were moved from include to include/yaz. YAZ Header
96 files are referred to as include <yaz/log.h> rather than <log.h>.
97 The YAZ include path (-I ..) is therefore the same as before. Programmers
98 should update their #include statements or use -Ipath/include/yaz
99 instead. The main motivation for doing this change is that YAZ header files
100 can be installed in "standard" locations /usr/include,/usr/local/include 
101 without introducing conflicts, since ALL YAZ header files are stored
102 in subdirectory yaz (under /usr/include for example).
103
104 Compilation of YAZ for WIN32 is now handled by an nmake-style makefile 
105 rather than project/workspace files. We switched because project files
106 are incompatible between Visual C++ 5 and 6. Refer to windows.txt for
107 details.
108
109 Changed name of logging function, logf, to yaz_log, to prevent name
110 clash with some math-log functions. The YAZ header log.h defines logf
111 to yaz_log (#define) so there should be no incompatibilities by this
112 modification.
113
114 Added bend_start/bend_stop handlers for server. These handler are
115 called on start/stop of server. For windows they are called whenever
116 a service is started/stopped.
117
118 * YAZ now auto-generates decoders/encoders for the Z39.50 protocol using
119 a fairly small ASN.1 compiler written in Tcl. The compiler is located
120 in util/yc.tcl. The auto-generated C code structures are, in a few
121 cases, incompatible with the old decoders. There are differences in the
122 following C structures Z_DiagRec, Z_External, Z_SortRequest, Z_SortResponse,
123 Z_AttributesPlusTerm, Z_ProximityOperator, Z_DefaultDiagFormat.
124 The preprocessor variable ASN_COMPILED is defined when the compiled
125 ASN.1 is being used. Encoder/decoder routines as well as the Z39.50
126 protocol ASN.1 is located sub directory <tt>z39.50</tt>. If you
127 wish to use the old encoders/decoders you can specify --disable-yc
128 for configure.
129
130 Assigned OID for old DB Update (VAL_DBUPDATE0). Updated YAZ compiled
131 version so that it supports both new - and old version of DB Update
132
133 * Added 'name' parameter to ODR encoder/decoder routines to facilitate
134 pretty ODR print. Updated whole Z39.50 encoder/decoder to reflect the
135 change. The name parameter can be set to 0 in which no name is specified
136 for the construction. The macros odr_implicit and odr_explicit sets name
137 parameter to zero for the construction involved. New macros
138 odr_implicit_tag and odr_explicit_tag are similar to the others,
139 except that a name parameter is added. For programmers' that don't use
140 ODR they probably only need to change the call to z_APDU and z_External.
141
142 Added access control facility by interfacing the TCP wrapper library.
143 YAZ automatically attempts to find the TCP wrapper Library (-lwrap) and
144 tcpd.h on Unix systems. For the server, option -d<daemon> specifies the
145 name of the daemon and enables the access control as specified in
146 hosts.allow/hosts.deny. Refer to man pages tcpd(8) and hosts_access(5).
147
148 Fixed memory leak in ccl_find_str and ccl_qual_rm. Thanks to Hans van
149 den Dool <H.M.vdnDool@kub.nl>.
150
151 Added reference ID parameter to most functions in server API - refer
152 to backend.h. Thanks to Hans van den Dool <H.M.vdnDool@kub.nl>.
153
154 Changed name of ccl library to libccl.a (was ccl.a).
155
156 Fixed bug in decoder for Explain (Category TargetInfo).
157
158 Added support for GNU readline in client. Thanks to Jacob Poulsen
159 <ja7@dbc.dk>. GNU configure attempts to detect if readline is available.
160
161 * CHANGED DEFINITION OF ES: UPDATE (INCLUDING THE OID) to reflect the
162 new definition from the ZIG. NOTE THIS IF YOU HAVE AN UPDATE
163 IMPLEMENTATION! This change was made to the development version before
164 the ZIG decided to retract the amendment. If any users MUST be
165 compatible with the original Update definition, PLEASE CONTACT US, and
166 we will include a separate definition corresponding to the old Update
167 ES. Note that because of the change to the ASN.1 of the
168 TaskPackageRecordStructure we cannot define a single structure that
169 will support both versions.
170
171 * Added const modifier to buffer parameter for some ODR/BER encoding
172 routines: ber_dectag, ber_declen, odp_more_chunks, completeBER,
173 completeWAIS, odr_dumpBER.
174
175 Fixed bug in client.c which caused a crash when a scanResponse didn't
176 contain positionOfTerm.
177
178 * Fixed inconsistency in the ScanResponse/ListEntries protocol. This
179 * will cause an error in a client if a non-YAZ target sends both a
180 * list of Scan entries and non-surrogate diagnostics.
181
182 Retrieval module enhancements. Tag sets may be typed in the reference
183 to it. From the .abs-file the "tagset" directive takes a third optional
184 integer type for the tag set referenced. From a .tag-file the "include"
185 directive takes a third optional type as well. The old "type" directive
186 in the tag set itself is still recognized but acts as the default type
187 for the tag set.
188
189 Backend interface change. Individual Scan terms returned from bend_scan
190 may also be tagged as Surrogate Diagnostics. Refer to struct scan_entry
191 in include/backend.h.
192
193 Retrieval module enhancements. Multiple tag sets and attribute sets may
194 be specified in abstract syntax specs. Revised the error/warning for
195 logging messages reported by the retrieval module when reading the
196 various spec files.
197
198 Object Identifier system (oid_..) changed. The API is backwards
199 compatible but the oid-routines now allocates new OID's when needed.
200 Raw OID's may be specified in oid_getvalbyname.
201
202 YAZ now uses GNU configure to generate Makefile(s).
203
204 * Minor changes in some of the member names of DeleteResultSetRequest and
205 DeleteResultSetResponse. See include/proto.h.
206
207 * Changed some C definitions regarding EXPLAIN record syntax (prt-exp.h)
208 and added member 'languages' in TargetInfo (which was missing).
209
210 Changed the way attribute sets are handled in the retrieval
211 module. These are now cached, just like the abstract syntaxes
212 (schemas).
213
214 Changed YAZ so that it links with compiled ASN.1.
215
216 Added Explain-schema definitions and mapping routines. The following
217 Explain categories have been implemented: AttributeDetails,
218 AttributeSetInfo, DatabaseInfo, CategoryList and TargetInfo.
219
220 Fixed minor bug in Windows version of Server Library.
221
222 --- 1.4pl2+ 1998/4/17 (Released with Zebra)
223
224 Added Extended Services to server (backend.h). Thanks to Charles Woodfield.
225
226 Added EXTERNAL: UNIverse Resource Report (non-standard).
227
228 Implemened odr_enum and odr_set_of functions to handle ASN.1 types
229 ENUMERATED and SET OF.
230
231 * Added 'const' to some of the char pointer arguments for the
232 functions, data1_read_node, data1_getelementbytagname,
233 data1_insert_taggeddata, data1_getesetbyname, data1_getelementbyname,
234 data1_get_absyn.
235
236 Fixed bug in data1_insert_taggeddata - the last_child member of
237 parent wasn't initialised.
238
239 * Changed data1_read_record and data1_read_node so that the supplied
240 "SGML"-buffer is read-only. In particular the resulting data1 - tree
241 doesn't refer to any parts of the "SGML"-buffer.
242
243 Fixed bug in server library (Windows version of statserv_remove).
244
245 * Changed code so that it compiles as C++. The type definition
246 of Odr_fun which is a member of Odr_arm was changed. The result is,
247 that an explicit typecast is needed for the fun pointer when
248 using Odr_arm - as in:
249     {1, -1, -1, Z_IdAuthentication_idPass, (Odr_fun)z_IdPass},
250
251 Updated TagSet-G and -M definitions (tagsetm.tag and tagsetg.tag).
252
253 Implemented the new structured date and time definition as approved
254 by the ZIG. Added schemaId element to the specificTag in Espec-1
255 (also approved at the last ZIG). Thanks to RVDM.
256
257 Added some Object identifiers (RVDM).
258
259 Changed the Update Extended Service (RVDM).
260
261 Added command "refid" to client which specifies referenceId for
262 the following requests.
263
264 Implemented extended service handling for server. See ztest.c
265 for an example as well as backend.h. New handlers are registerd
266 in the Init handler.
267
268 * Changed interface for sort in server.
269
270 Added new members to statserv_options_block. It allows a server
271 to read options from another source than just the command line. Thanks
272 to Charles Woodfield.
273
274 * Changed definition of Z_Triple in file prt-grs.h - member boolean
275 renamed to zboolean. Some C++ compilers complained about the name.
276
277 Minor changes to gils.abs. Added index 's' (sort) on title
278 and date/time-last-modified.
279
280 --- 1.4pl2 1998/1/30
281
282 Fixed bug in server library regarding inetd mode (-i). This bug
283 was introduced by release 1.4.
284
285 --- 1.4pl1 1998/1/29
286
287 Added sort facility in client and backend server interface.
288
289 Fixed problem with dependencies in Makefile(s).
290
291 Fixed bugs for encoders/decoders of extended services and 
292 SearchInfoReport.
293
294 Implemented sub-tree feature for schemas. Sub-trees are
295 referenced in *.abs-files. See explain.abs for an example
296 of the use of this feature.
297
298 Modified bib1.att; local attributes for ANY didn't include
299 ANY itself (only affects use of the retrieval module).
300
301 Fixed bug in plain SGML reader in function data1_read_node:
302 tags with prefix "var" was incorrectly interpreted as variants.
303
304 Added feature "sub-schemas" to enable references to - and definitions
305 of - group of elements.
306
307 * Removed member parent from type data1_element (in data1.h).
308
309 Implemented function odr_nullval() that returns the value of
310 ODR_NULLVAL.
311
312 * Removed member num_children from data1_node (in data1.h).
313
314 Made NT service interface part of the server library. The
315 function statserv_main uses the NT service when required and
316 calls the statserv_start / statserv_close routines.
317
318 Routine zget_SearchRequest and zget_PresentRequest fills
319 resultSetName/Id member with "default" instead of "Default".
320
321 Fixed memory leak in server. Request queue member wasn't freed.
322
323 Fixed nmem_exit so that memory is freed.
324
325 --- 1.4 1997/10/2
326
327 Revised the CCL parser utility to be thread safe.
328
329 Added function, oid_ent_to_oid, to replace the function 
330 oid_getoidbyent, which is not thread safe.
331
332 * Added nmem_init and nmem_exit to initialize and release
333 NMEM resources. Function nmem_init should be called once in the
334 initial thread before NMEM/ODR is used. statserv.c and client.c
335 have been changed accordingly. The change was necessary to make
336 NMEM thread safe. The NMEM memory pool is shared amongst threads
337 in a process. Unix-based applications will still work fine without
338 calling this.
339
340 Added NT Services interface for the the Z39.50 (statserv) Server. 
341 Refer to the ztest.c source on the usage.
342
343 Windows 95/NT port using MSVC5.0. Project files are included in the
344 distribution.
345
346 * Defined new 'global' handle for the retrieval (data1) system. The
347 new handled, data1_handle, describes the state of the data1 system.
348 This handle is passed as first argument to virtually all
349 data1 related routines. The functions data1_create and data1_destroy
350 creates and destroys a data1 handle respectively.
351
352 Added ODR encode stream member to all backend request structures
353 init, search, scan etc. This stream should be used to allocate all
354 memory used for the response when thread safe operation is needed.
355
356 Changed the comstack utility, cs_addstr, to be thread safe. The
357 returned hostname string returned by the function is now part the
358 COMSTACK instance.
359
360 Added comstack utility, cs_straddr, which replaces the tcpip_strtoaddr
361 function. The cs_straddr takes a COMSTACK handle as argument, so this
362 function must be used after cs_create and before bind/connect.
363 This function is thread safe.
364
365 Moved test server to 'ztest' directory - generic server code still
366 in 'server' directory.
367
368 Made prefix query (pquery.c) utility thread safe.
369
370 Added new function modifier YAZ_EXPORT to 'export' public DLL
371 functions when using windows (see include/yconfig.h).
372
373 Added definitions to the OID database (util/oid.c) (RVDM).
374
375 Added new BIB-1 diagnostic messages to the handler diagbib1_str.
376
377 Added call to ccl_rpn_delete in client program.
378
379 Added ODR argument to ccl_rpn_query and ccl_scan_query to provide
380 release of RPN structure.
381
382 Added support for C++, headers uses extern "C" for public definitions.
383 With input from RVDM.
384
385 In handling of SEQUENCE OF: Counter set to zero when SEQUENCE OF is absent.
386 Thanks to Ronald van der Meer (RVDM).
387
388 Added initializers (zget_ routines) for a number of PDUs. Thanks to RVDM.
389
390 Added support for private extensions to the OID database
391 (oid_setprivateoids()). Thanks to RVDM.
392     
393 Added optional, physical ANY (key replication)
394
395 Fixed null-reference problem in GRS-1 output filter.
396
397 Proximity operator added to Prefix Query Format (PQF).
398
399 In test client command "base" accepts multiple databases.
400
401 Fixed bug in cs_close stack that caused trouble with WINSOCK.
402
403 --- 1.3 1996/10/11
404
405 Fixed tagging bug in ResourceReportResponse PDU encoder/decode.
406
407 Smallish bug-fixes in the new encoders/decoders (explain).
408
409 Bug fixed in DeleteRequest.
410
411 Fixed tagging bug of type 101 query in SearchRequest-Query PDU encoder/decoder.
412
413 Fixed tagging bug in ResourceReportResponse PDU encoder/decode.
414
415 Added SOIF syntax (using private OID for now) to retrieval module and client.
416
417 Added Update extended service.
418
419 Added SearchResult-1 additional info structure.
420
421 Added optional CCL (ISO8777) interpreter as separate module. Available
422 in linemode client.
423
424 --- 1.2 1996/6/10 (1st anniversary release)
425
426 Added Summary record syntax. Lightly tested.
427
428 Added OPAC record syntax. Untested.
429
430 Added ResourceReport service encoders/decoders. Untested.
431
432 Fixed bug in z_Unit - wrong tagging on unitSystem.
433
434 Fixed bug in the DiagRecs decoder.
435
436 Added options for max PDU size and session timeout to frontend-server.
437
438 Added documentation of query-language parsers and other supporting utilities.
439
440 [frontend-server] Added Attribute set to the bend_scanrequest API.
441
442 [frontend-server] NextResultSetPosition was sometimes set incorrectly when
443 surrogate diagnostics were generated.
444
445 [retrieval] Allow multiple local values for attribute.
446
447 [retrieval] Allow multiple attributes per element in .abs files. index type.
448
449 [retrieval] Added Summary tagset, abstract syntax, and d1-node/ASN filter.
450
451 --- 1.1pl2  1996/4/10
452
453 Minor changes, mostly specific to Zebra's requirements (retrieval)
454
455 --- 1.1  1996/2/20
456
457 Repaired bug in frontend server when running multiple listening
458 endpoints in dynamic mode.
459
460 z_External() now won't break if a known, ASN.1 value comes encapsulated
461 in an octet-string. The value will pass through unmodified in an Odr_oct.
462
463 Added a bit of code to the demo client to decode & display
464 ASN.1-structured records represented in the octet-aligned branch of
465 the EXTERNAL CHOICE. Thanks to CAS for prodding us to finally do this.
466
467 Added z_ext_getentbyref() to the ASN module. Doc updated.
468
469 * Completed the SCAN definition in the ASN module. This may break SCAN
470 code based on older YAZ-versions at compile-time. The fix is easy -
471 look in proto.h.
472
473 * Added 'displayTerm' and OtherInformation to the TermInfo structure
474 under the SCAN definition. Remember to initialize this, server-people.
475
476 Comstack should now support the WAIS protocol in TCP/IP mode. Note
477 that this does not extend to ODR and ASN.
478
479 Comstack allows insertion of established socket (primarily for
480 inetd-operation of servers). Doc updated.
481
482 Front-end server can now start from the inetd in TCP mode. Doc
483 updated.
484
485 --- 1.0pl4 1996/1/24
486
487 Added Sort PDU.
488
489 Fixed small problem in SUTRS-filter. A newline was sometimes inserted before
490 the rank and record number.
491
492 Adjustments to the frontend server.
493
494 Fixed diagnostic BER dumper. It ignored the file argument.
495
496 --- 1.0pl3 1996/1/2
497
498 Various changes to retrieval module.
499
500 Changed the union discriminators of the protocol files from enums to
501 ints paired with #defines.
502
503 *Changed oident.class to oident.oclass to avoid a reserved word in C++
504  compilers.
505
506 *Changed operator in the RPN structure to 'roperator', again to avoid a
507  conflict with C++.
508
509 Fixed problems in Explain decoders/encoders.
510
511 --- 1.0pl2 1995/12/6
512
513 Memory bug in log module fixed.
514
515 --- 1.0pl1 1995/12/5
516
517 Occasional malloc() of 0 bytes fixed in d1_espec.c.
518
519 Bug in Explain DatabaseInfo module fixed.
520
521 Some '\r' snuck into one or two of the ret'l config tables. A curse on Windows.
522
523 --- 1.0 1995/11/28
524
525 The shift to v1.0 signals that we now consider the *core* functionality
526 of YAZ reasonably stable (the core being more or less equivalent to
527 Z39.50-1992). Some of the really nifty v3 stuff is still not heavily
528 tested (Explain not at all - though that will happen soonish).
529
530 Minor changes to code to support Windows port.
531
532 Various minor changes after we're getting to use GRS-1 & co. more.
533
534 Added Espec-1 format.
535
536 Added VisibleString field body type to GRS-1. It is illegal acc. to my copy
537 of the protocol and it cannot be selected when encoding (maps into 'string'
538 when decoding). Needed to talk to some servers.
539
540 Demo client can request simple element set names.
541
542 Added Diagnostic Format encoders/decoders.
543
544 Added simple Close handling to frontend server (no hooks for resource
545 reporting yet), and demonstration client.
546
547 Added cs_addrstr() command to COMSTACK to retrieve peer hostname/address.
548
549 --- 1.0b3 1995/08/24
550
551 Fixed bug in the frontend-server. The numberOfRecordsReturned field was
552 handled incorrectly when records were requested in the searchResponse. This
553 will only affect you if you use the frontend-server.
554
555 Added GRS-1 encoders/decoders to the service-level API. Lightly tested.
556 Test-client will ask for and print GRS1. Ztest will return dummy records
557 on request.
558
559 Added Explain encoders/decoders to the service-level API. Untested.
560
561 Added Extended Services: Item Order encoders and decoders to the Service-
562 level API. Untested. We could use a recent copy of the pertinent bits
563 of the ILL protocol to add those bits.
564
565 Added diagnostic format 1 encoders/decoders to the service-level API.
566 Untested.
567
568 Moved pretty-printing of structure-wrappers ({..}) from odr_seq.c to
569 odr_cons.c, which causes a more correct output.
570
571 Fixed handling of searchRequest in frontend server. NextResultSetPosition
572 was always set to 0 when no records were requested in the searchRequest.
573
574 * Added better external-handling. This shouldn't harm old code that
575 *encodes* externals. It can break code that looks for a
576 'single-ASN1-type' representation, since those types that are known
577 are now decoded immediately. Look at the SUTRS sample code in
578 seshigh.c and client.c. Documentation updated.
579
580 Handling of structured records in bend_fetchresponse. Length -1 marks
581 structured record, type is deduced from format field.
582
583 --- 1.0b2 1995/06/27
584 Fairly quick maintenance release to add SUTRS support.
585
586 Fixed handling of SUTRS records in the demonstration client.
587
588 * Added format field to the bend_fetchrequest and bend_fetchresponce
589 structures of the backend API (frontend server). When the record is
590 returned, the value of the format field is mapped to an OID. The
591 value VAL_SUTRS will also cause a slightly different ASN.1 packaging
592 of the record. The special value VAL_NONE in the bend_request means
593 that no specific format was requested by the client. Documentation
594 updated accordingly. Test server (ztest) will return a fixed dummy
595 SUTRS record if your client requests SUTRS.
596
597 Documentation updated accordingly.
598
599 You can now set external libraries and RANLIB support in the top-level
600 Makefile.
601
602 --- 1.0b 1995/06/19
603 First public release.