Ensure fname is 0-terminated in parse_cmd_doc for yaz-client.

Fixed bug #1988: CQL-to-PQF translation mishandles quoted doube.

Fixed bug #1988: CQL-to-PQF translation mishandles quoted doube quotes.
The CQL already uses \-escaped strings (such as \") . These can be
copied verbatim to PQF.

Added YAZ_FILEVERSION

Towards 3.0.18.

Do not use Libxml2's reader if libxml2 version < 2.6.15.

Using YAZ' options rather than getopt.h.

Ziffy now uses YAZ' options rather than getopt.h because getopt.h
is unavailable on some systems.

Annotate

Support read/write MARCXML collections.

Fixed bug in icu_buf_utf8_to_cstr (wrong length).

Fixed bug in icu_buf_utf8_to_cstr . A string could be truncated because
its string length is set to 0 in icu_buf_utf8_resize. Function
icu_buf_utf8_resize no longer resets the string.

About new OPAC stuff

Handle OPAC for record conversion module.

Extend the record_conv system to handle Z39.50 OPAC records.
Function yaz_record_conv_opac_record was added.

Added ZOOM_package_option_{set,get}l.

Added ZOOM_package_option_{set,get}l so that binary data can be used
for Z39.50 packages (Update, etc). Using option_getl rather then
option_get for few options that might be binary: "doc", "record" and
"recordIdOpaque".

Ensure ICU is part of built

No action-not-found rule for ICU.

Generate yaz3.dll version from yaz-version.h

Suggest yaz-doc instead of Recommend for libyaz3-dev

Adjustments to make YAZ compile as C++ code.

Changed return value of function icu_sortkey8_from_utf16 to void.

The return value is useless and error is signalled by status
parameter. This breaks binary compatibility for that function but
it is not in use anywhere.

Use oid_class rather than int for OID class.

Changed oclass parameter for yaz_oid_add function from type int to
enum oid_class. This should not break binary compatibility.
Changed oid member in struct yaz_oid_entry to enum oid_class.

Use schema in Z39.50 Update.

If schema is given, supply it as part of Z39.50 Extended Service
update. Patch from Jacob Poulsen.

Man pages in Reference section.

All man pages are combined in one Reference section, manref.xml,
which is extracted via XSLT from each individual man page.

Update test for new wrbuf_puts_escaped functions

Introduce wrbuf_{write,puts}_escaped.

Introduce wrbuf_{write,puts}_escaped. Removed wrbuf_verbose_str
which now has the new name wrbuf_write_escaped. wrbuf_verbose_str
has not been used outside YAZ in released software so this should
be safe. Added a few Doxygen comments for wrbuf.h as well.

Added yaz_puts_escaped

Version 3.0.17.

ICU utility prints sortkey as well

Doxygen comments

More on the ICU wrapper.

Fix spelling

yaz-icu man page/program in yaz-icu package only.

The yaz-icu man page and program is part of package yaz-icu (not
yaz). Descriptions in debian/control fixed to keep linda happy.

yaz-icu part of packages

Added yaz-icu man page

Update to use transform step

Renamed 'normalize' rule to 'transform'.

The ICU chain step, normalize is now called transform because
that's what ICU calls it. And we better keep things aligned.

Towards 3.0.16

Using iochan_event_loop (WIN32)

Program yaz-icu is noinst rather than bin.

Program yaz-icu is noinst rather than bin for now. Will be installed in
bin when a man page has been created, bug #1797.

Added note about yaz_poll

Rename function event_loop to iochan_event_loop.

Do not handle EINTR in yaz_poll.

Change yaz_poll so that it does not loop around select/poll if
errno=EINTR is set. This sitution is handled in caller, such
as event_loop used by GFS which must take further action if EINTR
is set. If EINTR is handled by yaz_poll it does not get caught.

Change timeout parameter for yaz_poll.

Change timeout paramater from seconds to seconds+nano-seconds for
yaz_poll. Also make yaz_poll_{poll,select} static (internal).

Remove include of sys/select.h from tcpip.c . It is not needed.

Use yaz_poll everywhere.. And fix syntax error!

Describe new functions.

Enable use of yaz_poll always in event_loop.

YAZ GFS uses yaz_poll.

The event_loop function uses by YAZ' Generic Frontend Server uses
the yaz_poll function - instead of select.

Implemented yaz_poll - select/poll wrapper.

Reindent

Allow any locale for icu_chain_create.

Use xmalloc instead of malloc.

Ignore test program

Avoid locale member in icu_tokenizer.

The locale member of icu_tokenizer is not needed.

Function icu_casemap_create no longer takes locale parameter.

Function icu_casemap_create no longer takes locale parameter. Instead,
icu_casemap_casemap takes a locale parameter.

Refactor ICU WRT locale.

The locale parameter is no longer a parameter for icu_chain_xml_config
and locale is read as an attribute for top XML node. The icu_casemap
locale is no longer a member and a parater for icu_casemap_casemap
instead. This saves a copy of a locale in each casemap.

Public header icu.h, private header icu_I18N.h .

Indent

Changed header - part of YAZ not Pazpar2

For ICU enabled YAZ defined YAZ_HAVE_ICU instead of HAVE_ICU.

For ICU, set ICU status to OK for some public functions.

The ICU status code, UErrorCode, is now set to U_ZERO_ERROR in
the preamble of functions icu_chain_create, icu_chain_xml_config
and icu_chain_next_token.

ICU element index and sortkey no longer available.

For ICU, locale, is a char ptr rather than uint8_t ptr.

The type uint8_t is a ICU type that we don't want to use if we
can avoid it.

Fixed printf of pointer

Fixed link to OID tools

Fixed bug #1122: Certain record IDs are not found by searches.

The CQL parser preserves terms completely and \\s are no longer
removed. This changes CQL output for some test cases and so these
are updated accordingly. The CQL to PQF transform only treats
* and ? operators if they aren't escaped. A memory leak was also
fixed for the ANSIZ39.58 pattern case.

changed ICU chain to return all tokens, also those which became empty under normalization. These might still have some display terms attached to them, which are to be used by the snippet display stuff or the scan term display stuff.

renamed ICU chain functions to the following names relation the operation
to the actually processed token

int          icu_chain_token_number(struct icu_chain * chain);
const char * icu_chain_token_display(struct icu_chain * chain);
const char * icu_chain_token_norm(struct icu_chain * chain);
const char * icu_chain_token_sortkey(struct icu_chain * chain);

Extended auth command so that NULL User, pass may be set.

This is to solve bug #1820.

added special case with an empty ICU chain for 'raw' index processing without call of transliterators, case maps or tokenizators. It's optimized such that the following happens:
if (!chain->sort), no utf8 to utf16 translation occurs, and the original cstring is returned for the icu_chain-get_norm8() call.
if (chain->sort), utf8 to utf16 translation is made, the original cstring is returned for the icu_chain-get_norm8() call, and the utf16->sortkey conversion is run previous of calling icu_chain-get_sort8().

simplified test case XML config root element tags

removed dead code from ICU files

added sortkey flag to icu_chain constructor

Avoid per-target CPPFLAGS.

If we use per-target flags, AM_PROG_CC_C_O is required or we just
dont it.

Isolated ICU locale out of XML config file. Locale is now the second argument to   chain = icu_chain_xml_config(xml_node, (uint8_t *) "en", &status);

Added yaz_match_glob

fixed wrong token count when tokens disappear with ICU normalization

fixed memory violation in ICU chain code, restructuring tokenizer to allow for non-empty tokens still ongoing work

surpressed ICU test tokenization output

File m4/ac_check_icu.m4 part of dist.

Make ICU stuff compatible with old C comps. YAZ License.

Fixed lalibs output for ICU mode.

Debian package 3.0.15-1 with ICU.

Added ICU chain component - which used to be part of Pazpar2.

Removed material about Object identifiers for YAZ 2.

Added a record for testing of bug #1778.

Fixed bug #1778: Extended ASCII not escaped always (UTF-8 to MARC-8).

When in non-ASCII mode, YAZ now escapes combined character sequences.
A test was added in tsticonv.c.

Increase intermediate buffers for wrbuf+iconv.

The intermediate buffer for wrbuf+iconv is increased from 12 to 16
bytes. There may be MARC-8 sequence overflows overwise - with at
least reset (flush).

Re-organized MARC-8 charset creating code a bit.

Re-organized MARC-8 charset creating code a bit.. A define + code to work
on bug #1778 was added.

Revised types for functions cs_complete_auto, etc.

The functions cs_complete_auto, cs_complete_auto_head takes 'const char *'
as buffer rather than 'const unsigned char *'. This makes some casts
unnecessary. This also fixes tst_comstack which used to test
cs_complete_http. This function, howver is no longer public, so
cs_complete_auto is used instead.

Added HTTP tunnel facility for COMSTACK, bug #1752.

This is a facility that allows a Web proxy, such as squid, to tunnel
Z39.50 traffic. This facility is "transparent" to must applications
using YAZ. It's enabled by using pseudo transport connect: followed bý
the we proxy address, followed by command, then follwed by he regular
"virtual" addresss. For example,
connect:webproxy.com:3128,tcp:z3950.loc.gov:7090/voyager .

Implemented function cs_create_host.

Implemented function cs_create_host parses a YAZ host component. This
is to be used for HTTP Connect tunneling (bug #1752).

Changed blank (0x20) handling conversion to MARC-8.

The conversion to MARC-8 now always escapes the BLANK character outside
Basic ASCII. This is stricly speaking not necessary - blank is part
of "all" pages (sets). But some tools cannot handle it. YAZ, however,
treats blank as blank in all pages when MARC-8 is read (converted from).

Bump to 3.0.15.

Combine test from tstmarciso.sh and tstmarcxml.sh to tstmarc.sh .. Mostly
because the latter requires output from the former (so make -j2 could
break).

Update this test due to fix for bug #1666.

Fixed bug with shadowing of variable in lookup_marc8. Bug introduced
in previous commit (1.44).

Document more yaz-marcdump options

Added MARC-8 encoded Arabic record, marc9.marc, to test that blanks are
preserved.
Added UTF-8 encoded Chinese record, marccol3.u8.marc, which has the
Ideographic space sequence it.

Added test for conversion of utf8 e38080 to marc8 212321 (Ideographic
space).

Remove duplicates (already existing) in flat entries for MARC-8
tries. Previously only duplicates in index tries were treated.
This ensures that only first sequence (of multiple) is used for
conversion and takes precedence. For example utf E38080 is
converted then converted to marc8 212321 (not marc8 212320).

Treat space (20X) as present in all MARC-8 charsets