yaz-icu man page/program in yaz-icu package only.

The yaz-icu man page and program is part of package yaz-icu (not
yaz). Descriptions in debian/control fixed to keep linda happy.

yaz-icu part of packages

Added yaz-icu man page

Update to use transform step

Renamed 'normalize' rule to 'transform'.

The ICU chain step, normalize is now called transform because
that's what ICU calls it. And we better keep things aligned.

Towards 3.0.16

Using iochan_event_loop (WIN32)

Program yaz-icu is noinst rather than bin.

Program yaz-icu is noinst rather than bin for now. Will be installed in
bin when a man page has been created, bug #1797.

Added note about yaz_poll

Rename function event_loop to iochan_event_loop.

Do not handle EINTR in yaz_poll.

Change yaz_poll so that it does not loop around select/poll if
errno=EINTR is set. This sitution is handled in caller, such
as event_loop used by GFS which must take further action if EINTR
is set. If EINTR is handled by yaz_poll it does not get caught.

Change timeout parameter for yaz_poll.

Change timeout paramater from seconds to seconds+nano-seconds for
yaz_poll. Also make yaz_poll_{poll,select} static (internal).

Remove include of sys/select.h from tcpip.c . It is not needed.

Use yaz_poll everywhere.. And fix syntax error!

Describe new functions.

Enable use of yaz_poll always in event_loop.

YAZ GFS uses yaz_poll.

The event_loop function uses by YAZ' Generic Frontend Server uses
the yaz_poll function - instead of select.

Implemented yaz_poll - select/poll wrapper.

Reindent

Allow any locale for icu_chain_create.

Use xmalloc instead of malloc.

Ignore test program

Avoid locale member in icu_tokenizer.

The locale member of icu_tokenizer is not needed.

Function icu_casemap_create no longer takes locale parameter.

Function icu_casemap_create no longer takes locale parameter. Instead,
icu_casemap_casemap takes a locale parameter.

Refactor ICU WRT locale.

The locale parameter is no longer a parameter for icu_chain_xml_config
and locale is read as an attribute for top XML node. The icu_casemap
locale is no longer a member and a parater for icu_casemap_casemap
instead. This saves a copy of a locale in each casemap.

Public header icu.h, private header icu_I18N.h .

Indent

Changed header - part of YAZ not Pazpar2

For ICU enabled YAZ defined YAZ_HAVE_ICU instead of HAVE_ICU.

For ICU, set ICU status to OK for some public functions.

The ICU status code, UErrorCode, is now set to U_ZERO_ERROR in
the preamble of functions icu_chain_create, icu_chain_xml_config
and icu_chain_next_token.

ICU element index and sortkey no longer available.

For ICU, locale, is a char ptr rather than uint8_t ptr.

The type uint8_t is a ICU type that we don't want to use if we
can avoid it.

Fixed printf of pointer

Fixed link to OID tools

Fixed bug #1122: Certain record IDs are not found by searches.

The CQL parser preserves terms completely and \\s are no longer
removed. This changes CQL output for some test cases and so these
are updated accordingly. The CQL to PQF transform only treats
* and ? operators if they aren't escaped. A memory leak was also
fixed for the ANSIZ39.58 pattern case.

changed ICU chain to return all tokens, also those which became empty under normalization. These might still have some display terms attached to them, which are to be used by the snippet display stuff or the scan term display stuff.

renamed ICU chain functions to the following names relation the operation
to the actually processed token

int          icu_chain_token_number(struct icu_chain * chain);
const char * icu_chain_token_display(struct icu_chain * chain);
const char * icu_chain_token_norm(struct icu_chain * chain);
const char * icu_chain_token_sortkey(struct icu_chain * chain);

Extended auth command so that NULL User, pass may be set.

This is to solve bug #1820.

added special case with an empty ICU chain for 'raw' index processing without call of transliterators, case maps or tokenizators. It's optimized such that the following happens:
if (!chain->sort), no utf8 to utf16 translation occurs, and the original cstring is returned for the icu_chain-get_norm8() call.
if (chain->sort), utf8 to utf16 translation is made, the original cstring is returned for the icu_chain-get_norm8() call, and the utf16->sortkey conversion is run previous of calling icu_chain-get_sort8().

simplified test case XML config root element tags

removed dead code from ICU files

added sortkey flag to icu_chain constructor

Avoid per-target CPPFLAGS.

If we use per-target flags, AM_PROG_CC_C_O is required or we just
dont it.

Isolated ICU locale out of XML config file. Locale is now the second argument to   chain = icu_chain_xml_config(xml_node, (uint8_t *) "en", &status);

Added yaz_match_glob

fixed wrong token count when tokens disappear with ICU normalization

fixed memory violation in ICU chain code, restructuring tokenizer to allow for non-empty tokens still ongoing work

surpressed ICU test tokenization output

File m4/ac_check_icu.m4 part of dist.

Make ICU stuff compatible with old C comps. YAZ License.

Fixed lalibs output for ICU mode.

Debian package 3.0.15-1 with ICU.

Added ICU chain component - which used to be part of Pazpar2.

Removed material about Object identifiers for YAZ 2.

Added a record for testing of bug #1778.

Fixed bug #1778: Extended ASCII not escaped always (UTF-8 to MARC-8).

When in non-ASCII mode, YAZ now escapes combined character sequences.
A test was added in tsticonv.c.

Increase intermediate buffers for wrbuf+iconv.

The intermediate buffer for wrbuf+iconv is increased from 12 to 16
bytes. There may be MARC-8 sequence overflows overwise - with at
least reset (flush).

Re-organized MARC-8 charset creating code a bit.

Re-organized MARC-8 charset creating code a bit.. A define + code to work
on bug #1778 was added.

Revised types for functions cs_complete_auto, etc.

The functions cs_complete_auto, cs_complete_auto_head takes 'const char *'
as buffer rather than 'const unsigned char *'. This makes some casts
unnecessary. This also fixes tst_comstack which used to test
cs_complete_http. This function, howver is no longer public, so
cs_complete_auto is used instead.

Added HTTP tunnel facility for COMSTACK, bug #1752.

This is a facility that allows a Web proxy, such as squid, to tunnel
Z39.50 traffic. This facility is "transparent" to must applications
using YAZ. It's enabled by using pseudo transport connect: followed bý
the we proxy address, followed by command, then follwed by he regular
"virtual" addresss. For example,
connect:webproxy.com:3128,tcp:z3950.loc.gov:7090/voyager .

Implemented function cs_create_host.

Implemented function cs_create_host parses a YAZ host component. This
is to be used for HTTP Connect tunneling (bug #1752).

Changed blank (0x20) handling conversion to MARC-8.

The conversion to MARC-8 now always escapes the BLANK character outside
Basic ASCII. This is stricly speaking not necessary - blank is part
of "all" pages (sets). But some tools cannot handle it. YAZ, however,
treats blank as blank in all pages when MARC-8 is read (converted from).

Bump to 3.0.15.

Combine test from tstmarciso.sh and tstmarcxml.sh to tstmarc.sh .. Mostly
because the latter requires output from the former (so make -j2 could
break).

Update this test due to fix for bug #1666.

Fixed bug with shadowing of variable in lookup_marc8. Bug introduced
in previous commit (1.44).

Document more yaz-marcdump options

Added MARC-8 encoded Arabic record, marc9.marc, to test that blanks are
preserved.
Added UTF-8 encoded Chinese record, marccol3.u8.marc, which has the
Ideographic space sequence it.

Added test for conversion of utf8 e38080 to marc8 212321 (Ideographic
space).

Remove duplicates (already existing) in flat entries for MARC-8
tries. Previously only duplicates in index tries were treated.
This ensures that only first sequence (of multiple) is used for
conversion and takes precedence. For example utf E38080 is
converted then converted to marc8 212321 (not marc8 212320).

Treat space (20X) as present in all MARC-8 charsets

Fixed compilation for absent Libxml2.

Towards 3.0.14

Initialize diag_messÃage member of ZOOM_record

Fixed bug in conversion to XML from MARC: Non-XML characters in control
fields were not removed.

Removed reference to url.srw

Versino 3.0.13

Make an MARC conversion trie for each characterSet section rather than
codeTable. This is ensure we can deal with G0/G1 sequences. Bug #1464.

Log iconv tests that fail

Added wrbuf_verbose_str.

Use updated codetables.xml as provided by Larry Dixson (bug #1464).

Bump version to 3.0.13

Towards 3.0.12

More news

ZOOM C announces SRU version 1.2.

More news

Handle NULL SRU addinfo in printing

Fixed problem with record cache and schema/diagnostics not being
set at all times.

Using odr_strdup_null a couple of places

Added odr_strdup_null which calls nmem_strdup_null. This function accepts
a NULL ptr as source in which the result is a NULL ptr too.

Handle surrogate diagnostics for SRU

Function ZOOM_record_get allows type_spec=schema in which case schema
for record is returned.

Rolling

yaz_diag_srw_to_bib1 now looks up SRW diagnostic codes first in a new
explicit reverse-mapping table, falling back to reverse-lookup in the
old table only if this does not succeed.

Add z_HTTP_header_add_basic_auth()
Uses new static yaz_base64encode()

Add HTTP Basic authentication to SRU/GET, SRU/POST and SRW requests.

Add z_HTTP_header_add_basic_auth()

HTTP Basic clienty authentication.

Set SRU request structure's username/password from connection options.

Option sru_version holds negotiated SRU/SRW version.