Avoid locale member in icu_tokenizer.

The locale member of icu_tokenizer is not needed.

Function icu_casemap_create no longer takes locale parameter.

Function icu_casemap_create no longer takes locale parameter. Instead,
icu_casemap_casemap takes a locale parameter.

Refactor ICU WRT locale.

The locale parameter is no longer a parameter for icu_chain_xml_config
and locale is read as an attribute for top XML node. The icu_casemap
locale is no longer a member and a parater for icu_casemap_casemap
instead. This saves a copy of a locale in each casemap.

Public header icu.h, private header icu_I18N.h .

Indent

Changed header - part of YAZ not Pazpar2

For ICU enabled YAZ defined YAZ_HAVE_ICU instead of HAVE_ICU.

For ICU, set ICU status to OK for some public functions.

The ICU status code, UErrorCode, is now set to U_ZERO_ERROR in
the preamble of functions icu_chain_create, icu_chain_xml_config
and icu_chain_next_token.

ICU element index and sortkey no longer available.

For ICU, locale, is a char ptr rather than uint8_t ptr.

The type uint8_t is a ICU type that we don't want to use if we
can avoid it.

Fixed printf of pointer

Fixed link to OID tools

Fixed bug #1122: Certain record IDs are not found by searches.

The CQL parser preserves terms completely and \\s are no longer
removed. This changes CQL output for some test cases and so these
are updated accordingly. The CQL to PQF transform only treats
* and ? operators if they aren't escaped. A memory leak was also
fixed for the ANSIZ39.58 pattern case.

changed ICU chain to return all tokens, also those which became empty under normalization. These might still have some display terms attached to them, which are to be used by the snippet display stuff or the scan term display stuff.

renamed ICU chain functions to the following names relation the operation
to the actually processed token

int          icu_chain_token_number(struct icu_chain * chain);
const char * icu_chain_token_display(struct icu_chain * chain);
const char * icu_chain_token_norm(struct icu_chain * chain);
const char * icu_chain_token_sortkey(struct icu_chain * chain);

Extended auth command so that NULL User, pass may be set.

This is to solve bug #1820.

added special case with an empty ICU chain for 'raw' index processing without call of transliterators, case maps or tokenizators. It's optimized such that the following happens:
if (!chain->sort), no utf8 to utf16 translation occurs, and the original cstring is returned for the icu_chain-get_norm8() call.
if (chain->sort), utf8 to utf16 translation is made, the original cstring is returned for the icu_chain-get_norm8() call, and the utf16->sortkey conversion is run previous of calling icu_chain-get_sort8().

simplified test case XML config root element tags

removed dead code from ICU files

added sortkey flag to icu_chain constructor

Avoid per-target CPPFLAGS.

If we use per-target flags, AM_PROG_CC_C_O is required or we just
dont it.

Isolated ICU locale out of XML config file. Locale is now the second argument to   chain = icu_chain_xml_config(xml_node, (uint8_t *) "en", &status);

Added yaz_match_glob

fixed wrong token count when tokens disappear with ICU normalization

fixed memory violation in ICU chain code, restructuring tokenizer to allow for non-empty tokens still ongoing work

surpressed ICU test tokenization output

File m4/ac_check_icu.m4 part of dist.

Make ICU stuff compatible with old C comps. YAZ License.

Fixed lalibs output for ICU mode.

Debian package 3.0.15-1 with ICU.

Added ICU chain component - which used to be part of Pazpar2.

Removed material about Object identifiers for YAZ 2.

Added a record for testing of bug #1778.

Fixed bug #1778: Extended ASCII not escaped always (UTF-8 to MARC-8).

When in non-ASCII mode, YAZ now escapes combined character sequences.
A test was added in tsticonv.c.

Increase intermediate buffers for wrbuf+iconv.

The intermediate buffer for wrbuf+iconv is increased from 12 to 16
bytes. There may be MARC-8 sequence overflows overwise - with at
least reset (flush).

Re-organized MARC-8 charset creating code a bit.

Re-organized MARC-8 charset creating code a bit.. A define + code to work
on bug #1778 was added.

Revised types for functions cs_complete_auto, etc.

The functions cs_complete_auto, cs_complete_auto_head takes 'const char *'
as buffer rather than 'const unsigned char *'. This makes some casts
unnecessary. This also fixes tst_comstack which used to test
cs_complete_http. This function, howver is no longer public, so
cs_complete_auto is used instead.

Added HTTP tunnel facility for COMSTACK, bug #1752.

This is a facility that allows a Web proxy, such as squid, to tunnel
Z39.50 traffic. This facility is "transparent" to must applications
using YAZ. It's enabled by using pseudo transport connect: followed bý
the we proxy address, followed by command, then follwed by he regular
"virtual" addresss. For example,
connect:webproxy.com:3128,tcp:z3950.loc.gov:7090/voyager .

Implemented function cs_create_host.

Implemented function cs_create_host parses a YAZ host component. This
is to be used for HTTP Connect tunneling (bug #1752).

Changed blank (0x20) handling conversion to MARC-8.

The conversion to MARC-8 now always escapes the BLANK character outside
Basic ASCII. This is stricly speaking not necessary - blank is part
of "all" pages (sets). But some tools cannot handle it. YAZ, however,
treats blank as blank in all pages when MARC-8 is read (converted from).

Bump to 3.0.15.

Combine test from tstmarciso.sh and tstmarcxml.sh to tstmarc.sh .. Mostly
because the latter requires output from the former (so make -j2 could
break).

Update this test due to fix for bug #1666.

Fixed bug with shadowing of variable in lookup_marc8. Bug introduced
in previous commit (1.44).

Document more yaz-marcdump options

Added MARC-8 encoded Arabic record, marc9.marc, to test that blanks are
preserved.
Added UTF-8 encoded Chinese record, marccol3.u8.marc, which has the
Ideographic space sequence it.

Added test for conversion of utf8 e38080 to marc8 212321 (Ideographic
space).

Remove duplicates (already existing) in flat entries for MARC-8
tries. Previously only duplicates in index tries were treated.
This ensures that only first sequence (of multiple) is used for
conversion and takes precedence. For example utf E38080 is
converted then converted to marc8 212321 (not marc8 212320).

Treat space (20X) as present in all MARC-8 charsets

Fixed compilation for absent Libxml2.

Towards 3.0.14

Initialize diag_messÃage member of ZOOM_record

Fixed bug in conversion to XML from MARC: Non-XML characters in control
fields were not removed.

Removed reference to url.srw

Versino 3.0.13

Make an MARC conversion trie for each characterSet section rather than
codeTable. This is ensure we can deal with G0/G1 sequences. Bug #1464.

Log iconv tests that fail

Added wrbuf_verbose_str.

Use updated codetables.xml as provided by Larry Dixson (bug #1464).

Bump version to 3.0.13

Towards 3.0.12

More news

ZOOM C announces SRU version 1.2.

More news

Handle NULL SRU addinfo in printing

Fixed problem with record cache and schema/diagnostics not being
set at all times.

Using odr_strdup_null a couple of places

Added odr_strdup_null which calls nmem_strdup_null. This function accepts
a NULL ptr as source in which the result is a NULL ptr too.

Handle surrogate diagnostics for SRU

Function ZOOM_record_get allows type_spec=schema in which case schema
for record is returned.

Rolling

yaz_diag_srw_to_bib1 now looks up SRW diagnostic codes first in a new
explicit reverse-mapping table, falling back to reverse-lookup in the
old table only if this does not succeed.

Add z_HTTP_header_add_basic_auth()
Uses new static yaz_base64encode()

Add HTTP Basic authentication to SRU/GET, SRU/POST and SRW requests.

Add z_HTTP_header_add_basic_auth()

HTTP Basic clienty authentication.

Set SRU request structure's username/password from connection options.

Option sru_version holds negotiated SRU/SRW version.

yaz_srw_get returns 1.1 PDU (as in earlier versions)

yaz-client command 'sru' may set both SRU method (SOAP/GET/POST) and
version.

Fixed typo

Added new ZOOM connection option "sru_version" which specifies SRU
version - say 1.1 or 1.2. Fixed YAZ server's SRU GET/POST decoding
WRT version checking. Anything but 1.1 was rejected and this turned out
to be a mistake. For the GFS, anything but version 1.1 is negotiated to
1.2, except 1.1 which is negotiated to 1.1.

For SRU sarchRetrieve responses option resultSetId is set for result set

Version 3.0.10

Updated RPM spec file with some enhancements from Martin Armbrecht.

Revert last change regarding display_term. There still exists systems
with old behavior.

Always honor display_term being set by backend handler. There is no
need to be pre YAZ 2.0 backwards compatible.

Fixed scan continuation line not being set for displayTerm being ste

Added support for SRU scan.

COmment.

For XML ILL Request, YAZ attaches a dummy XML record as the ItemRequest
EXTERNAL in the targetPart structure.

For XML ILL Response, YAZ prints Octet aligned buf (presumably XML)
if that is the ItemRequest EXTERNAL in the targetPart structure.

Document ccl2rpn setting.

Add entity reference-tools-ccl-qualifiers
Better section title.

Better section title.

Add entity reference-tools-ccl-qualifiers

Add code to compile CCL qualifiers if specified using <ccl2rpn>.

Add ccl_transform element to struct gfs_server.

If a CCL qualifier mapping file has been specified, then incoming CCL
queries are now transformed into Type-1 before being being handed off
to the back-end callback.  This is supported for Z39.50 searches, but
not for Scan, nor for SRU (where it's impossible to send CCL anyway).

Describe CCL support in GFS.