Removed bug with improper utf-8 query encoding.

use  <form accept-charset='UTF-8'

protect from missing ICU development environment by #ifdef HAVE_ICU , such that build process can continue on platforms missing ICU

finished test ICU stand-allone program for benchmarking of ICU tokenization and normalization. Works quite well, benchmarking on the James English Bible from Project Gutenberg (4,5 MB plain text consisting of 870.000 individual tokens) took 3.5 seconds on a laptop. More testing/benchmarking is needed.

started stand-allone ICU test

Added a few frees here and there

ICU chain XML configuration up and running, used in unit test as well.

Counters and timers cd.

No longer relevant.

Corrected timers and counters.

Creating symlinks for the pz2.js during the configure process

ICU chain working correctly with tokenizer, normalizer and casemap operations, and data extraction in normalform, sortkey form and display form all possible. New unit test added

Initialize ID setting searlier -- Should alleviate need for explicitly setting id

Last touch :).

Added simple stylesheet to the example.

Cleaning styles.

Handling situation when the location node is empty.

Removing obsolete stuff.

Added simple example of the pz2.js usage.

Temporary fix to make the target filter work.

Bug in pzHttpRequest->get

Removed a bug which caused a malfunction of XMLHttpRequest in some browsers.

ICU chain passes directives display, norm, sort, and normalize. Directives tokenize and charmap need more work yet.

corrected ICU normalizer  functions such that unit test run withut segfault.
icu_buf_utf18_copy function corrected to set utf16_len right

pz:cclmap:* settings were not recognized by settings/init command

Use lynx if that's an alternative to wget.

temorarily commented faulty transliterator test out
progress on ICU chain test, but need to fix transliterator test first

Skip test if wget is not found

Fire test against z3950.indexdata.com/marc instead.

pz2.js:
        removed jquery dependency
        added xsl stylesheet support for detailed record view
        merged with pzQuery.js
        added pzHttpRequest class

client.js:
        updated to use the new library

Fix check for yaz-ztest. Fixed make distcheck.

Use -l for pazpar2.

Added option pazpar2 option -l to specify logfile. Removed usage msg
and removed description for no longer supported options.

Regression test, test_http.sh, moved to sub directory test. The test
makes a session, tries stat, search and show on a local yaz-ztest.
Route make_sessionid modified to return deterministic session ID.
If that is considered a problem an option or configuration must be
added to Pazpar2 so this can be tuned.

continuing work on ICU chain of command pattern, not finished yet

Begin work on PP2 WS HTTP test.

Simplify: use wrbuf_cstr to get a NUL-terminated string out. xfree works
fine on a NULL ptr.

Exit when address is already in use (HTTP binding).

ICU chain of normalizers and tokenizers half-way implemented

Minor changes to allow logging out in the client.

inital version of ICU chain XML config test file

removed dead code from this file

free-ing memory to avoid memory leakage in test program

checked in very nice ICU normalization examples

Ignore targets with no name associated -- this is one way to eliminate
'ghost' targets without settins -- at least a name must be set before
a search can proceed.

Added icu_buf_utf8_copy() and  icu_buf_utf16_copy() functions.
Finished wrapping ICU transliterator in new icu_normalizator object including constructor, destructer, and normalize work functions. Needs more testing, though.

constructor and destructor wrappers for ICU transliterator services added

non-compiling tests temporarily removed with #if 0  ...  #endif

added first examples of ICU transliterator token normalization

test_icu_I18N.c

started ICU transliterator integration for more complex normalization rules than lowercasing

danish tokenization unit test added, counting error in tokenizer corrected

Factor relevance charset normalization out to a separate implementation
in charsets.c.

fixed tokenization counting error, added more english tokenization
unit tests

Replacing trie with linear search using linked list. The trie is
both overkill and does not handle null-terminated strings. This change
is one step towards a configurable character set system (which may
use ICU as driver).

Changed string chop right; problem is that a pointer could point to
one element before the start of an array (only one element after is
portable).

ICU tokenizer works now

Updated query handling.

removed now superflous expwerimental file. useful contetn moved to icu_I18N.c

remove now unnecessary ICU bug experimenting file, useful content moved into icu_I18N.c

pretty-formatted all ICU code and removed dead code sections

updated ICU casemap wrappers to use dynamic buffers, all ICU tests succeed

moved working ICU sorting into YAZ unittest test_icu_I18N.c
commented casemapping out for the time beeing, need to integrate with new dynamic ICU buffers

updatet error reporting to only report when strings are actually
sorted wrongly

corrected error handeling in UErrorCode icu_utf16_from_utf8() to
mirror the error handeling in UErrorCode icu_utf16_from_utf8_cstr();

unnecessary comments and print statements removed

ICU sorting works correct now. Had forgotten to pass on the correct length of the destination buffer. Dynamic destination bugger resizing works as well.

buffer stuff ok now, correct resizing
added printout of sort keys to see what get's wrong here ..

changed error handeling, which had nasty side effects

tweaking .. using dynamic allocated buffers. Now sorting fails again, but using static buffers as in icu_bug.c it works ..

Minor changes to make it easier for for the server side scipt to init session.

added ICU experiment which sorts correctly given all locales tried.

tweaking, still no good results with danish sorting

Added some more locales which fail. Something is very rotten in the kingdom of Denmark! Need to find out what wents wrong ...

Added sorting test for ICU - only used in test_icu_I18N.c so far.
English and german sorting tests perform fine (including german special characters), but sorting of danish special characters fails. Very suspect. Needs more investigation! See  test_icu_I18N_sortmap() in test_icu_I18N.c for details

moved ICU helper function declarations from icu_I18N.h header file to icu_I18N.c source file

cleaned ICU case folding/mapping tests

Fixed compilation of test test_icu_I18N (syntax error).

Handle situation where IDF becomes 0 because all records contain a term (occurs
frequently when records result from a search).

This actually suggests that there may be a better technique than IDF for balancing
our TF, but I'll be darned if I know what it is.

Handle records with null-value for string sortkey

Added Paratext to demo

Added new resources. Configuration changes

Varous display changes to MK demo

checked in test for ICU uppercase lowercase, title and foldcase char mapping

Hardcoded motd in index.html. Cleared in onFormSubmit. This should be read from a file
or something, but what?

added autoconf checks on ICU internationalization libs and established first test framework on ICU. Tests are still empty, to be added later.

Factorized char normalization code out to normalize7bit.[hc] .

Removed unnecessary tests and assert
on service conf_metadata, as  those are now
satisfied on service creation time (in config.c in function
conf_metadata_assign()) once under startup, and not every time a new
record is to be parsed.

Removed unneeded logging when  service->merge == Metadata_merge_no .

Replaced manual record allocation with call to record constructor.

Replaced loop to find conf_metadata field_id with call to
conf_service_metadata_field_id().

Replaced manual record_metadata allocation with call to
record_metadata_create(se->nmem).

All these changes have been made with safety guards following this idom:
#if 0
  //oldcode
#else
  /newcode
#endif
such that they can be reverted easy if need might be. The #if guards will of
course disapear, when we have confirmed that the code behaves exaactly the
same as before.

added struct record_metadata * record_metadata_create(NMEM nmem)

in conf_metadata_assign() enforcing that merge_range is always
type_year _and_ enforcing that type_year is always range_merge, thus
setting contrains correctly at beginning of a server session setting
processing.
Removing these then unnecessary tests from ingest_record(), where
there will produce warnings logs nobody can do anything about at that
time, and where they are run for each ingested record.
Less code, less performed if statements, no unnecessary warning logs.

enforcing that years type metadata is always range merged

started facturizing 7 bit ascii normalizing functions out of logic.c into normalization7bit.[hc]
later to be replaced by ICU normalization
still many bits need to be identified and moved

added setting sortkey on clusters, needs still nice wrapping in cluster interfaces

using more of the record functions, adding record_metadata creator

using record creator functions in production code in ingest_record()

renamed local variables to more expressive names

renaming position to field_id

simplified to one title string sorting only, still crashes

comed to the point where I can start testing sorting of records in the recordslist.
But there is a nasty segfault in  reclist_sort(list, sort_parms) which needs to be sorted out before proceeding - prpbably a global parameter referenced someplace. just checking in to save the work so far, continuing tomorrow

added test_reclists to CVS ignores

forgotten to commit Makefile.am, which contains instructions for new test_reclists.c