Beautifying documentation
[pazpar2-moved-to-github.git] / doc / book.xml
1 <?xml version="1.0" standalone="no"?>
2 <!DOCTYPE book PUBLIC "-//OASIS//DTD DocBook XML V4.1//EN"
3     "http://www.oasis-open.org/docbook/xml/4.1/docbookx.dtd" 
4 [
5      <!ENTITY % local SYSTEM "local.ent">
6      %local;
7      <!ENTITY % entities SYSTEM "entities.ent">
8      %entities;
9      <!ENTITY % idcommon SYSTEM "common/common.ent">
10      %idcommon;
11 ]>
12 <book id="book">
13  <bookinfo>
14   <title>Pazpar2 - User's Guide and Reference</title>
15   <author>
16    <firstname>Sebastian</firstname><surname>Hammer</surname>
17   </author>
18   <author>
19    <firstname>Adam</firstname><surname>Dickmeiss</surname>
20   </author>
21   <author>
22    <firstname>Marc</firstname><surname>Cromme</surname>
23   </author>
24   <author>
25    <firstname>Jakub</firstname><surname>Skoczen</surname>
26   </author>
27   <releaseinfo>&version;</releaseinfo>
28   <copyright>
29    <year>&copyright-year;</year>
30    <holder>Index Data</holder>
31   </copyright>
32   <abstract>
33    <simpara>
34     Pazpar2 is a high-performance, user interface-independent, data
35     model-independent metasearching
36     middle-ware featuring merging, relevance ranking, record sorting, 
37     and faceted results.
38    </simpara>
39    <simpara>
40     This document is a guide and reference to Pazpar2 version &version;.
41    </simpara>
42    <simpara>
43     <inlinemediaobject>
44      <imageobject>
45       <imagedata fileref="common/id.png" format="PNG"/>
46    </imageobject>
47     <imageobject>
48      <imagedata fileref="common/id.eps" format="EPS"/>
49    </imageobject>
50    </inlinemediaobject>
51    </simpara>
52   </abstract>
53  </bookinfo>
54  
55  <chapter id="introduction">
56   <title>Introduction</title>
57   <para>
58    Pazpar2 is a stand-alone metasearch client with a web-service API, designed
59    to be used either from a browser-based client (JavaScript, Flash, Java,
60    etc.), from server-side code, or any combination of the two.
61    Pazpar2 is a highly optimized client designed to
62    search many resources in parallel. It implements record merging,
63    relevance-ranking and sorting by arbitrary data content, and facet
64    analysis for browsing purposes. It is designed to be data model
65    independent, and is capable of working with MARC, DublinCore, or any
66    other <ulink url="&url.xml;">XML</ulink>-structured response format
67    -- <ulink url="&url.xslt;">XSLT</ulink> is used to normalize and extract
68    data from retrieval records for display and analysis. It can be used
69    against any server which supports the 
70    <ulink url="&url.z39.50;">Z39.50</ulink> protocol. Proprietary
71    backend modules can be used to support a large number of other protocols
72    (please contact Index Data for further information about this).
73   </para>
74   <para>
75    Additional functionality such as
76    user management, attractive displays are expected to be implemented by
77    applications that use Pazpar2. Pazpar2 is user interface independent.
78    Its functionality is exposed through a simple REST-style web-service API,
79    designed to be simple to use from an Ajax-enabled browser, Flash
80    animation, Java applet, etc., or from a higher-level server-side language
81    like PHP or Java. Because session information can be shared between
82    browser-based logic and your server-side scripting, there is tremendous
83    flexibility in how you implement your business logic on top of Pazpar2.
84   </para>
85   <para>
86    Once you launch a search in Pazpar2, the operation continues behind the
87    scenes. Pazpar2 connects to servers, carries out searches, and
88    retrieves, deduplicates, and stores results internally. Your application
89    code may periodically inquire about the status of an ongoing operation,
90    and ask to see records or other result set facets. Result becomes
91    available immediately, and it is easy to build end-user interfaces which
92    feel extremely responsive, even when searching more than 100 servers
93    concurrently.
94   </para>
95   <para>
96    Pazpar2 is designed to be highly configurable. Incoming records are
97    normalized to XML/UTF-8, and then further normalized using XSLT to a
98    simple internal representation that is suitable for analysis. By
99    providing XSLT stylesheets for different kinds of result records, you
100    can tune Pazpar2 to work against different kinds of information
101    retrieval servers. Finally, metadata is extracted, in a configurable
102    way, from this internal record, to support display, merging, ranking,
103    result set facets, and sorting. Pazpar2 is not bound to a specific model
104    of metadata, such as DublinCore or MARC -- by providing the right
105    configuration, it can work with a number of different kinds of data in
106    support of many different applications.
107   </para>
108   <para>
109    Pazpar2 is designed to be efficient and scalable. You can set it up to
110    search several hundred targets in parallel, or you can use it to support
111    hundreds of concurrent users. It is implemented with the same attention
112    to performance and economy that we use in our indexing engines, so that
113    you can focus on building your application, without worrying about the
114    details of metasearch logic. You can devote all of your attention to
115    usability and let Pazpar2 do what it does best -- metasearch.
116   </para>
117   <para>
118    If you wish to connect to commercial or other databases which do not
119    support open standards, please contact Index Data. We have a licensing
120    agreement with a third party vendor which will enable Pazpar2 to access
121    thousands of online databases, in addition to the vast number of catalogs
122    and online services that support the Z39.50 protocol.
123   </para>
124   <para>
125    Pazpar2 is our attempt to re-think the traditional paradigms for
126    implementing and deploying metasearch logic, with an uncompromising
127    approach to performance, and attempting to make maximum use of the
128    capabilities of modern browsers. The demo user interface that
129    accompanies the distribution is but one example. If you think of new
130    ways of using Pazpar2, we hope you'll share them with us, and if we
131    can provide assistance with regards to training, design, programming,
132    integration with different backends, hosting, or support, please don't
133    hesitate to contact us. If you'd like to see functionality in Pazpar2
134    that is not there today, please don't hesitate to contact us. It may
135    already be in our development pipeline, or there might be a
136    possibility for you to help out by sponsoring development time or
137    code. Either way, get in touch and we will give you straight answers.
138   </para>
139   <para>
140    Enjoy!
141   </para>
142   <para>
143    Pazpar2 is covered by the GNU license version 2.
144    See <xref linkend="license"/> for further information.
145   </para>
146  </chapter>
147
148  <chapter id="installation">
149   <title>Installation</title>
150   <para>
151    The Pazpar2 package is very small. It includes documentation as well
152    as the Pazpar2 server. The package also includes a simple user
153    interface test1 which consists of a single HTML page and a single
154    JavaScript file to illustrate the use of Pazpar2.
155   </para>
156   <para>
157    Pazpar2 depends on the following tools/libraries:
158    <variablelist>
159     <varlistentry><term><ulink url="&url.yaz;">YAZ</ulink></term>
160      <listitem>
161       <para>
162        The popular Z39.50 toolkit for the C language.
163        YAZ <emphasis>must</emphasis> be compiled with Libxml2/Libxslt support.
164       </para>
165      </listitem>
166     </varlistentry>
167     <varlistentry><term><ulink url="&url.icu;">International
168        Components for Unicode (ICU)</ulink></term>
169      <listitem>
170       <para>
171        ICU provides Unicode support for non-English languages with
172        character sets outside the range of 7bit ASCII, like
173        Greek, Russian, German and French. Pazpar2 uses the ICU
174        Unicode character conversions, Unicode normalization, case
175        folding and other fundamental operations needed in
176        tokenization, normalization and ranking of records. 
177       </para>
178       <para>
179        Compiling, linking, and usage of the ICU libraries is optional,
180        but strongly recommended for usage in an international
181        environment.  
182       </para>
183      </listitem>
184     </varlistentry>
185    </variablelist>
186   </para>
187   <para>
188    In order to compile Pazpar2, a C compiler which supports C99 or later
189    is required.
190   </para>
191
192   <section id="installation.unix">
193    <title>Installation on Unix (from Source)</title>
194    <para>
195     The latest source code for Pazpar2 is available from
196     <ulink url="&url.pazpar2.download;"/>.
197      Only few systems have none of the required
198      tools binary packages.
199      If, for example, Libxml2/libXSLT libraries
200     are already installed as development packages use these.
201    </para>
202    
203    <para>
204     Ensure that the development libraries + header files are
205     available on your system before compiling Pazpar2. For installation
206     of YAZ, refer to the YAZ installation chapter.
207    </para>
208    <screen>
209     gunzip -c pazpar2-version.tar.gz|tar xf -
210     cd pazpar2-version
211     ./configure
212     make
213     su
214     make install
215    </screen>
216    <para>
217     The <literal>make install</literal> will install manpages as well as the
218     Pazpar2 server, <literal>pazpar2</literal>, 
219     in PREFIX<literal>/sbin</literal>.
220     By default, PREFIX is <literal>/usr/local/</literal> . This can be
221     changed with configure option <option>--prefix</option>.
222    </para>
223   </section>
224
225   <section id="installation.win32">
226     <title>Installation on Windows (from Source)</title>
227     <para>
228       Pazpar2 can be built for Windows using
229       <ulink url="&url.vstudio;">Microsoft Visual Studio</ulink>.
230       The support files for building YAZ on Windows are located in the
231       <filename>win</filename> directory. The compilation is performed
232       using the <filename>win/makefile</filename> which is to be
233       processed by the NMAKE utility part of Visual Studio.
234     </para>
235     <para>
236       Ensure that the development libraries + header files are
237       available on your system before compiling Pazpar2. For installation
238       of YAZ, refer to the YAZ installation chapter.
239       It is easiest if YAZ and Pazpar2 are unpacked in the same
240       directory (side-by-side).
241     </para>
242     <para>
243       The compilation is tuned by editing the makefile of Pazpar2.
244       The process is similar to YAZ. Adjust the various directories
245       <literal>YAZ_DIR</literal>, <literal>ZLIB_DIR</literal>, ..
246     </para>
247     <para>
248       Compile Pazpar2 by invoking <application>nmake</application> in
249       the <filename>win</filename> directory.
250       The resulting binaries of the build process are located in the
251       <filename>bin</filename> of the Pazpar2 source
252       tree - including the <filename>pazpar2.exe</filename> and necessary DLLs.
253     </para>
254     <para>
255       The Windows version of Pazpar2 is a console application. It may
256       be installed as a Windows Service by adding option 
257       <literal>-install</literal> for the pazpar2 program. This will
258       register Pazpar2 as a service and use the other options provided
259       in the same invocation. For example:
260       <screen>
261         cd \MyPazpar2\etc
262         ..\bin\pazpar2 -install -c pazpar2.cfg -l pazpar2.log
263       </screen>
264       The Pazpar2 service may now be controlled via the Service Control
265       Panel. It may be unregistered by passing the <literal>-remove</literal>
266       option. Example:
267       <screen>
268         cd \MyPazpar2\etc
269         ..\bin\pazpar2 -remove
270       </screen>
271     </para>
272   </section>
273
274   <section id="installation.test1">
275    <title>Installation of test1 interface</title>
276    <para>
277     In this section we outline how to install a simple interface that
278     is part of the Pazpar2 source package. Note that Debian users can
279     save time by just installing package <literal>pazpar2-test1</literal>.
280    </para>
281    <para>
282     A web server must be installed and running on the system, such as Apache.
283    </para>
284
285    <para>
286     Start the Pazpar2 daemon using the 'in-source' binary of the Pazpar2
287     daemon. On Unix the process is:
288     <screen>
289      cd etc
290      cp pazpar2.cfg.dist pazpar2.cfg
291      ../src/pazpar2 -f pazpar2.cfg -t edu.xml
292     </screen>
293     And on Windows:
294     <screen>
295      cd etc
296      copy pazpar2.cfg.dist pazpar2.cfg
297      ..\bin\pazpar2 -f pazpar2.cfg -t edu.xml
298     </screen>
299     This will start a Pazpar2 listener on port 8004. It will proxy 
300     HTTP requests to localhost - port 80, which we assume will be the regular
301     HTTP server on the system. Inspect and modify pazpar2.cfg as needed
302     if this is to be changed. The -t option specifies the list of targets
303     to use for searches.
304    </para>
305    <para>
306     Make a new console and move to the other stuff.
307     For more information about pazpar2 options refer to the manpage.
308    </para>
309
310    <para>
311     The test1 UI is located in <literal>www/test1</literal>. Ensure this
312     directory is available to the web server by either copying 
313     <literal>test1</literal> to the document root, create a symlink or
314     use Apache's <literal>Alias</literal> directive.
315    </para>
316
317    <para>
318     The interface test1 interface should now be available on port 8004.
319    </para>
320    <para>
321     If you don't see the test1 interface. See if test1 is really available
322     on the same URL but on port 80. If it's not, the Apache configuration
323     (or other) is not correct. 
324    </para>
325    <para>
326     In order to use Apache as frontend for the interface on port 80
327     for public access etc., refer to 
328     <xref linkend="installation.apache2proxy"/>.
329    </para>
330   </section>
331
332   <section id="installation.debian">
333    <title>Installation on Debian GNU/Linux</title>
334    <para>
335     Index Data provides Debian packages for Pazpar2. These are prepared
336     for Debian versions Etch and Lenny (as of 2007).
337     These packages are available at
338     <ulink url="&url.pazpar2.download.debian;"/>.
339    </para>
340   </section>
341
342   <section id="installation.apache2proxy">
343    <title>Apache 2 Proxy</title>
344    <para>
345     Apache 2 has a 
346     <ulink url="http://httpd.apache.org/docs/2.2/mod/mod_proxy.html">
347      proxy module
348     </ulink> which allows Pazpar2 to become a backend to an Apache 2
349     based web service. The Apache 2 proxy must operate in the
350     <emphasis>Reverse</emphasis> Proxy mode.
351    </para>
352    
353    <para>
354     On a Debian based Apache 2 system, the relevant modules can
355     be enabled with:
356     <screen>
357      sudo a2enmod proxy_http
358     </screen>
359    </para>
360
361    <para>
362     Traditionally Pazpar2 interprets URL paths with suffix 
363     <literal>/search.pz2</literal>.
364     The 
365     <ulink 
366      url="http://httpd.apache.org/docs/2.2/mod/mod_proxy.html#proxypass"
367      >ProxyPass</ulink> directive of Apache must be used to map a URL path
368     the the Pazpar2 server (listening port).
369    </para>
370
371    <note>
372     <para>
373      The ProxyPass directive takes a prefix rather than
374      a suffix as URL path. It is important that the Java Script code
375      uses the prefix given for it.
376     </para>
377    </note>
378
379    <example id="installation.apache2proxy.example">
380     <title>Apache 2 proxy configuration</title>
381     <para>
382      If Pazpar2 is running on port 8004 and the portal is using
383      <filename>search.pz2</filename> inside portal in directory
384      <filename>/myportal/</filename> we could use the following
385      Apache 2 configuration:
386
387      <screen><![CDATA[
388       <IfModule mod_proxy.c>
389        ProxyRequests Off
390       
391        <Proxy *>
392         AddDefaultCharset off
393         Order deny,allow
394         Allow from all
395        </Proxy>
396       
397        ProxyPass /myportal/search.pz2 http://localhost:8004/search.pz2
398        ProxyVia Off
399       </IfModule>
400       ]]></screen>
401     </para>
402    </example>
403   </section>
404
405  </chapter>
406
407  <chapter id="using">
408   <title>Using Pazpar2</title>
409   <para>
410    This chapter provides a general introduction to the use and
411    deployment of Pazpar2. 
412   </para>
413
414   <section id="architecture">
415    <title>Pazpar2 and your systems architecture</title>
416    <para>
417     Pazpar2 is designed to provide asynchronous, behind-the-scenes
418     metasearching functionality to your application, exposing this
419     functionality using a simple webservice API that can be accessed
420     from any number of development environments. In particular, it is
421     possible to combine Pazpar2 either with your server-side dynamic
422     website scripting, with scripting or code running in the browser, or
423     with any combination of the two. Pazpar2 is an excellent tool for
424     building advanced, Ajax-based user interfaces for metasearch
425     functionality, but it isn't a requirement -- you can choose to use
426     Pazpar2 entirely as a backend to your regular server-side scripting.
427     When you do use Pazpar2 in conjunction
428     with browser scripting (JavaScript/Ajax, Flash, applets,
429     etc.), there are    special considerations.
430    </para>
431
432    <para>
433     Pazpar2 implements a simple but efficient HTTP server, and it is
434     designed to interact directly with scripting running in the browser
435     for the best possible performance, and to limit overhead when
436     several browser clients generate numerous webservice requests.
437     However, it is still desirable to use a conventional webserver,
438     such as Apache, to serve up graphics, HTML documents, and
439     server-side scripting. Because the security sandbox environment of
440     most browser-side programming environments only allows communication
441     with the server from which the enclosing HTML page or object
442     originated, Pazpar2 is designed so that it can act as a transparent
443     proxy in front of an existing webserver (see <xref
444      linkend="pazpar2_conf"/> for details). 
445     In this mode, all regular
446     HTTP requests are transparently passed through to your webserver,
447     while Pazpar2 only intercepts search-related webservice requests.
448    </para>
449
450    <para>
451     If you want to expose your combined service on port 80, you can
452     either run your regular webserver on a different port, a different
453     server, or a different IP address associated with the same server.
454    </para>
455
456    <para>
457     Pazpar2 can also work behind
458     a reverse Proxy. Refer to <xref linkend="installation.apache2proxy"/>)
459     for more information.
460     This allows your existing HTTP server to operate on port 80 as usual.
461     Pazpar2 can be started on another (internal) port.
462    </para>
463
464    <para>
465     Sometimes, it may be necessary to implement functionality on your
466     regular webserver that makes use of search results, for example to
467     implement data import functionality, emailing results, history
468     lists, personal citation lists, interlibrary loan functionality,
469     etc. Fortunately, it is simple to exchange information between
470     Pazpar2, your browser scripting, and backend server-side scripting.
471     You can send a session ID and possibly a record ID from your browser
472     code to your server code, and from there use Pazpar2s webservice API
473     to access result sets or individual records. You could even 'hide'
474     all of Pazpar2s functionality between your own API implemented on
475     the server-side, and access that from the browser or elsewhere. The
476     possibilities are just about endless.
477    </para>
478   </section>
479
480   <section id="data_model">
481    <title>Your data model</title>
482    <para>
483     Pazpar2 does not have a preconceived model of what makes up a data
484     model. There are no assumptions that records have specific fields or
485     that they are organized in any particular way. The only assumption
486     is that data comes packaged in a form that the software can work
487     with (presently, that means XML or MARC), and that you can provide
488     the necessary information to massage it into Pazpar2's internal
489     record abstraction.
490    </para>
491
492    <para>
493     Handling retrieval records in Pazpar2 is a two-step process. First,
494     you decide which data elements of the source record you are
495     interested in, and you specify any desired massaging or combining of
496     elements using an XSLT stylesheet (MARC records are automatically
497     normalized to <ulink url="&url.marcxml;">MARCXML</ulink> before this step).
498     If desired, you can run multiple XSLT stylesheets in series to accomplish
499     this, but the output of the last one should be a representation of the
500     record in a schema that Pazpar2 understands.
501    </para>
502
503    <para>
504     The intermediate, internal representation of the record looks like
505     this:
506     <screen><![CDATA[
507      <record   xmlns="http://www.indexdata.com/pazpar2/1.0"
508      mergekey="title The Shining author King, Stephen">
509
510      <metadata type="title">The Shining</metadata>
511
512      <metadata type="author">King, Stephen</metadata>
513
514      <metadata type="kind">ebook</metadata>
515
516      <!-- ... and so on -->
517     </record>
518      ]]></screen>
519
520     As you can see, there isn't much to it. There are really only a few
521     important elements to this file.
522    </para>
523
524    <para>
525     Elements should belong to the namespace
526     <literal>http://www.indexdata.com/pazpar2/1.0</literal>.
527     If the root node contains the
528     attribute 'mergekey', then every record that generates the same
529     merge key (normalized for case differences, white space, and
530     truncation) will be joined into a cluster. In other words, you
531     decide how records are merged. If you don't include a merge key,
532     records are never merged. The 'metadata' elements provide the meat
533     of the elements -- the content. the 'type' attribute is used to
534     match each element against processing rules that determine what
535     happens to the data element next.
536    </para>
537
538    <para>
539     The next processing step is the extraction of metadata from the
540     intermediate representation of the record. This is governed by the
541     'metadata' elements in the 'service' section of the configuration
542     file. See <xref linkend="config-server"/> for details. The metadata
543     in the retrieval record ultimately drives merging, sorting, ranking,
544     the extraction of browse facets, and display, all configurable.
545    </para>
546   </section>
547
548   <section id="client">
549    <title>Client development overview</title>
550    <para>
551     You can use Pazpar2 from any environment that allows you to use
552     webservices. The initial goal of the software was to support
553     Ajax-based applications, but there literally are no limits to what
554     you can do. You can use Pazpar2 from Javascript, Flash, Java, etc.,
555     on the browser side, and from any development environment on the
556     server side, and you can pass session tokens and record IDs freely
557     around between these environments to build sophisticated applications.
558     Use your imagination.
559    </para>
560
561    <para>
562     The webservice API of Pazpar2 is described in detail in <xref
563      linkend="pazpar2_protocol"/>.
564    </para>
565
566    <para>
567     In brief, you use the 'init' command to create a session, a
568     temporary workspace which carries information about the current
569     search. You start a new search using the 'search' command. Once the
570     search has been started, you can follow its progress using the
571     'stat', 'bytarget', 'termlist', or 'show' commands. Detailed records
572     can be fetched using the 'record' command.
573    </para>
574   </section>
575
576   &sect-ajaxdev;
577
578   <section id="nonstandard">
579    <title>Connecting to non-standard resources</title>
580    <para>
581     Pazpar2 uses Z39.50 as its switchboard language -- i.e. as far as it
582     is concerned, all resources speak Z39.50. It is, however, equipped
583     to handle a broad range of different server behavior, through
584     configurable query mapping and record normalization. If you develop
585     configuration, stylesheets, etc., for a new type of resources, we
586     encourage you to share your work. But you can also use Pazpar2 to
587     connect to hundreds of resources that do not support standard
588     protocols.
589    </para>
590
591    <para>
592     For a growing number of resources, Z39.50 is all you need. Over the
593     last few years, a number of commercial, full-text resources have
594     implemented Z39.50. These can be used through Pazpar2 with little or
595     no effort. Resources that use non-standard record formats will
596     require a bit of XSLT work, but that's all.
597    </para>
598
599    <para>
600     But what about resources that don't support Z39.50 at all? The NISO
601     SRU (MXG) protocol is slowly gathering steam. Other resources might
602     support OpenSearch, private, XML/HTTP-based protocols, or something
603     else entirely. Some databases exist only as web user interfaces and
604     will require screen-scraping. Still others exist only as static
605     files, or perhaps as databases supporting the OAI-PMH protocol.
606     There is hope! Read on.
607    </para>
608
609    <para>
610     Index Data continues to advocate the support of open standards. We
611     work with database vendors to support standards, so you don't have
612     to worry about programming against non-standard services. We also
613     provide tools (see <ulink
614      url="http://www.indexdata.com/simpleserver">SimpleServer</ulink>)
615     which make it comparatively easy to build gateways against servers
616     with non-standard behavior. Again, we encourage you to share any
617     work you do in this direction.
618    </para>
619
620    <para>
621     But the bottom line is that working with non-standard resources in
622     metasearching is really, really hard. If you want to build a
623     project with Pazpar2, and you need access to resources with
624     non-standard interfaces, we can help. We run gateways to more than
625     2,000 popular, commercial databases and other resources,
626     making it simple 
627     to plug them directly into Pazpar2. For a small annual fee per
628     database, we can help you establish connections to your licensed
629     resources. Meanwhile, you can help! If you build your own
630     standards-compliant gateways, host them for others, or share the
631     code! And tell your vendors that they can save everybody money and
632     increase the appeal of their resources by supporting standards.
633    </para>
634
635    <para>
636     There are those who will ask us why we are using Z39.50 as our
637     switchboard language rather than a different protocol. Basically,
638     we believe that Z39.50 is presently the most widely implemented 
639     information retrieval protocol that has the level of functionality
640     required to support a good metasearching experience (structured
641     searching, structured, well-defined results). It is also compact and
642     efficient, and there is a very broad range of tools available to
643     implement it.
644    </para>
645   </section>
646
647   <section id="unicode">
648    <title>Unicode Compliance</title>
649    <para>
650     Pazpar2 is Unicode compliant and language and locale aware but relies
651     on character encoding for the targets to be specified correctly if
652     the targets themselves are not UTF-8 based (most aren't).
653     Just a few bad behaving targets can spoil the search experience
654     considerably if for example Greek, Russian or otherwise non 7-bit ASCII
655     search terms are entered. In these cases some targets return
656     records irrelevant to the query, and the result screens will be
657     cluttered with noise.
658    </para>
659    <para>
660     While noise from misbehaving targets can not be removed, it can
661     be reduced using truly Unicode based ranking. This is an
662     option which is available to the system administrator if ICU
663     support is compiled into Pazpar2, see
664     <xref linkend="installation"/> for details.
665    </para>
666    <para>
667     In addition, the ICU tokenization and normalization rules must
668     be defined in the master configuration file described in 
669     <xref linkend="config-server"/>.
670    </para>
671   </section>
672
673  </chapter> <!-- Using Pazpar2 -->
674
675  <reference id="reference">
676   <title>Reference</title>
677   <partintro id="reference-introduction">
678    <para>
679     The material in this chapter is drawn directly from the individual
680     manual entries.
681    </para>
682   </partintro>
683   &manref;
684  </reference>
685
686  <appendix id="license"><title>License</title>
687   
688   <section id="gpl"><title>GPL</title>
689    
690    <para>
691     Pazpar2,
692     Copyright &copy; &copyright-year; Index Data.
693    </para>
694    
695    <para>
696     Pazpar2 is free software; you can redistribute it and/or modify it under
697     the terms of the GNU General Public License as published by the Free
698     Software Foundation; either version 2, or (at your option) any later
699     version.
700    </para>
701    
702    <para>
703     Pazpar2 is distributed in the hope that it will be useful, but WITHOUT ANY
704     WARRANTY; without even the implied warranty of MERCHANTABILITY or
705     FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
706     for more details.
707    </para>
708    
709    <para>
710     You should have received a copy of the GNU General Public License
711     along with Pazpar2; see the file LICENSE.  If not, write to the
712     Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
713     02111-1307, USA.
714    </para>
715    
716    <screen>
717                     GNU GENERAL PUBLIC LICENSE
718                        Version 2, June 1991
719
720  Copyright (C) 1989, 1991 Free Software Foundation, Inc.
721      59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
722  Everyone is permitted to copy and distribute verbatim copies
723  of this license document, but changing it is not allowed.
724
725                             Preamble
726
727   The licenses for most software are designed to take away your
728 freedom to share and change it.  By contrast, the GNU General Public
729 License is intended to guarantee your freedom to share and change free
730 software--to make sure the software is free for all its users.  This
731 General Public License applies to most of the Free Software
732 Foundation's software and to any other program whose authors commit to
733 using it.  (Some other Free Software Foundation software is covered by
734 the GNU Library General Public License instead.)  You can apply it to
735 your programs, too.
736
737   When we speak of free software, we are referring to freedom, not
738 price.  Our General Public Licenses are designed to make sure that you
739 have the freedom to distribute copies of free software (and charge for
740 this service if you wish), that you receive source code or can get it
741 if you want it, that you can change the software or use pieces of it
742 in new free programs; and that you know you can do these things.
743
744   To protect your rights, we need to make restrictions that forbid
745 anyone to deny you these rights or to ask you to surrender the rights.
746 These restrictions translate to certain responsibilities for you if you
747 distribute copies of the software, or if you modify it.
748
749   For example, if you distribute copies of such a program, whether
750 gratis or for a fee, you must give the recipients all the rights that
751 you have.  You must make sure that they, too, receive or can get the
752 source code.  And you must show them these terms so they know their
753 rights.
754
755   We protect your rights with two steps: (1) copyright the software, and
756 (2) offer you this license which gives you legal permission to copy,
757 distribute and/or modify the software.
758
759   Also, for each author's protection and ours, we want to make certain
760 that everyone understands that there is no warranty for this free
761 software.  If the software is modified by someone else and passed on, we
762 want its recipients to know that what they have is not the original, so
763 that any problems introduced by others will not reflect on the original
764 authors' reputations.
765
766   Finally, any free program is threatened constantly by software
767 patents.  We wish to avoid the danger that redistributors of a free
768 program will individually obtain patent licenses, in effect making the
769 program proprietary.  To prevent this, we have made it clear that any
770 patent must be licensed for everyone's free use or not licensed at all.
771
772   The precise terms and conditions for copying, distribution and
773 modification follow.
774
775                     GNU GENERAL PUBLIC LICENSE
776    TERMS AND CONDITIONS FOR COPYING, DISTRIBUTION AND MODIFICATION
777
778   0. This License applies to any program or other work which contains
779 a notice placed by the copyright holder saying it may be distributed
780 under the terms of this General Public License.  The "Program", below,
781 refers to any such program or work, and a "work based on the Program"
782 means either the Program or any derivative work under copyright law:
783 that is to say, a work containing the Program or a portion of it,
784 either verbatim or with modifications and/or translated into another
785 language.  (Hereinafter, translation is included without limitation in
786 the term "modification".)  Each licensee is addressed as "you".
787
788 Activities other than copying, distribution and modification are not
789 covered by this License; they are outside its scope.  The act of
790 running the Program is not restricted, and the output from the Program
791 is covered only if its contents constitute a work based on the
792 Program (independent of having been made by running the Program).
793 Whether that is true depends on what the Program does.
794
795   1. You may copy and distribute verbatim copies of the Program's
796 source code as you receive it, in any medium, provided that you
797 conspicuously and appropriately publish on each copy an appropriate
798 copyright notice and disclaimer of warranty; keep intact all the
799 notices that refer to this License and to the absence of any warranty;
800 and give any other recipients of the Program a copy of this License
801 along with the Program.
802
803 You may charge a fee for the physical act of transferring a copy, and
804 you may at your option offer warranty protection in exchange for a fee.
805
806   2. You may modify your copy or copies of the Program or any portion
807 of it, thus forming a work based on the Program, and copy and
808 distribute such modifications or work under the terms of Section 1
809 above, provided that you also meet all of these conditions:
810
811     a) You must cause the modified files to carry prominent notices
812     stating that you changed the files and the date of any change.
813
814     b) You must cause any work that you distribute or publish, that in
815     whole or in part contains or is derived from the Program or any
816     part thereof, to be licensed as a whole at no charge to all third
817     parties under the terms of this License.
818
819     c) If the modified program normally reads commands interactively
820     when run, you must cause it, when started running for such
821     interactive use in the most ordinary way, to print or display an
822     announcement including an appropriate copyright notice and a
823     notice that there is no warranty (or else, saying that you provide
824     a warranty) and that users may redistribute the program under
825     these conditions, and telling the user how to view a copy of this
826     License.  (Exception: if the Program itself is interactive but
827     does not normally print such an announcement, your work based on
828     the Program is not required to print an announcement.)
829
830 These requirements apply to the modified work as a whole.  If
831 identifiable sections of that work are not derived from the Program,
832 and can be reasonably considered independent and separate works in
833 themselves, then this License, and its terms, do not apply to those
834 sections when you distribute them as separate works.  But when you
835 distribute the same sections as part of a whole which is a work based
836 on the Program, the distribution of the whole must be on the terms of
837 this License, whose permissions for other licensees extend to the
838 entire whole, and thus to each and every part regardless of who wrote it.
839
840 Thus, it is not the intent of this section to claim rights or contest
841 your rights to work written entirely by you; rather, the intent is to
842 exercise the right to control the distribution of derivative or
843 collective works based on the Program.
844
845 In addition, mere aggregation of another work not based on the Program
846 with the Program (or with a work based on the Program) on a volume of
847 a storage or distribution medium does not bring the other work under
848 the scope of this License.
849
850   3. You may copy and distribute the Program (or a work based on it,
851 under Section 2) in object code or executable form under the terms of
852 Sections 1 and 2 above provided that you also do one of the following:
853
854     a) Accompany it with the complete corresponding machine-readable
855     source code, which must be distributed under the terms of Sections
856     1 and 2 above on a medium customarily used for software interchange; or,
857
858     b) Accompany it with a written offer, valid for at least three
859     years, to give any third party, for a charge no more than your
860     cost of physically performing source distribution, a complete
861     machine-readable copy of the corresponding source code, to be
862     distributed under the terms of Sections 1 and 2 above on a medium
863     customarily used for software interchange; or,
864
865     c) Accompany it with the information you received as to the offer
866     to distribute corresponding source code.  (This alternative is
867     allowed only for noncommercial distribution and only if you
868     received the program in object code or executable form with such
869     an offer, in accord with Subsection b above.)
870
871 The source code for a work means the preferred form of the work for
872 making modifications to it.  For an executable work, complete source
873 code means all the source code for all modules it contains, plus any
874 associated interface definition files, plus the scripts used to
875 control compilation and installation of the executable.  However, as a
876 special exception, the source code distributed need not include
877 anything that is normally distributed (in either source or binary
878 form) with the major components (compiler, kernel, and so on) of the
879 operating system on which the executable runs, unless that component
880 itself accompanies the executable.
881
882 If distribution of executable or object code is made by offering
883 access to copy from a designated place, then offering equivalent
884 access to copy the source code from the same place counts as
885 distribution of the source code, even though third parties are not
886 compelled to copy the source along with the object code.
887
888   4. You may not copy, modify, sublicense, or distribute the Program
889 except as expressly provided under this License.  Any attempt
890 otherwise to copy, modify, sublicense or distribute the Program is
891 void, and will automatically terminate your rights under this License.
892 However, parties who have received copies, or rights, from you under
893 this License will not have their licenses terminated so long as such
894 parties remain in full compliance.
895
896   5. You are not required to accept this License, since you have not
897 signed it.  However, nothing else grants you permission to modify or
898 distribute the Program or its derivative works.  These actions are
899 prohibited by law if you do not accept this License.  Therefore, by
900 modifying or distributing the Program (or any work based on the
901 Program), you indicate your acceptance of this License to do so, and
902 all its terms and conditions for copying, distributing or modifying
903 the Program or works based on it.
904
905   6. Each time you redistribute the Program (or any work based on the
906 Program), the recipient automatically receives a license from the
907 original licensor to copy, distribute or modify the Program subject to
908 these terms and conditions.  You may not impose any further
909 restrictions on the recipients' exercise of the rights granted herein.
910 You are not responsible for enforcing compliance by third parties to
911 this License.
912
913   7. If, as a consequence of a court judgment or allegation of patent
914 infringement or for any other reason (not limited to patent issues),
915 conditions are imposed on you (whether by court order, agreement or
916 otherwise) that contradict the conditions of this License, they do not
917 excuse you from the conditions of this License.  If you cannot
918 distribute so as to satisfy simultaneously your obligations under this
919 License and any other pertinent obligations, then as a consequence you
920 may not distribute the Program at all.  For example, if a patent
921 license would not permit royalty-free redistribution of the Program by
922 all those who receive copies directly or indirectly through you, then
923 the only way you could satisfy both it and this License would be to
924 refrain entirely from distribution of the Program.
925
926 If any portion of this section is held invalid or unenforceable under
927 any particular circumstance, the balance of the section is intended to
928 apply and the section as a whole is intended to apply in other
929 circumstances.
930
931 It is not the purpose of this section to induce you to infringe any
932 patents or other property right claims or to contest validity of any
933 such claims; this section has the sole purpose of protecting the
934 integrity of the free software distribution system, which is
935 implemented by public license practices.  Many people have made
936 generous contributions to the wide range of software distributed
937 through that system in reliance on consistent application of that
938 system; it is up to the author/donor to decide if he or she is willing
939 to distribute software through any other system and a licensee cannot
940 impose that choice.
941
942 This section is intended to make thoroughly clear what is believed to
943 be a consequence of the rest of this License.
944
945   8. If the distribution and/or use of the Program is restricted in
946 certain countries either by patents or by copyrighted interfaces, the
947 original copyright holder who places the Program under this License
948 may add an explicit geographical distribution limitation excluding
949 those countries, so that distribution is permitted only in or among
950 countries not thus excluded.  In such case, this License incorporates
951 the limitation as if written in the body of this License.
952
953   9. The Free Software Foundation may publish revised and/or new versions
954 of the General Public License from time to time.  Such new versions will
955 be similar in spirit to the present version, but may differ in detail to
956 address new problems or concerns.
957
958 Each version is given a distinguishing version number.  If the Program
959 specifies a version number of this License which applies to it and "any
960 later version", you have the option of following the terms and conditions
961 either of that version or of any later version published by the Free
962 Software Foundation.  If the Program does not specify a version number of
963 this License, you may choose any version ever published by the Free Software
964 Foundation.
965
966   10. If you wish to incorporate parts of the Program into other free
967 programs whose distribution conditions are different, write to the author
968 to ask for permission.  For software which is copyrighted by the Free
969 Software Foundation, write to the Free Software Foundation; we sometimes
970 make exceptions for this.  Our decision will be guided by the two goals
971 of preserving the free status of all derivatives of our free software and
972 of promoting the sharing and reuse of software generally.
973
974                             NO WARRANTY
975
976   11. BECAUSE THE PROGRAM IS LICENSED FREE OF CHARGE, THERE IS NO WARRANTY
977 FOR THE PROGRAM, TO THE EXTENT PERMITTED BY APPLICABLE LAW.  EXCEPT WHEN
978 OTHERWISE STATED IN WRITING THE COPYRIGHT HOLDERS AND/OR OTHER PARTIES
979 PROVIDE THE PROGRAM "AS IS" WITHOUT WARRANTY OF ANY KIND, EITHER EXPRESSED
980 OR IMPLIED, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF
981 MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE.  THE ENTIRE RISK AS
982 TO THE QUALITY AND PERFORMANCE OF THE PROGRAM IS WITH YOU.  SHOULD THE
983 PROGRAM PROVE DEFECTIVE, YOU ASSUME THE COST OF ALL NECESSARY SERVICING,
984 REPAIR OR CORRECTION.
985
986   12. IN NO EVENT UNLESS REQUIRED BY APPLICABLE LAW OR AGREED TO IN WRITING
987 WILL ANY COPYRIGHT HOLDER, OR ANY OTHER PARTY WHO MAY MODIFY AND/OR
988 REDISTRIBUTE THE PROGRAM AS PERMITTED ABOVE, BE LIABLE TO YOU FOR DAMAGES,
989 INCLUDING ANY GENERAL, SPECIAL, INCIDENTAL OR CONSEQUENTIAL DAMAGES ARISING
990 OUT OF THE USE OR INABILITY TO USE THE PROGRAM (INCLUDING BUT NOT LIMITED
991 TO LOSS OF DATA OR DATA BEING RENDERED INACCURATE OR LOSSES SUSTAINED BY
992 YOU OR THIRD PARTIES OR A FAILURE OF THE PROGRAM TO OPERATE WITH ANY OTHER
993 PROGRAMS), EVEN IF SUCH HOLDER OR OTHER PARTY HAS BEEN ADVISED OF THE
994 POSSIBILITY OF SUCH DAMAGES.
995
996                      END OF TERMS AND CONDITIONS
997    </screen> 
998   </section>
999  </appendix>
1000  
1001 </book>
1002
1003  <!-- Keep this comment at the end of the file
1004  Local variables:
1005  mode: sgml
1006  sgml-omittag:t
1007  sgml-shorttag:t
1008  sgml-minimize-attributes:nil
1009  sgml-always-quote-attributes:t
1010  sgml-indent-step:1
1011  sgml-indent-data:t
1012  sgml-parent-document: nil
1013  sgml-local-catalogs: nil
1014  sgml-namecase-general:t
1015  End:
1016  -->