doc/pazpar2_conf.xml

   1 <?xml version="1.0" standalone="no"?>
   2 <!DOCTYPE refentry PUBLIC "-//OASIS//DTD DocBook V4.4//EN"
   3  "http://www.oasis-open.org/docbook/xml/4.4/docbookx.dtd"
   4 [
   5      <!ENTITY % local SYSTEM "local.ent">
   6      %local;
   7      <!ENTITY % entities SYSTEM "entities.ent">
   8      %entities;
   9      <!ENTITY % idcommon SYSTEM "common/common.ent">
  10      %idcommon;
  11 ]>
  12 <refentry id="pazpar2_conf">
  13  <refentryinfo>
  14   <productname>Pazpar2</productname>
  15   <productnumber>&version;</productnumber>
  16   <info><orgname>Index Data</orgname></info>
  17  </refentryinfo>
  18
  19  <refmeta>
  20   <refentrytitle>Pazpar2 conf</refentrytitle>
  21   <manvolnum>5</manvolnum>
  22   <refmiscinfo class="manual">File formats and conventions</refmiscinfo>
  23  </refmeta>
  24
  25  <refnamediv>
  26   <refname>pazpar2_conf</refname>
  27   <refpurpose>Pazpar2 Configuration</refpurpose>
  28  </refnamediv>
  29
  30  <refsynopsisdiv>
  31   <cmdsynopsis>
  32    <command>pazpar2.conf</command>
  33   </cmdsynopsis>
  34  </refsynopsisdiv>
  35
  36  <refsect1>
  37   <title>DESCRIPTION</title>
  38   <para>
  39    The Pazpar2 configuration file, together with any referenced XSLT files,
  40    govern Pazpar2's behavior as a client, and control the normalization and
  41    extraction of data elements from incoming result records, for the
  42    purposes of merging, sorting, facet analysis, and display.
  43   </para>
  44
  45   <para>
  46    The file is specified using the option -f on the Pazpar2 command line.
  47    There is not presently a way to reload the configuration file without
  48    restarting Pazpar2, although this will most likely be added some time
  49    in the future.
  50   </para>
  51  </refsect1>
  52
  53  <refsect1>
  54   <title>FORMAT</title>
  55   <para>
  56    The configuration file is XML-structured. It must be well-formed XML. All
  57    elements specific to Pazpar2 should belong to the namespace
  58    <literal>http://www.indexdata.com/pazpar2/1.0</literal>
  59    (this is assumed in the
  60    following examples). The root element is named "<literal>pazpar2</literal>".
  61    Under the  root element are a number of elements which group categories of
  62    information. The categories are described below.
  63   </para>
  64
  65   <refsect2 id="config-threads">
  66    <title>threads</title>
  67    <para>
  68     This section is optional and is supported for Pazpar2 version 1.3.1 and
  69     later . It is identified by element "<literal>threads</literal>" which
  70     may include one attribute "<literal>number</literal>" which specifies
  71     the number of worker-threads that the Pazpar2 instance is to use.
  72     A value of 0 (zero) disables worker-threads (all work is carried out
  73     in main thread).
  74    </para>
  75   </refsect2>
  76   <refsect2 id="config-server">
  77    <title>server</title>
  78    <para>
  79     This section governs overall behavior of a server endpoint. It is identified
  80     by the element "server" which takes an optional attribute, "id", which
  81     identifies this particular Pazpar2 server. Any string value for "id"
  82     may be given.
  83    </para>
  84    <para>
  85     The data
  86     elements are described below. From Pazpar2 version 1.2 this is
  87     a repeatable element.
  88    </para>
  89    <variablelist> <!-- level 1 -->
  90     <varlistentry>
  91      <term>listen</term>
  92      <listitem>
  93       <para>
  94        Configures the webservice -- this controls how you can connect
  95        to Pazpar2 from your browser or server-side code. The
  96        attributes 'host' and 'port' control the binding of the
  97        server. The 'host' attribute can be used to bind the server to
  98        a secondary IP address of your system, enabling you to run
  99        Pazpar2 on port 80 alongside a conventional web server. You
 100        can override this setting on the command line using the option -h.
 101       </para>
 102      </listitem>
 103     </varlistentry>
 104
 105     <varlistentry>
 106      <term>proxy</term>
 107      <listitem>
 108       <para>
 109        If this item is given, Pazpar2 will forward all incoming HTTP
 110        requests that do not contain the filename 'search.pz2' to the
 111        host and port specified using the 'host' and 'port'
 112        attributes. The 'myurl' attribute is required, and should provide
 113        the base URL of the server. Generally, the HTTP URL for the host
 114        specified in the 'listen' parameter. This functionality is
 115        crucial if you wish to use
 116        Pazpar2 in conjunction with browser-based code (JS, Flash,
 117        applets, etc.) which operates in a security sandbox. Such code
 118        can only connect to the same server from which the enclosing
 119        HTML page originated. Pazpar2s proxy functionality enables you
 120        to host all of the main pages (plus images, CSS, etc) of your
 121        application on a conventional webserver, while efficiently
 122        processing webservice requests for metasearch status, results,
 123        etc.
 124       </para>
 125      </listitem>
 126     </varlistentry>
 127
 128     <varlistentry>
 129      <term>icu_chain</term>
 130      <listitem>
 131       <para>
 132        Specifies character set normalization for relevancy / sorting /
 133        mergekey and facets - for the server. These definitions serves as
 134        default for services that don't have these given. For the meaning
 135        of these settings refer to the
 136        <xref linkend="icu_chain">"icu_chain"</xref> element inside service.
 137       </para>
 138      </listitem>
 139     </varlistentry>
 140
 141     <varlistentry>
 142      <term>relevance / sort / mergekey / facet</term>
 143      <listitem>
 144       <para>
 145        Obsolete. Use element icu_chain instead.
 146       </para>
 147      </listitem>
 148     </varlistentry>
 149
 150     <varlistentry>
 151      <term>settings</term>
 152      <listitem>
 153       <para>
 154        Specifies target settings for the server.. These settings serves
 155        as default for all services which don't have these given.
 156        The settings element requires one attribute 'src' which specifies
 157        a settings file or a directory . If a directory is given all
 158        files with suffix <filename>.xml</filename> is read from this
 159        directory. Refer to
 160        <xref linkend="target_settings"/> for more information.
 161       </para>
 162      </listitem>
 163     </varlistentry>
 164
 165     <varlistentry>
 166      <term>service</term>
 167      <listitem>
 168       <para>
 169        This nested element controls the behavior of Pazpar2 with
 170        respect to your data model. In Pazpar2, incoming records are
 171        normalized, using XSLT, into an internal representation.
 172        The 'service' section controls the further processing and
 173        extraction of data from the internal representation, primarily
 174        through the 'metadata' sub-element.
 175       </para>
 176       <para>
 177        Pazpar2 version 1.2 and later allows multiple service elements.
 178        Multiple services must be given a unique ID by specifying
 179        attribute <literal>id</literal>.
 180        A single service may be unnamed (service ID omitted). The
 181        service ID is referred to in the
 182        <link linkend="command-init"><literal>init</literal></link> webservice
 183        command's <literal>service</literal> parameter.
 184       </para>
 185
 186       <variablelist> <!-- Level 2 -->
 187        <varlistentry>
 188         <term>metadata</term>
 189         <listitem>
 190          <para>
 191           One of these elements is required for every data element in
 192           the internal representation of the record (see
 193           <xref linkend="data_model"/>. It governs
 194           subsequent processing as pertains to sorting, relevance
 195           ranking, merging, and display of data elements. It supports
 196           the following attributes:
 197          </para>
 198
 199          <variablelist> <!-- level 3 -->
 200           <varlistentry>
 201            <term>name</term>
 202            <listitem>
 203             <para>
 204              This is the name of the data element. It is matched
 205              against the 'type' attribute of the
 206              'metadata' element
 207              in the normalized record. A warning is produced if
 208              metadata elements with an unknown name are
 209              found in the
 210              normalized record. This name is also used to
 211              represent
 212              data elements in the records returned by the
 213              webservice API, and to name sort lists and browse
 214              facets.
 215             </para>
 216            </listitem>
 217           </varlistentry>
 218
 219           <varlistentry>
 220            <term>type</term>
 221            <listitem>
 222             <para>
 223              The type of data element. This value governs any
 224              normalization or special processing that might take
 225              place on an element. Possible values are 'generic'
 226              (basic string), 'year' (a range is computed if
 227              multiple years are found in the record). Note: This
 228              list is likely to increase in the future.
 229             </para>
 230            </listitem>
 231           </varlistentry>
 232
 233           <varlistentry>
 234            <term>brief</term>
 235            <listitem>
 236             <para>
 237              If this is set to 'yes', then the data element is
 238              includes in brief records in the webservice API. Note
 239              that this only makes sense for metadata elements that
 240              are merged (see below). The default value is 'no'.
 241             </para>
 242            </listitem>
 243           </varlistentry>
 244
 245           <varlistentry>
 246            <term>sortkey</term>
 247            <listitem>
 248             <para>
 249              Specifies that this data element is to be used for
 250              sorting. The possible values are 'numeric' (numeric
 251              value), 'skiparticle' (string; skip common, leading
 252              articles), and 'no' (no sorting). The default value is
 253              'no'.
 254             </para>
 255            </listitem>
 256           </varlistentry>
 257
 258           <varlistentry>
 259            <term>rank</term>
 260            <listitem>
 261             <para>
 262              Specifies that this element is to be used to
 263              help rank
 264              records against the user's query (when ranking is
 265              requested). The value is an integer, used as a
 266              multiplier against the basic TF*IDF score. A value of
 267              1 is the base, higher values give additional
 268              weight to
 269              elements of this type. The default is '0', which
 270              excludes this element from the rank calculation.
 271             </para>
 272            </listitem>
 273           </varlistentry>
 274
 275           <varlistentry>
 276            <term>termlist</term>
 277            <listitem>
 278             <para>
 279              Specifies that this element is to be used as a
 280              termlist, or browse facet. Values are tabulated from
 281              incoming records, and a highscore of values (with
 282              their associated frequency) is made available to the
 283              client through the webservice API.
 284              The possible values
 285              are 'yes' and 'no' (default).
 286             </para>
 287            </listitem>
 288           </varlistentry>
 289
 290           <varlistentry>
 291            <term>merge</term>
 292            <listitem>
 293             <para>
 294              This governs whether, and how elements are extracted
 295              from individual records and merged into cluster
 296              records. The possible values are: 'unique' (include
 297              all unique elements), 'longest' (include only the
 298              longest element (strlen), 'range' (calculate a range
 299              of values across all matching records), 'all' (include
 300              all elements), or 'no' (don't merge; this is the
 301              default);
 302             </para>
 303            </listitem>
 304           </varlistentry>
 305
 306           <varlistentry>
 307            <term>mergekey</term>
 308            <listitem>
 309             <para>
 310              If set to '<literal>required</literal>', the value of this
 311              metadata element is appended to the resulting mergekey if
 312              the metadata is present in a record instance.
 313              If the metadata element is not present, the a unique mergekey
 314              will be generated instead.
 315             </para>
 316             <para>
 317              If set to '<literal>optional</literal>', the value of this
 318              metadata element is appended to the resulting mergekey if the
 319              the metadata is present in a record instance. If the metadata
 320              is not present, it will be empty.
 321             </para>
 322             <para>
 323              If set to '<literal>no</literal>' or the mergekey attribute is
 324              omitted, the metadata will not be used in the creation of a
 325              mergekey.
 326             </para>
 327            </listitem>
 328           </varlistentry>
 329
 330           <varlistentry>
 331            <term>setting</term>
 332            <listitem>
 333             <para>
 334              This attribute allows you to make use of static database
 335              settings in the processing of records. Three possible values
 336              are allowed. 'no' is the default and doesn't do anything.
 337              'postproc' copies the value of a setting with the same name
 338              into the output of the normalization stylesheet(s). 'parameter'
 339              makes the value of a setting with the same name available
 340              as a parameter to the normalization stylesheet, so you
 341              can further process the value inside of the stylesheet, or use
 342              the value to decide how to deal with other data values.
 343             </para>
 344             <para>
 345              The purpose of using settings in this way can either be to
 346              control the behavior of normalization stylesheet in a database-
 347              dependent way, or to easily make database-dependent values
 348              available to display-logic in your user interface, without having
 349              to implement complicated interactions between the user interface
 350              and your configuration system.
 351             </para>
 352            </listitem>
 353           </varlistentry>
 354
 355          </variablelist> <!-- attributes to metadata -->
 356
 357         </listitem>
 358        </varlistentry>
 359
 360        <varlistentry>
 361         <term id="icu_chain">icu_chain</term>
 362         <listitem>
 363          <para>
 364           Specifies a named ICU rule set. The icu_chain element must include
 365           attribute 'id' which specifies the identifier (name) for the ICU
 366           rule set.
 367           Pazpar2 uses the particular rule sets for particular purposes.
 368           Rule set 'relevance' is used to normalize
 369           terms for relevance ranking. Rule set 'sort' is used to
 370           normalize terms for sorting. Rule set 'mergekey' is used to
 371           normalize terms for making a mergekey and, finally, 'facet'
 372           is used to normalize facet terms (AKA termlists).
 373          </para>
 374          <para>
 375           The icu_chain element must also include a 'locale'
 376           attribute which must be set to one of the locale strings
 377           defined in ICU. The child elements listed below can be
 378           in any order, except the 'index' element which logically
 379           belongs to the end of the list. The stated tokenization,
 380           transformation and charmapping instructions are performed
 381           in order from top to bottom.
 382          </para>
 383          <variablelist> <!-- Level 2 -->
 384           <varlistentry>
 385            <term>casemap</term>
 386            <listitem>
 387             <para>
 388              The attribute 'rule' defines the direction of the
 389              per-character casemapping, allowed values are "l"
 390              (lower), "u" (upper), "t" (title).
 391             </para>
 392            </listitem>
 393           </varlistentry>
 394           <varlistentry>
 395            <term>transform</term>
 396            <listitem>
 397             <para>
 398              Normalization and transformation of tokens follows
 399              the rules defined in the 'rule' attribute. For
 400              possible values we refer to the extensive ICU
 401              documentation found at the
 402              <ulink url="&url.icu.transform;">ICU
 403              transformation</ulink> home page. Set filtering
 404              principles are explained at the
 405              <ulink url="&url.icu.unicode.set;">ICU set and
 406              filtering</ulink> page.
 407             </para>
 408            </listitem>
 409           </varlistentry>
 410           <varlistentry>
 411            <term>tokenize</term>
 412            <listitem>
 413             <para>
 414              Tokenization is the only rule in the ICU chain
 415              which splits one token into multiple tokens. The
 416              'rule' attribute may have the following values:
 417              "s" (sentence), "l" (line-break), "w" (word), and
 418              "c" (character), the later probably not being
 419              very useful in a pruning Pazpar2 installation.
 420             </para>
 421            </listitem>
 422           </varlistentry>
 423          </variablelist>
 424          <para>
 425           From Pazpar2 version 1.1 the ICU wrapper from YAZ is used.
 426           Refer to the <ulink url="&url.yaz.yaz-icu;">yaz-icu</ulink>
 427           utility for more information.
 428          </para>
 429         </listitem>
 430        </varlistentry>
 431
 432        <varlistentry>
 433         <term>relevance</term>
 434         <listitem>
 435          <para>
 436           Specifies the ICU rule set used for relevance ranking.
 437           The child element of 'relevance' must be 'icu_chain' and the
 438           'id' attribute of the icu_chain is ignored. This
 439           definition is obsolete and should be replaced by the equivalent
 440           construct:
 441           <screen>
 442            &lt;icu_chain id="relevance" locale="en">..&lt;icu_chain>
 443           </screen>
 444          </para>
 445         </listitem>
 446        </varlistentry>
 447
 448        <varlistentry>
 449         <term>sort</term>
 450         <listitem>
 451          <para>
 452           Specifies the ICU rule set used for sorting.
 453           The child element of 'sort' must be 'icu_chain' and the
 454           'id' attribute of the icu_chain is ignored. This
 455           definition is obsolete and should be replaced by the equivalent
 456           construct:
 457           <screen>
 458            &lt;icu_chain id="sort" locale="en">..&lt;icu_chain>
 459           </screen>
 460          </para>
 461         </listitem>
 462        </varlistentry>
 463
 464        <varlistentry>
 465         <term>mergekey</term>
 466         <listitem>
 467          <para>
 468           Specifies ICU tokenization and transformation rules
 469           for tokens that are used in Pazpar2's mergekey.
 470           The child element of 'mergekey' must be 'icu_chain' and the
 471           'id' attribute of the icu_chain is ignored. This
 472           definition is obsolete and should be replaced by the equivalent
 473           construct:
 474           <screen>
 475            &lt;icu_chain id="mergekey" locale="en">..&lt;icu_chain>
 476           </screen>
 477          </para>
 478         </listitem>
 479        </varlistentry>
 480
 481        <varlistentry>
 482         <term>facet</term>
 483         <listitem>
 484          <para>
 485           Specifies ICU tokenization and transformation rules
 486           for tokens that are used in Pazpar2's facets.
 487           The child element of 'facet' must be 'icu_chain' and the
 488           'id' attribute of the icu_chain is ignored. This
 489           definition is obsolete and should be replaced by the equivalent
 490           construct:
 491           <screen>
 492            &lt;icu_chain id="facet" locale="en">..&lt;icu_chain>
 493           </screen>
 494          </para>
 495         </listitem>
 496        </varlistentry>
 497
 498        <varlistentry>
 499         <term>settings</term>
 500         <listitem>
 501          <para>
 502           Specifies target settings for this service. Refer to
 503           <xref linkend="target_settings"/>.
 504          </para>
 505         </listitem>
 506        </varlistentry>
 507
 508        <varlistentry>
 509         <term>timeout</term>
 510         <listitem>
 511          <para>
 512           Specifies timeout parameters for this service.
 513           The <literal>timeout</literal>
 514           element supports the following attributes:
 515           <literal>session</literal>, <literal>z3950_operation</literal>,
 516           <literal>z3950_session</literal> which specifies
 517           'session timeout', 'Z39.50 operation timeout',
 518           'Z39.50 session timeout' respectively. The Z39.50 operation
 519           timeout is the time Pazpar2 will wait for an active Z39.50/SRU
 520           operation before it gives up (times out). The Z39.50 session
 521           time out is the time Pazpar2 will keep the session alive for
 522           an idle session (no operation).
 523          </para>
 524          <para>
 525           The following is recommended but not required:
 526           z3950_operation (30) &lt; session (60) &lt; z3950_session (180) .
 527           The default values are given in parantheses.
 528          </para>
 529         </listitem>
 530        </varlistentry>
 531       </variablelist>     <!-- Data elements in service directive -->
 532      </listitem>
 533     </varlistentry>
 534    </variablelist>           <!-- Data elements in server directive -->
 535   </refsect2>
 536  </refsect1>
 537
 538  <refsect1>
 539   <title>EXAMPLE</title>
 540   <para>
 541    Below is a working example configuration:
 542   </para>
 543   <screen>
 544    <![CDATA[
 545 <?xml version="1.0" encoding="UTF-8"?>
 546 <pazpar2 xmlns="http://www.indexdata.com/pazpar2/1.0">
 547
 548  <threads number="10"/>
 549  <server>
 550   <listen port="9004"/>
 551   <service>
 552    <metadata name="title" brief="yes" sortkey="skiparticle"
 553              merge="longest" rank="6"/>
 554    <metadata name="isbn" merge="unique"/>
 555    <metadata name="date" brief="yes" sortkey="numeric"
 556              type="year" merge="range" termlist="yes"/>
 557    <metadata name="author" brief="yes" termlist="yes"
 558              merge="longest" rank="2"/>
 559    <metadata name="subject" merge="unique" termlist="yes" rank="3"/>
 560    <metadata name="url" merge="unique"/>
 561    <icu_chain id="relevance" locale="el">
 562     <transform rule="[:Control:] Any-Remove"/>
 563     <tokenize rule="l"/>
 564     <transform rule="[[:WhiteSpace:][:Punctuation:]] Remove"/>
 565     <casemap rule="l"/>
 566    </icu_chain>
 567    <settings src="mysettings"/>
 568    <timeout session="60"/>
 569   <service>
 570  </server>
 571 </pazpar2>
 572    ]]>
 573   </screen>
 574  </refsect1>
 575
 576  <refsect1 id="config-include">
 577   <title>INCLUDE FACILITY</title>
 578   <para>
 579    The XML configuration may be partitioned into multiple files by using
 580    the <literal>include</literal> element which takes a single attribute,
 581    <literal>src</literal>. The of the <literal>src</literal> attribute is
 582    regular Shell like glob-pattern. For example,
 583    <screen><![CDATA[
 584    <include src="/etc/pazpar2/conf.d/*.xml"/>
 585    ]]></screen>
 586   </para>
 587   <para>
 588    The include facility requires Pazpar2 version 1.2.
 589   </para>
 590  </refsect1>
 591
 592  <refsect1 id="target_settings">
 593   <title>TARGET SETTINGS</title>
 594   <para>
 595    Pazpar2 features a cunning scheme by which you can associate various
 596    kinds of attributes, or settings with search targets. This can be done
 597    through XML files which are read at startup; each file can associate
 598    one or more settings with one or more targets. The file format is generic
 599    in nature, designed to support a wide range of application requirements. The
 600    settings can be purely technical things, like, how to perform a title
 601    search against a given target, or it can associate arbitrary name=value
 602    pairs with groups of targets -- for instance, if you would like to
 603    place all commercial full-text bases in one group for selection
 604    purposes, or you would like to control what targets are accessible
 605    to users by default. Per-database settings values can even be used
 606    to drive sorting, facet/termlist generation, or end-user interface display
 607    logic.
 608   </para>
 609
 610   <para>
 611    During startup, Pazpar2 will recursively read a specified directory
 612    (can be identified in the pazpar2.cfg file or on the command line), and
 613    process any settings files found therein.
 614   </para>
 615
 616   <para>
 617    Clients of the Pazpar2 webservice interface can selectively override
 618    settings for individual targets within the scope of one session. This
 619    can be used in conjunction with an external authentication system to
 620    determine which resources are to be accessible to which users. Pazpar2
 621    itself has no notion of end-users, and so can be used in conjunction
 622    with any type of authentication system. Similarly, the authentication
 623    tokens submitted to access-controlled search targets can similarly be
 624    overridden, to allow use of Pazpar2 in a consortial or multi-library
 625    environment, where different end-users may need to be represented to
 626    some search targets in different ways. This, again, can be managed
 627    using an external database or other lookup mechanism. Setting overrides
 628    can be performed either using the
 629    <link linkend="command-init">init</link> or the
 630    <link linkend="command-settings">settings</link> webservice
 631    command.
 632   </para>
 633
 634   <para>
 635    In fact, every setting that applies to a database (except pz:id, which
 636    can only be used for filtering targets to use for a search) can be overridden
 637    on a per-session basis. This allows the client to override specific CCL fields
 638    for searching, etc., to meet the needs of a session or user.
 639   </para>
 640
 641   <para>
 642    Finally, as an extreme case of this, the webservice client can
 643    introduce entirely new targets, on the fly, as part of the
 644    <link linkend="command-init">init</link> or
 645    <link linkend="command-settings">settings</link> command.
 646    This is useful if you desire to manage information
 647    about your search targets in a separate application such as a database.
 648    You do not need any static settings file whatsoever to run Pazpar2 -- as
 649    long as the webservice client is prepared to supply the necessary
 650    information at the beginning of every session.
 651   </para>
 652
 653   <note>
 654    <para>
 655     The following discussion of practical issues related to session
 656     and settings management are cast in terms of a user interface based on
 657     Ajax/Javascript technology. It would apply equally well to many other
 658     kinds of browser-based logic.
 659    </para>
 660   </note>
 661
 662   <para>
 663    Typically, a Javascript client is not allowed to directly alter the
 664    parameters of a session. There are two reasons for this. One has to do
 665    with access to information; typically, information about a user will
 666    be stored in a system on the server side, or it will be accessible in
 667    some way from the server.  However, since the Javascript client cannot
 668    be entirely trusted (some hostile agent might in fact 'pretend' to be
 669    a regular ws client), it is more robust to control session settings
 670    from scripting that you run as part of your webserver. Typically, this
 671    can be handled during the session initialization, as follows:
 672   </para>
 673
 674   <para>
 675    Step 1: The Javascript client loads, and asks the webserver for a
 676    new Pazpar2 session ID. This can be done using a Javascript call, for
 677    instance. Note that it is possible to submit Ajax HTTPXmlRequest calls
 678    either to Pazpar2 or to the webserver that Pazpar2 is proxying
 679    for. See (XXX Insert link to Pazpar2 protocol).
 680   </para>
 681
 682   <para>
 683    Step 2: Code on the webserver authenticates the user, by database lookup,
 684    LDAP access, NCIP, etc. Determines which resources the user has access to,
 685    and any user-specific parameters that are to be applied during this session.
 686   </para>
 687
 688   <para>
 689    Step 3: The webserver initializes a new Pazpar2 settings, and sets
 690    user-specific parameters as necessary, using the init webservice
 691    command. A new session ID is returned.
 692   </para>
 693
 694   <para>
 695    Step 4: The webserver returns this session ID to the Javascript
 696    client, which then uses the session ID to submit searches, show
 697    results, etc.
 698   </para>
 699
 700   <para>
 701    Step 5: When the Javascript client ceases to use the session,
 702    Pazpar2 destroys any session-specific information.
 703   </para>
 704
 705   <refsect2>
 706    <title>SETTINGS FILE FORMAT</title>
 707    <para>
 708     Each file contains a root element named &lt;settings&gt;. It may
 709     contain one or more &lt;set&gt; elements. The settings and set
 710     elements may contain the following attributes. Attributes in the set
 711     node overrides those in the setting root element. Each set node must
 712     specify (directly, or inherited from the parent node) at least a
 713     target, name, and value.
 714    </para>
 715
 716    <variablelist>
 717     <varlistentry>
 718      <term>target</term>
 719      <listitem>
 720       <para>
 721        This specifies the search target to which this setting should be
 722        applied. Targets are identified by their Z39.50 URL, generally
 723        including the host, port, and database name, (e.g.
 724        <literal>bagel.indexdata.com:210/marc</literal>).
 725        Two wildcard forms are accepted:
 726        * (asterisk) matches all known targets;
 727        <literal>bagel.indexdata.com:210/*</literal> matches all
 728        known databases on the given host.
 729       </para>
 730       <para>
 731        A precedence system determines what happens if there are
 732        overlapping values for the same setting name for the same
 733        target. A setting for a specific target name overrides a
 734        setting which specifies target using a wildcard. This makes it
 735        easy to set defaults for all targets, and then override them
 736        for specific targets or hosts. If there are
 737        multiple overlapping settings with the same name and target
 738        value, the 'precedence' attribute determines what happens.
 739       </para>
 740      </listitem>
 741     </varlistentry>
 742     <varlistentry>
 743      <term>name</term>
 744      <listitem>
 745       <para>
 746        The name of the setting. This can be anything you like.
 747        However, Pazpar2 reserves a number of setting names for
 748        specific purposes, all starting with 'pz:', and it is a good
 749        idea to avoid that prefix if you make up your own setting
 750        names. See below for a list of reserved variables.
 751       </para>
 752      </listitem>
 753     </varlistentry>
 754     <varlistentry>
 755      <term>value</term>
 756      <listitem>
 757       <para>
 758        The value of the setting. Generally, this can be anything you
 759        want -- however, some of the reserved settings may expect
 760        specific kinds of values.
 761       </para>
 762      </listitem>
 763     </varlistentry>
 764     <varlistentry>
 765      <term>precedence</term>
 766      <listitem>
 767       <para>
 768        This should be an integer. If not provided, the default value
 769        is 0. If two (or more) settings have the same content for
 770        target and name, the precedence value determines the outcome.
 771        If both settings have the same precedence value, they are both
 772        applied to the target(s). If one has a higher value, then the
 773        value of that setting is applied, and the other one is ignored.
 774       </para>
 775      </listitem>
 776     </varlistentry>
 777    </variablelist>
 778
 779    <para>
 780     By setting defaults for target, name, or value in the root
 781     settings node, you can use the settings files in many different
 782     ways. For instance, you can use a single file to set defaults for
 783     many different settings, like search fields, retrieval syntaxes,
 784     etc. You can have one file per server, which groups settings for
 785     that server or target. You could also have one file which associates
 786     a number of targets with a given setting, for instance, to associate
 787     many databases with a given category or class that makes sense
 788     within your application.
 789    </para>
 790
 791    <para>
 792     The following examples illustrate uses of the settings system to
 793     associate settings with targets to meet different requirements.
 794    </para>
 795
 796    <para>
 797     The example below associates a set of default values that can be
 798     used across many targets. Note the wildcard for targets.
 799     This associates the given settings with all targets for which no
 800     other information is provided.
 801     <screen><![CDATA[
 802     <settings target="*">
 803
 804     <!-- This file introduces default settings for pazpar2 -->
 805
 806     <!-- mapping for unqualified search -->
 807     <set name="pz:cclmap:term" value="u=1016 t=l,r s=al"/>
 808
 809     <!-- field-specific mappings -->
 810     <set name="pz:cclmap:ti" value="u=4 s=al"/>
 811     <set name="pz:cclmap:su" value="u=21 s=al"/>
 812     <set name="pz:cclmap:isbn" value="u=7"/>
 813     <set name="pz:cclmap:issn" value="u=8"/>
 814     <set name="pz:cclmap:date" value="u=30 r=r"/>
 815
 816     <set name="pz:limitmap:title" value="rpn:@attr 1=4 @attr 6=3"/>
 817     <set name="pz:limitmap:date" value="ccl:date"/>
 818
 819     <!-- Retrieval settings -->
 820
 821     <set name="pz:requestsyntax" value="marc21"/>
 822     <set name="pz:elements" value="F"/>
 823
 824     <!-- Query encoding -->
 825     <set name="pz:queryencoding" value="iso-8859-1"/>
 826
 827     <!-- Result normalization settings -->
 828
 829     <set name="pz:nativesyntax" value="iso2709"/>
 830     <set name="pz:xslt" value="../etc/marc21.xsl"/>
 831
 832     </settings>
 833
 834     ]]></screen>
 835    </para>
 836
 837    <para>
 838     The next example shows certain settings overridden for one target,
 839     one which returns XML records containing DublinCore elements, and
 840     which furthermore requires a username/password.
 841     <screen><![CDATA[
 842     <settings target="funkytarget.com:210/db1">
 843     <set name="pz:requestsyntax" value="xml"/>
 844     <set name="pz:nativesyntax" value="xml"/>
 845     <set name="pz:xslt" value="../etc/dublincore.xsl"/>
 846
 847     <set name="pz:authentication" value="myuser/password"/>
 848     </settings>
 849     ]]></screen>
 850    </para>
 851
 852    <para>
 853     The following example associates a specific name/value combination
 854     with a number of targets. The targets below are access-restricted,
 855     and can only be used by users with special credentials.
 856     <screen><![CDATA[
 857     <settings name="pz:allow" value="0">
 858     <set target="funkytarget.com:210/*"/>
 859     <set target="commercial.com:2100/expensiveDb"/>
 860     </settings>
 861     ]]></screen>
 862    </para>
 863
 864   </refsect2>
 865
 866   <refsect2>
 867    <title>RESERVED SETTING NAMES</title>
 868    <para>
 869     The following setting names are reserved by Pazpar2 to control the
 870     behavior of the client function.
 871    </para>
 872
 873    <variablelist>
 874     <varlistentry>
 875      <term>pz:cclmap:xxx</term>
 876      <listitem>
 877       <para>
 878        This establishes a CCL field definition or other setting, for
 879        the purpose of mapping end-user queries. XXX is the field or
 880        setting name, and the value of the setting provides parameters
 881        (e.g. parameters to send to the server, etc.). Please consult
 882        the YAZ manual for a full overview of the many capabilities of
 883        the powerful and flexible CCL parser.
 884       </para>
 885       <para>
 886        Note that it is easy to establish a set of default parameters,
 887        and then override them individually for a given target.
 888       </para>
 889      </listitem>
 890     </varlistentry>
 891     <varlistentry id="requestsyntax">
 892      <term>pz:requestsyntax</term>
 893      <listitem>
 894       <para>
 895        This specifies the record syntax to use when requesting
 896        records from a given server. The value can be a symbolic name like
 897        marc21 or xml, or it can be a Z39.50-style dot-separated OID.
 898       </para>
 899      </listitem>
 900     </varlistentry>
 901     <varlistentry>
 902      <term>pz:elements</term>
 903      <listitem>
 904       <para>
 905        The element set name to be used when retrieving records from a
 906        server.
 907       </para>
 908      </listitem>
 909     </varlistentry>
 910     <varlistentry>
 911      <term>pz:piggyback</term>
 912      <listitem>
 913       <para>
 914        Piggybacking enables the server to retrieve records from the
 915        server as part of the search response in Z39.50. Almost all
 916        servers support this (or fail it gracefully), but a few
 917        servers will produce undesirable results.
 918        Set to '1' to enable piggybacking, '0' to disable it. Default
 919        is 1 (piggybacking enabled).
 920       </para>
 921      </listitem>
 922     </varlistentry>
 923     <varlistentry>
 924      <term>pz:nativesyntax</term>
 925      <listitem>
 926       <para>
 927        Specifies how Pazpar2 shoule map retrieved records to XML. Currently
 928        supported values are <literal>xml</literal>,
 929        <literal>iso2709</literal> and <literal>txml</literal>.
 930       </para>
 931       <para>
 932        The value <literal>iso2709</literal> makes Pazpar2 convert retrieved
 933        MARC records to MARCXML. In order to convert to XML, the exact
 934        chacater set of the MARC must be known (if not, the resulting
 935        XML is probably not well-formed). The character set may be
 936        specified by adding:
 937        <literal>;charset=</literal><replaceable>charset</replaceable> to
 938        <literal>iso2709</literal>. If omitted, a charset of
 939        MARC-8 is assumed. This is correct for most MARC21/USMARC records.
 940       </para>
 941       <para>
 942        The value <literal>txml</literal> is like <literal>iso2709</literal>
 943        except that records are converted to TurboMARC instead of MARCXML.
 944       </para>
 945       <para>
 946        The value <literal>xml</literal> is used if Pazpar2 retrieves
 947        records that are already XML (no conversion takes place).
 948       </para>
 949      </listitem>
 950     </varlistentry>
 951
 952     <varlistentry>
 953      <term>pz:queryencoding</term>
 954      <listitem>
 955       <para>
 956        The encoding of the search terms that a target accepts. Most
 957        targets do not honor UTF-8 in which case this needs to be specified.
 958        Each term in a query will be converted if this setting is given.
 959       </para>
 960      </listitem>
 961     </varlistentry>
 962
 963     <varlistentry>
 964      <term>pz:negotiation_charset</term>
 965      <listitem>
 966       <para>
 967        Sets character set for Z39.50 negotiation. Most targets do not support
 968        this, and some will even close connection if set (crash on server
 969        side or similar). If set, you probably want to set it to
 970        <literal>UTF-8</literal>.
 971       </para>
 972      </listitem>
 973     </varlistentry>
 974
 975     <varlistentry>
 976      <term>pz:xslt</term>
 977      <listitem>
 978       <para>
 979        Is a comma separated list of of files that specifies
 980        how to convert incoming records to the internal representation.
 981       </para>
 982       <para>
 983        The suffix of each file specifies the kind of tranformation.
 984        Suffix "<literal>.xsl</literal>" makes an XSL transform. Suffix
 985        "<literal>.mmap</literal>" will use the MMAP transform (described below).
 986       </para>
 987       <para>
 988        The special value "<literal>auto</literal>" will use a file
 989        which is the <link linkend="requestsyntax">pz:requestsyntax's</link>
 990        value followed by
 991        <literal>'.xsl'</literal>.
 992       </para>
 993       <para>
 994        When mapping MARC records, XSLT can be bypassed for increased
 995        performance with the alternate "MARC map" format.  Provide the
 996        path of a file with extension ".mmap" containing on each line:
 997        <programlisting>
 998        &lt;field&gt; &lt;subfield&gt; &lt;metadata element&gt;</programlisting>
 999        For example:
1000        <programlisting>
1001         245 a title
1002         500 $ description
1003         773 * citation
1004        </programlisting>
1005        To map the field value specify a subfield of '$'.  To store a
1006        concatenation of all subfields, specify a subfield of '*'.
1007       </para>
1008      </listitem>
1009     </varlistentry>
1010     <varlistentry>
1011      <term>pz:authentication</term>
1012      <listitem>
1013       <para>
1014        Sets an authentication string for a given server. See the section on
1015        authorization and authentication for discussion.
1016       </para>
1017      </listitem>
1018     </varlistentry>
1019     <varlistentry>
1020      <term>pz:allow</term>
1021      <listitem>
1022       <para>
1023        Allows or denies access to the resources it is applied to. Possible
1024        values are '0' and '1'.
1025        The default is '1' (allow access to this resource).
1026        See the manual section on authorization and authentication for
1027        discussion about how to use this setting.
1028       </para>
1029      </listitem>
1030     </varlistentry>
1031     <varlistentry>
1032      <term>pz:maxrecs</term>
1033      <listitem>
1034       <para>
1035        Controls the maximum number of records to be retrieved from a
1036        server. The default is 100.
1037       </para>
1038      </listitem>
1039     </varlistentry>
1040     <varlistentry>
1041      <term>pz:id</term>
1042      <listitem>
1043       <para>
1044        This setting can't be 'set' -- it contains the ID (normally
1045        ZURL) for a given target, and is useful for filtering --
1046        specifically when you want to select one or more specific
1047        targets in the search command.
1048       </para>
1049      </listitem>
1050     </varlistentry>
1051     <varlistentry>
1052      <term>pz:zproxy</term>
1053      <listitem>
1054       <para>
1055        The 'pz:zproxy' setting has the value syntax
1056        'host.internet.adress:port', it is used to tunnel Z39.50
1057        requests through the named Z39.50 proxy.
1058       </para>
1059      </listitem>
1060     </varlistentry>
1061
1062     <varlistentry>
1063      <term>pz:apdulog</term>
1064      <listitem>
1065       <para>
1066        If the 'pz:apdulog' setting is defined and has other value than 0,
1067        then Z39.50 APDUs are written to the log.
1068       </para>
1069      </listitem>
1070     </varlistentry>
1071
1072     <varlistentry>
1073      <term>pz:sru</term>
1074      <listitem>
1075       <para>
1076        This setting enables
1077        <ulink url="&url.sru;">SRU</ulink>/<ulink url="&url.solr;">SOLR</ulink>
1078        support.
1079        It has four possible settings.
1080        'get', enables SRU access through GET requests. 'post' enables SRU/POST
1081        support, less commonly supported, but useful if very large requests are
1082        to be submitted. 'srw' enables the SRW (SRU over SOAP) variation of
1083        the protocol.
1084       </para>
1085       <para>
1086        A value of 'solr' anables SOLR client support. This is supported
1087        for Pazpar version 1.5.0 and later.
1088       </para>
1089      </listitem>
1090     </varlistentry>
1091
1092     <varlistentry>
1093      <term>pz:sru_version</term>
1094      <listitem>
1095       <para>
1096        This allows SRU version to be specified. If unset Pazpar2
1097        will the default of YAZ (currently 1.2). Should be set
1098        to 1.1 or 1.2. For SOLR, the current supported/tested version is 1.4
1099       </para>
1100      </listitem>
1101     </varlistentry>
1102
1103     <varlistentry>
1104      <term>pz:pqf_prefix</term>
1105      <listitem>
1106       <para>
1107        Allows you to specify an arbitrary PQF query language substring.
1108        The provided string is prefixed the user's query after it has been
1109        normalized to PQF internally in pazpar2.
1110        This allows you to attach complex 'filters' to queries for a given
1111        target, sometimes necessary to select sub-catalogs
1112        in union catalog systems, etc.
1113       </para>
1114      </listitem>
1115     </varlistentry>
1116
1117     <varlistentry>
1118      <term>pz:pqf_strftime</term>
1119      <listitem>
1120       <para>
1121        Allows you to extend a query with dates and operators.
1122        The provided string allows certain substitutions and serves as a
1123        format string.
1124        The special two character sequence '%%' gets converted to the
1125        original query. Other characters leading with the percent sign are
1126        conversions supported by strftime.
1127        All other characters are copied verbatim. For example, the string
1128        <literal>@and @attr 1=30 @attr 2=3 %Y %%</literal>
1129        would search for current year combined with the original PQF (%%).
1130       </para>
1131      </listitem>
1132     </varlistentry>
1133
1134     <varlistentry>
1135      <term>pz:sort</term>
1136      <listitem>
1137       <para>
1138        Specifies sort criteria to be applied to the result set.
1139        Only works for targets which support the sort service.
1140       </para>
1141      </listitem>
1142     </varlistentry>
1143
1144     <varlistentry>
1145      <term>pz:recordfilter</term>
1146      <listitem>
1147       <para>
1148        Specifies a filter which allows Pazpar2 to only include
1149        records that meet a certain criteria in a result.
1150        Unmatched records  will be ignored.
1151        The filter takes the form name, name~value, or name=value, which
1152        will include only records with metadata element (name) that has the
1153        substring (~value) given, or matches exactly (=value).
1154        If value is omitted all records with the named metadata element
1155        present will be included.
1156       </para>
1157      </listitem>
1158     </varlistentry>
1159
1160     <varlistentry>
1161      <term>pz:preferred</term>
1162      <listitem>
1163       <para>
1164        Specifies that a target is preferred, e.g. possible local, faster
1165        target. Using block=pref on show command will wait for all these
1166        targets to return records before releasing the block.
1167        If no target is preferred, the block=pref will identical to block=1,
1168        which release when one target has returned records.
1169       </para>
1170      </listitem>
1171     </varlistentry>
1172
1173     <varlistentry>
1174      <term>pz:block_timeout</term>
1175      <listitem>
1176       <para>
1177        (Not yet implemented).
1178        Specifies the time for which a block should be released anyway.
1179       </para>
1180      </listitem>
1181     </varlistentry>
1182
1183     <varlistentry>
1184      <term>pz:facetmap:<replaceable>name</replaceable></term>
1185      <listitem>
1186       <para>
1187        Specifies that for field <replaceable>name</replaceable>, the target
1188        supports (native) facets. The value is the name of the
1189        field on the target.
1190       </para>
1191       <note>
1192        <para>
1193         At this point only SOLR targets have been tested with this
1194         facility.
1195        </para>
1196       </note>
1197      </listitem>
1198     </varlistentry>
1199
1200     <varlistentry>
1201      <term>pz:limitmap:<replaceable>name</replaceable></term>
1202      <listitem>
1203       <para>
1204        Specifies attributes for limiting a search to a field - using
1205        the limit parameter for search. In some cases the mapping of
1206        a field to a value is identical to an existing cclmap field; in
1207        other cases the field must be specified in a different way - for
1208        example to match a complete field (rather than parts of a subfield).
1209       </para>
1210       <para>
1211        The value of limitmap may have one of two forms: referral to
1212        an exisiting CCL field or a raw PQF string. Leading string
1213        determines type; either <literal>ccl:</literal> for CCL field or
1214        <literal>rpn:</literal> for PQF/RPN.
1215       </para>
1216       <note>
1217        <para>
1218         The limitmap facility is supported for Pazpar2 version 1.6.0.
1219        </para>
1220       </note>
1221      </listitem>
1222     </varlistentry>
1223
1224    </variablelist>
1225
1226   </refsect2>
1227
1228  </refsect1>
1229  <refsect1>
1230   <title>SEE ALSO</title>
1231   <para>
1232    <citerefentry>
1233     <refentrytitle>pazpar2</refentrytitle>
1234     <manvolnum>8</manvolnum>
1235    </citerefentry>
1236    <citerefentry>
1237     <refentrytitle>yaz-icu</refentrytitle>
1238     <manvolnum>1</manvolnum>
1239    </citerefentry>
1240    <citerefentry>
1241     <refentrytitle>pazpar2_protocol</refentrytitle>
1242     <manvolnum>7</manvolnum>
1243    </citerefentry>
1244   </para>
1245  </refsect1>
1246 </refentry>
1247 <!-- Keep this comment at the end of the file
1248 Local variables:
1249 mode: nxml
1250 nxml-child-indent: 1
1251 End:
1252 -->