Add documentation about facets
[yaz-moved-to-github.git] / doc / zoom.xml
index b12e8f6..74c95f3 100644 (file)
@@ -5,11 +5,10 @@ ZOOM_connection_errmsg(c)
 ZOOM_connection_addinfo(c)
 ZOOM_connection_addinfo(c)
 ZOOM_connection_diagset(c);
+ZOOM_connection_save_apdu_wrbuf
 ZOOM_diag_str(error)
 ZOOM_resultset_record_immediate(s, pos)
 ZOOM_resultset_cache_reset(r)
-ZOOM_resultset_sort(r, sort_type, sort_spec)
-ZOOM_resultset_sort1(r, sort_type, sort_spec)
 ZOOM_options_set_callback(opt, function, handle)
 ZOOM_options_create_with_parent2(parent1, parent2)
 ZOOM_options_getl(opt, name, len)
@@ -17,8 +16,6 @@ ZOOM_options_setl(opt, name, value, len)
 ZOOM_options_get_bool(opt, name, defa)
 ZOOM_options_get_int(opt, name, defa)
 ZOOM_options_set_int(opt, name, value)
-ZOOM_connection_scan1(ZOOM_connection c, ZOOM_query startterm)
-ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
 -->
  <chapter id="zoom"><title>ZOOM</title>
   <para>
@@ -37,16 +34,17 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
     connection's <literal>sru</literal> option, which may be SRU over
     HTTP GET (<literal>get</literal>),
     SRU over HTTP POST (<literal>post</literal>), (SRU over
-    SOAP) (<literal>soap</literal>) or <literal>SOLR</literal>
-    (<ulink url="&url.solr;">SOLR</ulink> Web Service).
+    SOAP) (<literal>soap</literal>) or <literal>solr</literal>
+    (<ulink url="&url.solr;">Solr</ulink> Web Service).
     Using the facility for embedding options in target strings, a
     connection can be forced to use SRU rather the SRW (the default) by
     prefixing the target string with <literal>sru=get,</literal>, like this:
     <literal>sru=get,http://sru.miketaylor.org.uk:80/sru.pl</literal>
   </para>
   <para>
-    <ulink url="&url.solr;">SOLR</ulink>  protocol support was added to YAZ in version 4.1.0,
-    as a dialect of a SRU protocol, since both are HTTP based protocols.
+   <ulink url="&url.solr;">Solr</ulink>  protocol support was added to
+   YAZ in version 4.1.0, as a dialect of a SRU protocol, since both are
+   HTTP based protocols.
   </para>
   <para>
    The lack of a simple Z39.50 client API for &yaz; has become more
@@ -92,9 +90,9 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
    <synopsis>
     #include &lt;yaz/zoom.h>
 
-    ZOOM_connection ZOOM_connection_new (const char *host, int portnum);
+    ZOOM_connection ZOOM_connection_new(const char *host, int portnum);
 
-    ZOOM_connection ZOOM_connection_create (ZOOM_options options);
+    ZOOM_connection ZOOM_connection_create(ZOOM_options options);
 
     void ZOOM_connection_connect(ZOOM_connection c, const char *host,
                                  int portnum);
@@ -119,7 +117,7 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
     You can prefix the host with a scheme followed by colon. The
     default scheme is <literal>tcp</literal> (Z39.50 protocol).
     The scheme <literal>http</literal> selects SRU/get over HTTP by default,
-    but can overridded to use SRU/post, SRW and the SOLR protocol.
+    but can overridded to use SRU/post, SRW and the Solr protocol.
    </para>
    <para>
     You can prefix the scheme-qualified host-string with one or more
@@ -192,6 +190,9 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
         password</entry><entry>Authentication password.
        </entry><entry>none</entry></row>
       <row><entry>
+        authenticationMode</entry><entry>How authentication is encoded.
+       </entry><entry>basic</entry></row>
+      <row><entry>
         host</entry><entry>Target host. This setting is "read-only".
         It's automatically set internally when connecting to a target.
        </entry><entry>none</entry></row>
@@ -280,7 +281,7 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
        </entry><entry>none</entry></row>
       <row>
        <entry>sru</entry><entry>
-       SRU/SOLR transport type. Must be either <literal>soap</literal>,
+       SRU/Solr transport type. Must be either <literal>soap</literal>,
        <literal>get</literal>, <literal>post</literal>, or
        <literal>solr</literal>.
         </entry><entry>soap</entry></row>
@@ -292,13 +293,12 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
        first operation), holds the negotiated version with the server
        (same or lower version).
        </entry><entry>1.2</entry></row>
-      <row><entry>
+      <row id="zoom.facets.option"><entry>
         facets</entry><entry>
-       A FacetList is comma-separated list of facet, which is defined
-       as <literal>AttributeList</literal>  and a optional FacetTerm
-       (a Term and a frequency). On request the terms is missing.
-       On response the the list contains the terms that the target
-       could collect.
+        Requested or recommend facets may be given before a search is sent.
+        The value of this setting is described in <xref linkend="facets"/>
+        For inspection of the facets returned, refer to the functions
+        described in <xref linkend="zoom.facets"/>.
        </entry><entry>none</entry></row>
       <row><entry>
         apdulog</entry><entry>
@@ -306,6 +306,45 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
         protocol packets is emitted on standard error stream.  This
         can be very useful for debugging.
        </entry><entry>0</entry></row>
+      <row><entry>
+        saveAPDU</entry><entry>
+       If set to a true value such as "1", a log of low-level
+        protocol packets is saved. The log can be retrieved by reading
+       option APDU. Setting saveAPDU always has the side effect of
+       resetting the currently saved log. This setting is
+       <emphasis>write-only</emphasis>. If read, NULL will be returned.
+       It is only recognized in
+       <function>ZOOM_connection_option_set</function>.
+       </entry><entry>0</entry></row>
+      <row><entry>
+        APDU</entry><entry>
+       Returns the log of protocol packets. Will be empty if logging
+       is not enabled (see saveAPDU above). This setting is
+       <emphasis>read-only</emphasis>. It is only recognized if used
+       in call to <function>ZOOM_connection_option_get</function> or
+       <function>ZOOM_connection_option_getl</function>.
+       </entry><entry></entry></row>
+      <row><entry>
+        memcached</entry><entry>
+        If given and non-empty,
+        <ulink url="&url.libmemcached;">libMemcached</ulink>
+        will be configured for the connection.
+        This option is inspected by ZOOM when a connection is  established.
+        If the <literal>memcached</literal> option is given
+        and YAZ is compiled without libMemcached support, an internal
+        diagnostic (10018) will be thrown.
+        libMemcached support is available for YAZ 5.0.13 or later. If this
+        option is supplied for an earlier version of YAZ, it is
+        <emphasis>ignored</emphasis>.
+        The value of this option is a string passed verbatim to
+        the <function>memcached</function> function part of libMemcached.
+        Refer to man page
+         <ulink url="http://manned.org/memcached.3">memcached(3)</ulink>.
+        Earlier versions of libMemcached
+        do not offer this function. In this case only the option
+        <literal>--server=</literal><replaceable>host</replaceable> may
+        be given (YAZ emulates that part of libMemcached).
+       </entry><entry>none</entry></row>
      </tbody>
     </tgroup>
    </table>
@@ -372,14 +411,14 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
     </para>
     </sect2>
    <sect2 id="zoom.sru.init.behavior">
-    <title>SRU/SOLR Protocol behavior</title>
+    <title>SRU/Solr Protocol behavior</title>
     <para>
-     The HTTP based protocols (SRU, SRW, SOLR) doesn't feature an Inititialize Request, so
-     the connection phase merely establishes a TCP/IP connection
-     with the SOAP service.
+     The HTTP based protocols (SRU, SRW, Solr) doesn't feature an
+     Inititialize Request, so  the connection phase merely establishes a
+     TCP/IP connection with the HTTP server.
     </para>
     <para>Most of the ZOOM connection options do not
-     affect SRU/SOLR and they are ignored. However, future versions
+     affect SRU/Solr and they are ignored. However, future versions
      of &yaz; might honor <literal>implementationName</literal> and
      put that as part of User-Agent header for HTTP requests.
      </para>
@@ -387,6 +426,19 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
      The <literal>charset</literal> is used in the Content-Type header
      of HTTP requests.
     </para>
+    <para>
+     Setting <literal>authentcationMode</literal> specifies how
+     authentication parameters are encoded for HTTP. The default is
+     "<literal>basic</literal>" where <literal>user</literal> and
+     <literal>password</literal> are encoded by using HTTP basic
+     authentication.
+     </para>
+    <para>
+     If <literal>authentcationMode</literal> is "<literal>url</literal>", then
+     user and password are encoded in the URL by parameters
+     <literal>x-username</literal> and <literal>x-password</literal> as
+     given by the SRU standard.
+    </para>
    </sect2>
   </sect1>
   <sect1 id="zoom.query"><title>Queries</title>
@@ -403,6 +455,9 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
      int ZOOM_query_cql(ZOOM_query s, const char *str);
 
      int ZOOM_query_sortby(ZOOM_query q, const char *criteria);
+
+     int ZOOM_query_sortby2(ZOOM_query q, const char *strategy,
+                            const char *criteria);
    </synopsis>
    <para>
     Create query objects using <function>ZOOM_query_create</function>
@@ -415,17 +470,55 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
     More query types will be added in future versions of &yaz;, such as
     <link linkend="CCL">CCL</link> to RPN-mapping, native CCL query,
     etc. In addition to a search, a sort criteria may be set. Function
-    <function>ZOOM_query_sortby</function> specifies a
-    sort criteria using the same string notation for sort as offered by
-    the <link linkend="sortspec">YAZ client</link>.
+    <function>ZOOM_query_sortby</function> enables Z39.50 sorting and
+    it takes sort criteria using the same string notation as
+    yaz-client's <link linkend="sortspec">sort command</link>.
    </para>
-   <sect2 id="zoom.sort.behavior"><title>Protocol behavior</title>
-    <para>
-     The query object is just an interface for the member Query
-     in the SearchRequest. The sortby-function is an interface to the
-     sortSequence member of the SortRequest.
-    </para>
-   </sect2>
+   <para id="zoom.query.sortby2">
+    <function>ZOOM_query_sortby2</function> is similar to
+    <function>ZOOM_query_sortby</function> but allows a strategy for
+    sorting. The reason for the strategy parameter is that some
+    protocols offers multiple ways of performing sorting.
+    For example, Z39.50 has the standard sort, which is performed after
+    search on an existing result set.
+    It's also possible to use CQL in Z39.50 as the query type and use
+    CQL's SORTBY keyword. Finally, Index Data's
+    Zebra server also allows sorting to be specified as part of RPN (Type 7).
+   </para>
+   <table id="zoom-sort-strategy" frame="top">
+    <title>ZOOM sort strategy</title>
+    <tgroup cols="2">
+     <colspec colwidth="2*" colname="name"/>
+     <colspec colwidth="5*" colname="description"/>
+     <thead>
+      <row>
+       <entry>Name</entry>
+       <entry>Description</entry>
+      </row>
+     </thead>
+     <tbody>
+      <row>
+       <entry>z39.50</entry><entry>Z39.50 resultset sort</entry>
+      </row>
+      <row>
+       <entry>type7</entry><entry>Sorting embedded in RPN(Type-7)</entry>
+      </row>
+      <row>
+       <entry>cql</entry><entry>CQL SORTBY</entry>
+      </row>
+      <row>
+       <entry>sru11</entry><entry>SRU sortKeys parameter</entry>
+      </row>
+      <row>
+       <entry>solr</entry><entry>Solr sort</entry>
+      </row>
+      <row>
+       <entry>embed</entry><entry>type7 for Z39.50, cql for SRU,
+       solr for Solr protocol</entry>
+      </row>
+     </tbody>
+    </tgroup>
+   </table>
   </sect1>
   <sect1 id="zoom.resultsets"><title>Result sets</title>
    <para>
@@ -592,6 +685,31 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
      </tbody>
     </tgroup>
    </table>
+
+   <sect2 id="zoom.z3950.resultset.sort">
+    <title>Z39.50 Result-set Sort</title>
+    <synopsis>
+     void ZOOM_resultset_sort(ZOOM_resultset r,
+                              const char *sort_type, const char *sort_spec);
+
+     int ZOOM_resultset_sort1(ZOOM_resultset r,
+                              const char *sort_type, const char *sort_spec);
+    </synopsis>
+    <para>
+     <function>ZOOM_resultset_sort</function> and
+     <function>ZOOM_resultset_sort1</function> both sort an existing
+     result-set. The sort_type parameter is not use. Set it to "yaz".
+     The sort_spec is same notation as ZOOM_query_sortby and identical
+     to that offered by yaz-client's
+     <link linkend="sortspec">sort command</link>.
+    </para>
+    <para>
+     These functions only work for Z39.50. Use the more generic utility
+     <link linkend="zoom.query.sortby2">
+      <function>ZOOM_query_sortby2</function></link>
+     for other protocols (and even Z39.50).
+    </para>
+   </sect2>
    <sect2 id="zoom.z3950.resultset.behavior">
     <title>Z39.50 Protocol behavior</title>
     <para>
@@ -677,10 +795,10 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
      SRU SearchRetrieveRequest.
     </para>
     <para>
-     SOLR queries has to be done in SOLR query format.
+     Solr queries has to be done in Solr query format.
     </para>
     <para>
-     Unfortunately, SRU or SOLR does not define a database setting. Hence,
+     Unfortunately, SRU or Solr does not define a database setting. Hence,
      <literal>databaseName</literal> is unsupported and ignored.
      However, the path part in host parameter for functions
      <function>ZOOM_connecton_new</function> and
@@ -833,7 +951,7 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
      </varlistentry>
      <varlistentry><term><literal>xml</literal></term>
       <listitem><para>The record is returned in XML if possible.
-       SRU, SOLR and Z39.50 records with transfer syntax XML are
+       SRU, Solr and Z39.50 records with transfer syntax XML are
        returned verbatim. MARC records are returned in
        <ulink url="&url.marcxml;">
         MARCXML
@@ -866,6 +984,12 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
         <literal>*len</literal>.
        </para></listitem>
      </varlistentry>
+     <varlistentry><term><literal>json</literal></term>
+      <listitem><para>Like xml, but MARC records are converted to
+       <ulink url="&url.marc_in_json;">MARC-in-JSON</ulink>.
+       </para></listitem>
+     </varlistentry>
+
     </variablelist>
    </para>
    <para>
@@ -900,9 +1024,9 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
     </para>
    </sect2>
    <sect2 id="zoom.sru.record.behavior">
-    <title>SRU/SOLR Protocol behavior</title>
+    <title>SRU/Solr Protocol behavior</title>
     <para>
-     The ZOOM driver for SRU/SOLR treats records returned by a SRU/SOLR server
+     The ZOOM driver for SRU/Solr treats records returned by a SRU/Solr server
      as if they where Z39.50 records with transfer syntax XML and
      no element set name or database name.
     </para>
@@ -910,56 +1034,76 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
   </sect1>
   <sect1 id="zoom.facets"><title>Facets</title>
    <para>
-    Facets operations is not part of the official ZOOM specification, but is an Index Data extension
-    for YAZ-based Z39.50 targets or <ulink url="&url.solr;">SOLR</ulink> targets.
-    In case the target can and is requested to return facets, using a result set the ZOOM client
-    can request one or all facet fields. Using a facet field the client can request the term count and
-    then interate over the terms.
+    Facet operations is not part of the official ZOOM specification, but
+    is an Index Data extension for YAZ-based Z39.50 targets,
+    <ulink url="&url.solr;">Solr</ulink> and SRU 2.0 targets.
+
+    Facets may be requestd by the
+     <link linkend="zoom.facets.option">facets</link> option before a
+    search is sent.
+    For inspection of the returned facets, the following functions are
+    available:
    </para>
    <synopsis>
     ZOOM_facet_field *ZOOM_resultset_facets(ZOOM_resultset r);
-    const char ** ZOOM_resultset_facets_names(ZOOM_resultset r);
-    ZOOM_facet_field ZOOM_resultset_get_facet_field(ZOOM_resultset r, const char *facet_name);
-    ZOOM_facet_field ZOOM_resultset_get_facet_field_by_index(ZOOM_resultset r, int pos);
+
+    ZOOM_facet_field ZOOM_resultset_get_facet_field(ZOOM_resultset r,
+                                                    const char *facet_name);
+
+    ZOOM_facet_field ZOOM_resultset_get_facet_field_by_index(ZOOM_resultset r,
+                                                             int pos);
+
     size_t ZOOM_resultset_facets_size(ZOOM_resultset r);
 
     const char *ZOOM_facet_field_name(ZOOM_facet_field facet_field);
+
     size_t ZOOM_facet_field_term_count(ZOOM_facet_field facet_field);
-    const char *ZOOM_facet_field_get_term(ZOOM_facet_field facet_field, size_t idx, int *freq);
+
+    const char *ZOOM_facet_field_get_term(ZOOM_facet_field facet_field,
+                                          size_t idx, int *freq);
    </synopsis>
    <para>
-    References to temporary structures are returned by all functions. They are only valid as long the Result set is valid.
+    References to temporary structures are returned by all functions.
+    They are only valid as long the Result set is valid.
     <function>ZOOM_resultset_get_facet_field</function> or
     <function>ZOOM_resultset_get_facet_field_by_index</function>.
     <function>ZOOM_resultset_facets</function>.
-    <function>ZOOM_resultset_facets_names</function>.
     <function>ZOOM_facet_field_name</function>.
     <function>ZOOM_facet_field_get_term</function>.
     </para>
    <para id="zoom.resultset.get_facet_field">
     A single Facet field  is returned by function
-    <function>ZOOM_resultset_get_facet_field</function> or <function>ZOOM_resultset_get_facet_field_by_index</function> that takes a
-    result set and facet name or positive index respectively. First facet has position zero.
-    If no facet could be obtained (invalid name or index out of bounds) <literal>NULL</literal> is returned.
+    <function>ZOOM_resultset_get_facet_field</function> or
+    <function>ZOOM_resultset_get_facet_field_by_index</function> that takes
+    a  result set and facet name or positive index respectively. First
+    facet has position zero. If no facet could be obtained (invalid name
+    or index out of bounds) <literal>NULL</literal> is returned.
    </para>
    <para id="zoom.resultset.facets">
-    An array of facets field can be returned by <function>ZOOM_resultset_facets</function>. The length of the array is
-    given by <function>ZOOM_resultset_facets_size</function>. The array is zero-based and last entry will be at
+    An array of facets field can be returned by
+    <function>ZOOM_resultset_facets</function>. The length of the array is
+    given by <function>ZOOM_resultset_facets_size</function>. The array is
+    zero-based and last entry will be at
     <function>ZOOM_resultset_facets_size(result_set)</function>-1.
    </para>
    <para id="zoom.resultset.facets_names">
-    It is possible to interate over facets by name, by calling <function>ZOOM_resultset_facets_names</function>.
-    This will return an const array of char * where each string can be used as parameter for
-    <function>ZOOM_resultset_get_facet_field</function>.
+    It is possible to interate over facets by name, by calling
+    <function>ZOOM_resultset_facets_names</function>.
+    This will return an const array of char * where each string can be used
+    as parameter for <function>ZOOM_resultset_get_facet_field</function>.
    </para>
    <para>
-   Function <function>ZOOM_facet_field_name</function> gets the request facet name from a returned facet field.
+   Function <function>ZOOM_facet_field_name</function> gets the request
+    facet name from a returned facet field.
    </para>
    <para>
-   Function <function>ZOOM_facet_field_get_term</function> returns the idx'th term and term count for a facet field.
-   Idx must between 0 and <function>ZOOM_facet_field_term_count</function>-1, otherwise the returned reference will be
-   <literal>NULL</literal>. On a valid idx, the value of the freq reference will be the term count.
-   The *freq parameter must be valid pointer to integer.
+    Function <function>ZOOM_facet_field_get_term</function> returns the
+    idx'th term and term count for a facet field.
+    Idx must between 0 and
+    <function>ZOOM_facet_field_term_count</function>-1, otherwise the
+    returned reference will be <literal>NULL</literal>. On a valid idx, the
+    value of the freq reference will be the term count.
+    The <literal>freq</literal> parameter must be valid pointer to integer.
    </para>
    </sect1>
   <sect1 id="zoom.scan"><title>Scan</title>
@@ -971,7 +1115,7 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
    </para>
 
    <para>
-    The Scan interface is supported for both Z39.50, SRU (and SOLR?).
+    The Scan interface is supported for both Z39.50, SRU and Solr.
    </para>
 
    <synopsis>
@@ -1482,6 +1626,38 @@ ZOOM_query_cql2rpn(ZOOM_query s, const char *str, ZOOM_connection conn)
                                        void *handle);
    </synopsis>
   </sect1>
+
+  <sect1 id="zoom.queryconversions"><title>Query conversions</title>
+   <synopsis>
+    int ZOOM_query_cql2rpn(ZOOM_query s, const char *cql_str,
+                           ZOOM_connection conn);
+
+    int ZOOM_query_ccl2rpn(ZOOM_query s, const char *ccl_str,
+                           const char *config,
+                           int *ccl_error, const char **error_string,
+                           int *error_pos);
+   </synopsis>
+   <para>
+    <function>ZOOM_query_cql2rpn</function> translates the CQL string,
+    client-side, into RPN which may be passed to the server.
+    This is useful for server's that don't themselves
+    support CQL, for which <function>ZOOM_query_cql</function> is useless.
+    `conn' is used  only as a place to stash diagnostics if compilation
+    fails; if this information is not needed, a null pointer may be used.
+    The CQL conversion is driven by option <literal>cqlfile</literal> from
+    connection conn. This specifies a conversion file (eg pqf.properties)
+    which <emphasis>must</emphasis> be present.
+   </para>
+   <para>
+    <function>ZOOM_query_ccl2rpn</function> translates the CCL string,
+    client-side, into RPN which may be passed to the server.
+    The conversion is driven by the specification given by
+    <literal>config</literal>. Upon completion 0 is returned on success; -1
+    is returned on on failure. Om failure <literal>error_string</literal> and
+    <literal>error_pos</literal> holds error message and position of
+    first error in original CCL string.
+   </para>
+  </sect1>
   <sect1 id="zoom.events"><title>Events</title>
    <para>
     If you're developing non-blocking applications, you have to deal