More on scansets.
[yaz-moved-to-github.git] / doc / zoom.xml
1 <!-- $Id: zoom.xml,v 1.15 2002-01-02 10:30:25 adam Exp $ -->
2  <chapter id="zoom"><title>Building clients with ZOOM</title>
4   <para>
5     &zoom; is an acronym for 'Z39.50 Object-Orientation Model' and is
6    an initiative started by Mike Taylor (Mike is from the UK, which
7    explains the peculiar name of the model). The goal of &zoom; is to
8    provide a common Z39.50 client API not bound to a particular
9    programming language or toolkit.
10   </para>
11   <para>
12    The lack of a simple Z39.50 client API for &yaz; has become more
13    and more apparent over time. So when the first &zoom; specification
14    became available,
15    an implementation for &yaz; was quickly developed. For the first time, it is
16    now as easy (or easier!) to develop clients than servers with &yaz;. This
17    chapter describes the &zoom; C binding. Before going futher, please
18    reconsider whether C is the right programming language for the job.
19    There are other language bindings available for &yaz;, and still
20    more
21    are in active development. See the
22    <ulink url="">ZOOM website</ulink> for
23    more information.
24   </para>
26   <para>
27    In order to fully understand this chapter you should read and
28    try the example programs <literal>zoomtst1.c</literal>,
29    <literal>zoomtst2.c</literal>, .. in the <literal>zoom</literal>
30    directory.
31   </para>
33   <para>
34    The C language misses features found in object oriented languages
35    such as C++, Java, etc. For example, you'll have to manually,
36    destroy all objects you create, even though you may think of them as
37    temporary. Most objects has a <literal>_create</literal> - and a
38    <literal>_destroy</literal> variant.
39    All objects are in fact pointers to internal stuff, but you don't see
40    that because of typedefs. All destroy methods should gracefully ignore a
41    <literal>NULL</literal> pointer.
42   </para>
43   <para>
44    In each of the sections below you'll find a sub section called
45    protocol behavior, that descries how the API maps to the Z39.50
46    protocol.
47   </para>
48   <sect1 id="zoom.connections"><title>Connections</title>
50    <para>The Connection object is a session with a target.
51    </para>
52    <synopsis>
53    #include &lt;yaz/zoom.h>
55    ZOOM_connection ZOOM_connection_new (const char *host, int portnum);
57    ZOOM_connection ZOOM_connection_create (ZOOM_options options);
59    void ZOOM_connection_connect(ZOOM_connection c, const char *host,
60                                  int portnum);
61    void ZOOM_connection_destroy (ZOOM_connection c);
62    </synopsis>
63    <para>
64     Connection objects are created with either function
65     <function>ZOOM_connection_new</function> or 
66     <function>ZOOM_connection_create</function>.
67     The former creates and automatically attempts to establish a network
68     connection with the target. The latter doesn't establish
69     a connection immediately, thus allowing you to specify options
70     before establishing network connection using the function
71     <function>ZOOM_connection_connect</function>. 
72     If the portnumber, <literal>portnum</literal>, is zero, the
73     <literal>host</literal> is consulted for a port specification.
74     If no port is given, 210 is used. A colon denotes the beginning of
75     a port number in the host string. If the host string includes a
76     slash, the following part specifies a database for the connection.
77    </para>
78    <para>
79     Connection objects should be destroyed using the function
80     <function>ZOOM_connection_destroy</function>.
81    </para>
82    <synopsis>
83     void ZOOM_connection_option_set (ZOOM_connection c,
84                                      const char *key,
85                                      const char *val);
87     const char *ZOOM_connection_option_get (ZOOM_connection c,
88                                             const char *key);
89    </synopsis>
90    <para>
91     The <function>ZOOM_connection_option_set</function> allows you to
92     set an option given by <parameter>key</parameter> to the value
93     <parameter>value</parameter> for the connection.
94      Function <function>ZOOM_connection_option_get</function> returns
95     the value for an option given by <parameter>key</parameter>.
96    </para>
97    <table frame="sides" colsep="1"><title>ZOOM Connection Options</title>
98     <tgroup cols="3">
99      <colspec colwidth="4*" colname="name"></colspec>
100      <colspec colwidth="7*" colname="description"></colspec>
101      <colspec colwidth="3*" colname="default"></colspec>
102      <thead>
103       <row>
104        <entry>Option</entry>
105        <entry>Description</entry>
106        <entry>Default</entry>
107       </row>
108      </thead>
109      <tbody>
110       <row><entry>
111         implementationName</entry><entry>Name of Your client
112        </entry><entry>none</entry></row>
113       <row><entry>
114         user</entry><entry>Authentication user name
115        </entry><entry>none</entry></row>
116       <row><entry>
117         group</entry><entry>Authentication group name
118        </entry><entry>none</entry></row>
119       <row><entry>
120         pass</entry><entry>Authentication password
121       </entry><entry>none</entry></row>
122       <row><entry>
123         host</entry><entry>Target host. This setting is "read-only".
124         It's automatically set internally when connecting to a target.
125        </entry><entry>none</entry></row>
126       <row><entry>
127         proxy</entry><entry>Proxy host
128        </entry><entry>none</entry></row>
129       <row><entry>
130         async</entry><entry>If true (1) the connection operates in 
131         asynchronous operation which means that all calls are non-blocking
132         except
133         <link linkend=""><function>ZOOM_event</function></link>.
134        </entry><entry>0</entry></row>
135       <row><entry>
136         maximumRecordSize</entry><entry> Maximum size of single record.
137        </entry><entry>1 MB</entry></row>
138       <row><entry>
139         preferredMessageSize</entry><entry> Maximum size of multiple records.
140        </entry><entry>1 MB</entry></row>
141      </tbody>
142     </tgroup>
143    </table>
144    <synopsis>
145      int ZOOM_connection_error (ZOOM_connection c, const char **cp,
146                                  const char **addinfo);
147    </synopsis>
148    <para>
149     Use <function>ZOOM_connection_error</function> to check for
150     errors for the last operation(s) performed. The function returns
151     zero if no errors occurred; non-zero otherwise indicating the error.
152     Pointers <parameter>cp</parameter> and <parameter>addinfo</parameter>
153     holds messages for the error and additional-info if passed as
154     non-<literal>NULL</literal>.
155    </para>
156    <sect2><title>Protocol behavior</title>
157     <para>
158      The calls <function>ZOOM_connection_new</function> and
159      <function>ZOOM_connection_connect</function> establises a TCP/IP
160       connection and sends an Initialize Request to the target if
161       possible. In addition, the calls waits for an Initialize Response
162       from the target and the result is inspected (OK or rejected).
163     </para>
164     <para>
165      If <literal>proxy</literal> is set then the client will establish
166      a TCP/IP connection with the peer as specified by the
167      <literal>proxy</literal> host and the hostname as part of the
168      connect calls will be set as part of the Initialize Request.
169      The proxy server will then "forward" the PDU's transparently
170      to the target behind the proxy.
171     </para>
172     <para>
173      For the authentication parameters, if option <literal>user</literal>
174      is set and both options <literal>group</literal> and
175      <literal>pass</literal> are unset, then Open style
176      authentication is used (Version 2/3) in which case the username
177      is usually followed by a slash, then by a password.
178      If either <literal>group</literal>
179      or <literal>pass</literal> is set then idPass authentication
180      (Version 3 only) is used. If none of the options are set, no
181      authentication parameters are set as part of the Initialize Request
182      (obviously).
183     </para>
184     <para>
185      When option <literal>async</literal> is 1, it really means that
186      all network operations are postponed (and queued) until the
187      function <literal>ZOOM_event</literal> is invoked. When doing so
188      it doesn't make sense to check for errors after
189      <literal>ZOOM_connection_new</literal> is called since that
190      operation "connecting - and init" is still incomplete and the
191      API cannot tell the outcome (yet).
192     </para>
193     </sect2>
194   </sect1>
195   <sect1 id="zoom.query"><title>Queries</title>
196    <para>
197     Query objects represents queries.
198    </para>
199    <synopsis>
200      ZOOM_query ZOOM_query_create(void);
202      void ZOOM_query_destroy(ZOOM_query q);
204      int ZOOM_query_prefix(ZOOM_query q, const char *str);
206      int ZOOM_query_sortby(ZOOM_query q, const char *criteria);
207    </synopsis>
208    <para>
209     Create query objects using <function>ZOOM_query_create</function>
210     and destroy them by calling <function>ZOOM_query_destroy</function>.
211     RPN-queries can be specified in <link linkend="PQF">PQF</link>
212     notation by using the
213     function <function>ZOOM_query_prefix</function>. More
214     query types will be added later, such as
215     <link linkend="CCL">CCL</link> to RPN-mapping, native CCL query,
216     etc. In addition to a search, a sort criteria may be set. Function
217     <function>ZOOM_query_sortby</function> specifies a 
218     sort criteria using the same string notation for sort as offered by
219     the <link linkend="sortspec">YAZ client</link>.
220    </para>
221    <sect2><title>Protocol behavior</title>
222     <para>
223      The query object is just an interface for the member Query
224      in the SearchRequest. The sortby-function is an interface to the
225      sortSequence member of the SortRequest.
226     </para>
227    </sect2>
228   </sect1>
229   <sect1 id="zoom.resultsets"><title>Result sets</title>
230    <para>
231     The result set object is a container for records returned from
232     a target.
233    </para>
234    <synopsis>
235      ZOOM_resultset ZOOM_connection_search(ZOOM_connection,
236                                            ZOOM_query q);
238      ZOOM_resultset ZOOM_connection_search_pqf(ZOOM_connection c,
239                                                const char *q);
241      void ZOOM_resultset_destroy(ZOOM_resultset r);
242    </synopsis>
243    <para>
244     Function <function>ZOOM_connection_search</function> creates
245      a result set given a connection and query.
246     Destroy a result set by calling
247     <function>ZOOM_resultset_destroy</function>.
248     Simple clients may using PQF only may use function
249     <function>ZOOM_connection_search_pqf</function> in which case
250     creating query objects is not necessary.
251    </para>
252    <synopsis>
253      void ZOOM_resultset_option_set (ZOOM_resultset r,
254                                       const char *key,
255                                       const char *val);
257      const char *ZOOM_resultset_option_get (ZOOM_resultset r,
258                                              const char *key);
260      size_t ZOOM_resultset_size (ZOOM_resultset r);
261    </synopsis>
262    <para>
263     Functions <function>ZOOM_resultset_options_set</function> and
264     <function>ZOOM_resultset_get</function> sets and gets an option
265     for a result set similar to <function>ZOOM_connection_option_get</function>
266     and <function>ZOOM_connection_option_set</function>.
267    </para>
268    <para>
269     The number of hits also called result-count is returned by
270     function <function>ZOOM_resultset_size</function>.
271    </para>
272    <table frame="top"><title>ZOOM Result set Options</title>
273     <tgroup cols="3">
274      <colspec colwidth="4*" colname="name"></colspec>
275      <colspec colwidth="7*" colname="description"></colspec>
276      <colspec colwidth="2*" colname="default"></colspec>
277      <thead>
278       <row>
279        <entry>Option</entry>
280        <entry>Description</entry>
281        <entry>Default</entry>
282       </row>
283      </thead>
284      <tbody>
285       <row><entry>
286         piggyback</entry><entry>True (1) if piggyback should be
287         used in searches; false (0) if not.
288        </entry><entry>1</entry></row>
289       <row><entry>
290         start</entry><entry>Offset of first record to be 
291         retrieved from target. First record has offset 0 unlike the
292         protocol specifications where first record has position 1.
293        </entry><entry>0</entry></row>
294       <row><entry>
295         count</entry><entry>Number of records to be retrieved.
296        </entry><entry>0</entry></row>
297       <row><entry>
298         elementSetName</entry><entry>Element-Set name of records. 
299         Most targets should honor element set name <literal>B</literal>
300         and <literal>F</literal> for brief and full respectively.
301        </entry><entry>none</entry></row>
302       <row><entry>
303         preferredRecordSyntax</entry><entry>Preferred Syntax, such as
304         <literal>USMARC</literal>, <literal>SUTRS</literal>, etc.
305        </entry><entry>none</entry></row>
306       <row><entry>
307         schema</entry><entry>Schema for retrieval, such as
308         <literal>Gils-schema</literal>, <literal>Geo-schema</literal>, etc.
309        </entry><entry>none</entry></row>
310       <row><entry>
311         smallSetUpperBound</entry><entry>If hits is less than or equal to this
312         value, then target will return all records using small element set name
313        </entry><entry>0</entry></row>
314       <row><entry>
315         largeSetLowerBound</entry><entry>If hits is greator than this
316         value, the target will return no records.
317        </entry><entry>1</entry></row>
318       <row><entry>
319         mediumSetPresentNumber</entry><entry>This value represents
320         the number of records to be returned as part of a search when when
321         hits is less than or equal to large set lower bound and if hits
322         is greator than small set upper bound.
323        </entry><entry>0</entry></row>
324       <row><entry>
325         smallSetElementSetName</entry><entry>
326         The element set name to be used for small result sets.
327        </entry><entry>none</entry></row>
328       <row><entry>
329         mediumSetElementSetName</entry><entry>
330         The element set name to be for medium-sized result sets.
331        </entry><entry>none</entry></row>
332       <row><entry>
333         databaseName</entry><entry>One or more database names
334         separated by character plus (<literal>+</literal>).
335        </entry><entry>Default</entry></row>
336       <row><entry>
337         setname</entry><entry>Name of Result Set (Result Set ID).
338         If this option isn't set, the ZOOM module will automatically
339         allocate a result set name.
340        </entry><entry>default</entry></row>
341      </tbody>
342     </tgroup>
343    </table>
344    <sect2>
345     <title>Protocol behavior</title>
346     <para>
347      The creation of a result set involves at least a SearchRequest
348      - SearchResponse protocol handshake. Following that, if a sort
349      critieria was specified as part of the query, a sortRequest -
350      SortResponse handshake takes place. Note that it is necessary to
351      perform sorting before any retrieval takes place, so no records will
352      be returned from the target as part of the SearchResponse because these
353      would be unsorted. Hence, piggyback is disabled when sort critieria
354      is set. Following Search - and a Possible sort, Retrieval takes
355      place - as one or more Present Requests - Present Response being
356      transferred.
357      </para>
358     <para>
359      The API allows for two different modes for retrieval. A high level
360      mode which is somewhat more powerful and a low level one.
361      The low level is "enabled" when the settings
362      <literal>smallSetUpperBound</literal>,
363      <literal>mediumSetPresentNumber</literal> and
364      <literal>largeSetLowerBound</literal> are set. The low level mode
365      thus allows you to precisely set how records are returned as part
366      of a search response as offered by the Z39.50 protocol.
367      Since the client may be retrieving records as part of the
368      search response, this mode doesn't work well if sorting is used.
369      </para>
370     <para>
371      The high-level mode allows you to fetch a range of records from
372      the result set with a given start offset. When you use this mode
373      the client will automatically use piggyback if that is possible
374      with the target and perform one or more present requests as needed.
375      Even if the target returns fewer records as part of a present response
376      because of a record size limit, etc. the client will repeat sending
377      present requests. As an example, if option <literal>start</literal>
378      is 0 (default) and <literal>count</literal> is 4, and
379      <literal>piggyback</literal> is 1 (default) and no sorting critieria
380      is specified, then the client will attempt to retrieve the 4
381      records as part the search response (using piggyback). On the other
382      hand, if either <literal>start</literal> is positive or if
383      a sorting criteria is set, or if <literal>piggyback</literal>
384      is 0, then the client will not perform piggyback but send Present
385      Requests instead.
386     </para>
387     <para>
388      If either of the options <literal>mediumSetElementSetName</literal> and
389      <literal>smallSetElementSetName</literal> are unset, the value
390      of option <literal>elementSetName</literal> is used for piggyback
391      searches. This means that for the high-level mode you only have
392      to specify one elementSetName option rather than three.
393      </para>
394    </sect2>
395   </sect1>
396   <sect1 id="zoom.records"><title>Records</title>
397    <para>
398     A record object is a retrival record on the client side -
399     created from result sets.
400    </para>
401    <synopsis>
402      void ZOOM_resultset_records (ZOOM_resultset r,
403                                   ZOOM_record *recs,
404                                   size_t start, size_t count);
405      ZOOM_record ZOOM_resultset_record (ZOOM_resultset s, size_t pos);
407      void *ZOOM_record_get (ZOOM_record rec, const char *type,
408                             size_t *len);
410      ZOOM_record ZOOM_record_clone (ZOOM_record rec);
412      void ZOOM_record_destroy (ZOOM_record rec);
413    </synopsis>
414    <para>
415     References to temporary records are returned by functions 
416     <function>ZOOM_resultset_records</function> or
417     <function>ZOOM_resultset_record</function>.
418     </para>
419    <para>
420     If a persistent reference to a record is desired
421     <function>ZOOM_record_clone</function> should be used.
422     It returns a record reference that should be destroyed
423     by a call to <function>ZOOM_record_destroy</function>.
424    </para>
425    <para>
426     A single record is returned by function
427     <function>ZOOM_resultset_record</function> that takes a 
428     position as argument. First record has position zero.
429     If no record could be obtained <literal>NULL</literal> is returned.
430    </para>
431    <para>
432     Function <function>ZOOM_resultset_records</function> retrieves
433     a number of records from a result set. Parameter <literal>start</literal>
434     and <literal>count</literal> specifies the range of records to
435     be returned. Upon completion array
436     <literal>recs[0], ..recs[count-1]</literal>
437     holds record objects for the records. The array of records
438      <literal>recs</literal> should be allocated prior the call
439     <function>ZOOM_resultset_records</function>. Note that for those
440     records that couldn't be retrieved from the target
441     <literal>recs[ ..]</literal> is set to <literal>NULL</literal>.
442    </para>
443    <para id="zoom.record.get">
444     In order to extract information about a single record,
445     <function>ZOOM_record_get</function> is provided. The
446     function returns a pointer to certain record information. The
447     nature (type) of the pointer depends on the parameter,
448     <function>type</function>.
449     In addition, for certain types, the length
450     <literal>len</literal> passed will be set to the size in bytes of
451     the returned information.
452     <variablelist>
453      <varlistentry><term><literal>database</literal></term>
454       <listitem><para>Database of record is returned
455         as a C null-terminated string. Return type <literal>char *</literal>. 
456        </para></listitem>
457       </varlistentry>
458      <varlistentry><term><literal>syntax</literal></term>
459       <listitem><para>The transfer syntax (OID) of the record is returned
460         as a C null-terminated string. Return type <literal>char *</literal>. 
461        </para></listitem>
462       </varlistentry>
463      <varlistentry><term><literal>render</literal></term>
464       <listitem><para>The record is returned in a display friendly
465         format. Upon completion buffer is returned
466         (type <literal>char *</literal>) and length is stored in
467         <literal>*len</literal>.
468        </para></listitem>
469       </varlistentry>
470      <varlistentry><term><literal>raw</literal></term>
471       <listitem><para>The record is returned in the internal
472         YAZ specific format. The raw data is returned as type 
473         <literal>Z_External *</literal> which is just the type for
474         the member <literal>retrievalRecord</literal> in
475         type <literal>NamePlusRecord</literal>.
476        </para></listitem>
477       </varlistentry>
478     </variablelist>
479    </para>
480    <sect2><title>Protocol behavior</title>
481     <para>
482      The functions <function>ZOOM_resultset_record</function> and
483      <function>ZOOM_resultset_records</function> inspects the client-side
484      record cache. Records not found in cache are fetched using
485      Present.
486      The functions may block (and perform network I/O)  - even though option
487      <literal>async</literal> is 1, because they return records objects.
488      (and there's no way to return records objects without retrieving them!).
489      </para>
490     <para>
491      There is a trick, however, in the usage of function
492      <function>ZOOM_resultset_records</function> that allows for
493      delayed retrieval (and makes it non-blocking). By passing
494      a null pointer for <parameter>recs</parameter> you're indicating
495      you're not interested in getting records objects
496      <emphasis>now</emphasis>.
497     </para>
498    </sect2>
499   </sect1>
500   <sect1 id="zoom.options"><title>Options</title>
501    <para>
502     Most &zoom; objects provide a way to specify options to change behavior.
503     From an implementation point of view a set of options is just like
504     an associative array / hash array, etc.
505    </para>
506    <synopsis>
507      ZOOM_options ZOOM_options_create (void);
509      ZOOM_options ZOOM_options_create_with_parent (ZOOM_options parent);
511      void ZOOM_options_destroy (ZOOM_options opt);
512    </synopsis>
513    <synopsis>
514      const char *ZOOM_options_get (ZOOM_options opt, const char *name);
516      void ZOOM_options_set (ZOOM_options opt, const char *name,
517                             const char *v);
518    </synopsis>
519    <synopsis>
520      typedef const char *(*ZOOM_options_callback)
521                                      (void *handle, const char *name);
523      ZOOM_options_callback
524              ZOOM_options_set_callback (ZOOM_options opt,
525                                         ZOOM_options_callback c,
526                                         void *handle);
527    </synopsis>
528   </sect1>
529   <sect1 id="zoom.scan"><title>Scsn</title>
530    <para>
531     This section describes an interface for Scan. Scan is not an
532     official part of the ZOOM model yet. The result of a scan operation
533     is the <literal>ZOOM_scanset</literal> which is a set of terms
534     returned by a target.
535    </para>
536    <synopsis>
537     ZOOM_scanset ZOOM_connection_scan (ZOOM_connection c,
538                                        const char *startterm);
540     size_t ZOOM_scanset_size(ZOOM_scanset scan);
542     const char * ZOOM_scanset_term(ZOOM_scanset scan, size_t pos,
543                                    int *occ, size_t *len);
546     void ZOOM_scanset_destroy (ZOOM_scanset scan);
547     </synopsis>
548    <para>
549     The scan set is created by function
550     <function>ZOOM_connection_scan</function> which performs a scan
551     operation on the connection and start term given.
552     If the operation was successful, the size of the scan set can be
553     retrived by a call to <function>ZOOM_scanset_size</function>.
554     Like result sets, the items are numbered 0,..size-1.
555     To obtain information about a particular scan term, call function
556     <function>ZOOM_scanset_term</function>. This function takes
557     a scan set offset <literal>pos</literal> and returns a pointer
558     to an actual term or <literal>NULL</literal> if non-present.
559     If present, the <literal>occ</literal> and <literal>len</literal> 
560     are set to the number of occurrences and the length
561     of the actual term respectively.
562     A scan set may be freed by a call to function
563     <function>ZOOM_scanset_destroy</function>.
564     </para>
565    </sect1>
566   <sect1 id=""><title>Events</title>
567    <para>
568     If you're developing non-blocking applications, you have to deal 
569     with events.
570    </para>
571    <synopsis>
572     int ZOOM_event (int no, ZOOM_connection *cs);
573    </synopsis>
574    <para>
575     The <function>ZOOM_event</function> executes pending events for
576     a number of connections. Supply the number of connections in
577     <literal>no</literal> and an array of connections in
578     <literal>cs</literal> (<literal>cs[0] ... cs[no-1]</literal>).
579     A pending event could be a sending a search, receiving a response,
580     etc.
581     When an event has occured for one of the connections, this function
582     returns a positive integer <literal>n</literal> denoting that an event
583     occurred for connection <literal>cs[n-1]</literal>.
584     When no events are pending for the connections, a value of zero is
585     returned.
586     To ensure that all outstanding requests are performed call this function
587     repeatedly until zero is returned.
588    </para>
589   </sect1>
590  </chapter>
592  <!-- Keep this comment at the end of the file
593  Local variables:
594  mode: sgml
595  sgml-omittag:t
596  sgml-shorttag:t
597  sgml-minimize-attributes:nil
598  sgml-always-quote-attributes:t
599  sgml-indent-step:1
600  sgml-indent-data:t
601  sgml-parent-document: "yaz.xml"
602  sgml-local-catalogs: nil
603  sgml-namecase-general:t
604  End:
605  -->