Version 1.15
[simpleserver-moved-to-github.git] / SimpleServer.pm
1 ## This file is part of simpleserver
2 ## Copyright (C) 2000-2011 Index Data.
3 ## All rights reserved.
4 ## Redistribution and use in source and binary forms, with or without
5 ## modification, are permitted provided that the following conditions are met:
6 ##
7 ##     * Redistributions of source code must retain the above copyright
8 ##       notice, this list of conditions and the following disclaimer.
9 ##     * Redistributions in binary form must reproduce the above copyright
10 ##       notice, this list of conditions and the following disclaimer in the
11 ##       documentation and/or other materials provided with the distribution.
12 ##     * Neither the name of Index Data nor the names of its contributors
13 ##       may be used to endorse or promote products derived from this
14 ##       software without specific prior written permission.
15 ##
16 ## THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND ANY
17 ## EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
18 ## WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
19 ## DISCLAIMED. IN NO EVENT SHALL THE REGENTS AND CONTRIBUTORS BE LIABLE FOR ANY
20 ## DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
21 ## (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
22 ## LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
23 ## ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
24 ## (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
25 ## THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
26
27 package Net::Z3950::SimpleServer;
28
29 use strict;
30 use vars qw($VERSION @ISA @EXPORT @EXPORT_OK);
31 use Carp;
32
33 require Exporter;
34 require DynaLoader;
35 require AutoLoader;
36
37 @ISA = qw(Exporter AutoLoader DynaLoader);
38 @EXPORT = qw( );
39 $VERSION = '1.15';
40
41 bootstrap Net::Z3950::SimpleServer $VERSION;
42
43 # Preloaded methods go here.
44
45 my $count = 0;
46
47 sub new {
48         my $class = shift;
49         my %args = @_;
50         my $self = \%args;
51
52         if ($count) {
53                 carp "SimpleServer.pm: WARNING: Multithreaded server unsupported";
54         }
55         $count = 1;
56
57         croak "SimpleServer.pm: ERROR: Unspecified search handler" unless defined($self->{SEARCH});
58         croak "SimpleServer.pm: ERROR: Unspecified fetch handler" unless defined($self->{FETCH});
59
60         bless $self, $class;
61         return $self;
62 }
63
64
65 sub launch_server {
66         my $self = shift;
67         my @args = @_;
68
69         ### This modal internal interface, in which we set a bunch of
70         #   globals and then call start_server(), is asking for
71         #   trouble.  Instead, we should just pass the $self object
72         #   as a parameter into start_server().
73         if (defined($self->{GHANDLE})) {
74                 set_ghandle($self->{GHANDLE});
75         }
76         if (defined($self->{INIT})) {
77                 set_init_handler($self->{INIT});
78         }
79         set_search_handler($self->{SEARCH});
80         set_fetch_handler($self->{FETCH});
81         if (defined($self->{CLOSE})) {
82                 set_close_handler($self->{CLOSE});
83         }
84         if (defined($self->{PRESENT})) {
85                 set_present_handler($self->{PRESENT});
86         }
87         if (defined($self->{SCAN})) {
88                 set_scan_handler($self->{SCAN});
89         }
90         if (defined($self->{SORT})) {
91                 set_sort_handler($self->{SORT});
92         }
93         if (defined($self->{EXPLAIN})) {
94                 set_explain_handler($self->{EXPLAIN});
95         }
96         if (defined($self->{DELETE})) {
97                 set_delete_handler($self->{DELETE});
98         }
99
100         start_server(@args);
101 }
102
103
104 # Register packages that we will use in translated RPNs
105 package Net::Z3950::RPN::Node;
106 package Net::Z3950::APDU::Query;
107 our @ISA = qw(Net::Z3950::RPN::Node);
108 package Net::Z3950::APDU::OID;
109 package Net::Z3950::RPN::And;
110 our @ISA = qw(Net::Z3950::RPN::Node);
111 package Net::Z3950::RPN::Or;
112 our @ISA = qw(Net::Z3950::RPN::Node);
113 package Net::Z3950::RPN::AndNot;
114 our @ISA = qw(Net::Z3950::RPN::Node);
115 package Net::Z3950::RPN::Term;
116 our @ISA = qw(Net::Z3950::RPN::Node);
117 package Net::Z3950::RPN::RSID;
118 our @ISA = qw(Net::Z3950::RPN::Node);
119 package Net::Z3950::RPN::Attributes;
120 package Net::Z3950::RPN::Attribute;
121 package Net::Z3950::FacetList;
122 package Net::Z3950::FacetField;
123 package Net::Z3950::FacetTerms;
124 package Net::Z3950::FacetTerm;
125
126
127 # Utility method for re-rendering Type-1 query back down to PQF
128 package Net::Z3950::RPN::Node;
129
130 sub toPQF {
131     my $this = shift();
132     my $class = ref $this;
133
134     if ($class eq "Net::Z3950::APDU::Query") {
135         my $res = "";
136         my $set = $this->{attributeSet};
137         $res .= "\@attrset $set " if defined $set;
138         return $res . $this->{query}->toPQF();
139     } elsif ($class eq "Net::Z3950::RPN::Or") {
140         return '@or ' . $this->[0]->toPQF() . ' ' . $this->[1]->toPQF();
141     } elsif ($class eq "Net::Z3950::RPN::And") {
142         return '@and ' . $this->[0]->toPQF() . ' ' . $this->[1]->toPQF();
143     } elsif ($class eq "Net::Z3950::RPN::AndNot") {
144         return '@not ' . $this->[0]->toPQF() . ' ' . $this->[1]->toPQF();
145     } elsif ($class eq "Net::Z3950::RPN::RSID") {
146         return '@set ' . $this->{id};
147     } elsif ($class ne "Net::Z3950::RPN::Term") {
148         die "unknown PQF node-type '$class'";
149     }
150
151     my $res = "";
152     foreach my $attr (@{ $this->{attributes} }) {
153         $res .= "\@attr ";
154         my $set = $attr->{attributeSet};
155         $res .= "$set " if defined $set;
156         $res .= $attr->{attributeType} . "=" . $attr->{attributeValue} . " ";
157     }
158
159     return $res . $this->{term};
160 }
161
162
163 # Must revert to original package for Autoloader's benefit
164 package Net::Z3950::SimpleServer;
165
166
167 # Autoload methods go after =cut, and are processed by the autosplit program.
168
169 1;
170 __END__
171 # Below is the stub of documentation for your module. You better edit it!
172
173 =head1 NAME
174
175 Net::Z3950::SimpleServer - Simple Perl API for building Z39.50 servers. 
176
177 =head1 SYNOPSIS
178
179   use Net::Z3950::SimpleServer;
180
181   sub my_search_handler {
182         my $args = shift;
183
184         my $set_id = $args->{SETNAME};
185         my @database_list = @{ $args->{DATABASES} };
186         my $query = $args->{QUERY};
187
188         ## Perform the query on the specified set of databases
189         ## and return the number of hits:
190
191         $args->{HITS} = $hits;
192   }
193
194   sub my_fetch_handler {        # Get a record for the user
195         my $args = shift;
196
197         my $set_id = $args->{SETNAME};
198
199         my $record = fetch_a_record($args->{OFFSET});
200
201         $args->{RECORD} = $record;
202         if (number_of_hits() == $args->{OFFSET}) {      ## Last record in set?
203                 $args->{LAST} = 1;
204         } else {
205                 $args->{LAST} = 0;
206         }
207   }
208
209   ## Register custom event handlers:
210   my $z = new Net::Z3950::SimpleServer(GHANDLE = $someObject,
211                                        INIT   =>  \&my_init_handler,
212                                        CLOSE  =>  \&my_close_handler,
213                                        SEARCH =>  \&my_search_handler,
214                                        FETCH  =>  \&my_fetch_handler);
215
216   ## Launch server:
217   $z->launch_server("ztest.pl", @ARGV);
218
219 =head1 DESCRIPTION
220
221 The SimpleServer module is a tool for constructing Z39.50 "Information
222 Retrieval" servers in Perl. The module is easy to use, but it
223 does help to have an understanding of the Z39.50 query
224 structure and the construction of structured retrieval records.
225
226 Z39.50 is a network protocol for searching remote databases and
227 retrieving the results in the form of structured "records". It is widely
228 used in libraries around the world, as well as in the US Federal Government.
229 In addition, it is generally useful whenever you wish to integrate a number
230 of different database systems around a shared, abstract data model.
231
232 The model of the module is simple: It implements a "generic" Z39.50
233 server, which invokes callback functions supplied by you to search
234 for content in your database. You can use any tools available in
235 Perl to supply the content, including modules like DBI and
236 WWW::Search.
237
238 The server will take care of managing the network connections for
239 you, and it will spawn a new process (or thread, in some
240 environments) whenever a new connection is received.
241
242 The programmer can specify subroutines to take care of the following type
243 of events:
244
245   - Initialize request
246   - Search request
247   - Present request
248   - Fetching of records
249   - Scan request (browsing) 
250   - Closing down connection
251
252 Note that only the Search and Fetch handler functions are required.
253 The module can supply default responses to the other on its own.
254
255 After the launching of the server, all control is given away from
256 the Perl script to the server. The server calls the registered
257 subroutines to field incoming requests from Z39.50 clients.
258
259 A reference to an anonymous hash is passed to each handler. Some of
260 the entries of these hashes are to be considered input and others
261 output parameters.
262
263 The Perl programmer specifies the event handlers for the server by
264 means of the SimpleServer object constructor
265
266   my $z = new Net::Z3950::SimpleServer(
267                         INIT    =>      \&my_init_handler,
268                         CLOSE   =>      \&my_close_handler,
269                         SEARCH  =>      \&my_search_handler,
270                         PRESENT =>      \&my_present_handler,
271                         SCAN    =>      \&my_scan_handler,
272                         FETCH   =>      \&my_fetch_handler,
273                         EXPLAIN =>      \&my_explain_handler,
274                         DELETE  =>      \&my_delete_handler,
275                         SORT    =>      \&my_sort_handler);
276
277 In addition, the arguments to the constructor may include GHANDLE, a
278 global handle which is made available to each invocation of every
279 callback function.  This is typically a reference to either a hash or
280 an object.
281
282 If you want your SimpleServer to start a thread (threaded mode) to
283 handle each incoming Z39.50 request instead of forking a process
284 (forking mode), you need to register the handlers by symbol rather
285 than by code reference. Thus, in threaded mode, you will need to
286 register your handlers this way:
287
288   my $z = new Net::Z3950::SimpleServer(
289                         INIT    =>      "my_package::my_init_handler",
290                         CLOSE   =>      "my_package::my_close_handler",
291                         ....
292                         ....          );
293
294 where my_package is the Perl package in which your handler is
295 located.
296
297 After the custom event handlers are declared, the server is launched
298 by means of the method
299
300   $z->launch_server("MyServer.pl", @ARGV);
301
302 Notice, the first argument should be the name of your server
303 script (for logging purposes), while the rest of the arguments
304 are documented in the YAZ toolkit manual: The section on
305 application invocation: <http://indexdata.com/yaz/doc/server.invocation.tkl>
306
307 In particular, you need to use the -T switch to start your SimpleServer
308 in threaded mode.
309
310 =head2 Init handler
311
312 The init handler is called whenever a Z39.50 client is attempting
313 to logon to the server. The exchange of parameters between the
314 server and the handler is carried out via an anonymous hash reached
315 by a reference, i.e.
316
317   $args = shift;
318
319 The argument hash passed to the init handler has the form
320
321   $args = {
322                                     ## Response parameters:
323
324              PEER_NAME =>  "",      ## Name or IP address of connecting client
325              IMP_ID    =>  "",      ## Z39.50 Implementation ID
326              IMP_NAME  =>  "",      ## Z39.50 Implementation name
327              IMP_VER   =>  "",      ## Z39.50 Implementation version
328              ERR_CODE  =>  0,       ## Error code, cnf. Z39.50 manual
329              ERR_STR   =>  "",      ## Error string (additional info.)
330              USER      =>  "xxx"    ## If Z39.50 authentication is used,
331                                     ## this member contains user name
332              PASS      =>  "yyy"    ## Under same conditions, this member
333                                     ## contains the password in clear text
334              GHANDLE   =>  $obj     ## Global handler specified at creation
335              HANDLE    =>  undef    ## Handler of Perl data structure
336           };
337
338 The HANDLE member can be used to store any scalar value which will then
339 be provided as input to all subsequent calls (ie. for searching, record
340 retrieval, etc.). A common use of the handle is to store a reference to
341 a hash which may then be used to store session-specific parameters.
342 If you have any session-specific information (such as a list of
343 result sets or a handle to a back-end search engine of some sort),
344 it is always best to store them in a private session structure -
345 rather than leaving them in global variables in your script.
346
347 The Implementation ID, name and version are only really used by Z39.50
348 client developers to see what kind of server they're dealing with.
349 Filling these in is optional.
350
351 The ERR_CODE should be left at 0 (the default value) if you wish to
352 accept the connection. Any other value is interpreted as a failure
353 and the client will be shown the door, with the code and the
354 associated additional information, ERR_STR returned.
355
356 =head2 Search handler
357
358 Similarly, the search handler is called with a reference to an anony-
359 mous hash. The structure is the following:
360
361   $args = {
362                                     ## Request parameters:
363
364              GHANDLE   =>  $obj     ## Global handler specified at creation
365              HANDLE    =>  ref,     ## Your session reference.
366              SETNAME   =>  "id",    ## ID of the result set
367              REPL_SET  =>  0,       ## Replace set if already existing?
368              DATABASES =>  ["xxx"], ## Reference to a list of data-
369                                     ## bases to search
370              QUERY     =>  "query", ## The query expression
371              RPN       =>  $obj,    ## Reference to a Net::Z3950::APDU::Query
372
373                                     ## Response parameters:
374
375              ERR_CODE  =>  0,       ## Error code (0=Successful search)
376              ERR_STR   =>  "",      ## Error string
377              HITS      =>  0        ## Number of matches
378           };
379
380 Note that a search which finds 0 hits is considered successful in
381 Z39.50 terms - you should only set the ERR_CODE to a non-zero value
382 if there was a problem processing the request. The Z39.50 standard
383 provides a comprehensive list of standard diagnostic codes, and you
384 should use these whenever possible.
385
386 The QUERY is a tree-structure of terms combined by operators, the
387 terms being qualified by lists of attributes. The query is presented
388 to the search function in the Prefix Query Format (PQF) which is
389 used in many applications based on the YAZ toolkit. The full grammar
390 is described in the YAZ manual.
391
392 The following are all examples of valid queries in the PQF. 
393
394         dylan
395
396         "bob dylan"
397
398         @or "dylan" "zimmerman"
399
400         @set Result-1
401
402         @or @and bob dylan @set Result-1
403
404         @and @attr 1=1 "bob dylan" @attr 1=4 "slow train coming"
405
406         @attrset @attr 4=1 @attr 1=4 "self portrait"
407
408 You will need to write a recursive function or something similar to
409 parse incoming query expressions, and this is usually where a lot of
410 the work in writing a database-backend happens. Fortunately, you don't
411 need to support anymore functionality than you want to. For instance,
412 it is perfectly legal to not accept boolean operators, but you SHOULD
413 try to return good error codes if you run into something you can't or
414 won't support.
415
416 A more convenient alternative to the QUERY member may be the RPN
417 member, which is a reference to a Net::Z3950::APDU::Query object
418 representing the RPN query tree.  The structure of that object is
419 supposed to be self-documenting, but here's a brief summary of what
420 you get:
421
422 =over 4
423
424 =item *
425
426 C<Net::Z3950::APDU::Query> is a hash with two fields:
427
428 Z<>
429
430 =over 4
431
432 =item C<attributeSet>
433
434 Optional.  If present, it is a reference to a
435 C<Net::Z3950::APDU::OID>.  This is a string of dot-separated integers
436 representing the OID of the query's top-level attribute set.
437
438 =item C<query>
439
440 Mandatory: a reference to the RPN tree itself.
441
442 =back
443
444 =item *
445
446 Each node of the tree is an object of one of the following types:
447
448 Z<>
449
450 =over 4
451
452 =item C<Net::Z3950::RPN::And>
453
454 =item C<Net::Z3950::RPN::Or>
455
456 =item C<Net::Z3950::RPN::AndNot>
457
458 These three classes are all arrays of two elements, each of which is a
459 node of one of the above types.
460
461 =item C<Net::Z3950::RPN::Term>
462
463 See below for details.
464
465 =item C<Net::Z3950::RPN::RSID>
466
467 A reference to a result-set ID indicating a previous search.  The ID
468 of the result-set is in the C<id> element.
469
470 =back
471
472 =back
473
474 =over 4
475
476 =item *
477
478 C<Net::Z3950::RPN::Term> is a hash with two fields:
479
480 Z<>
481
482 =over 4
483
484 =item C<term>
485
486 A string containing the search term itself.
487
488 =item C<attributes>
489
490 A reference to a C<Net::Z3950::RPN::Attributes> object.
491
492 =back
493
494 =item *
495
496 C<Net::Z3950::RPN::Attributes> is an array of references to
497 C<Net::Z3950::RPN::Attribute> objects.  (Note the plural/singular
498 distinction.)
499
500 =item *
501
502 C<Net::Z3950::RPN::Attribute> is a hash with three elements:
503
504 Z<>
505
506 =over 4
507
508 =item C<attributeSet>
509
510 Optional.  If present, it is dot-separated OID string, as above.
511
512 =item C<attributeType>
513
514 An integer indicating the type of the attribute - for example, under
515 the BIB-1 attribute set, type 1 indicates a ``use'' attribute, type 2
516 a ``relation'' attribute, etc.
517
518 =item C<attributeValue>
519
520 An integer or string indicating the value of the attribute - for example, under
521 BIB-1, if the attribute type is 1, then value 4 indicates a title
522 search and 7 indicates an ISBN search; but if the attribute type is
523 2, then value 4 indicates a ``greater than or equal'' search, and 102
524 indicates a relevance match.
525
526 =back
527
528 =back
529
530 All of these classes except C<Attributes> and C<Attribute> are
531 subclasses of the abstract class C<Net::Z3950::RPN::Node>.  That class
532 has a single method, C<toPQF()>, which may be used to turn an RPN
533 tree, or part of one, back into a textual prefix query.
534
535 Note that, apart to C<toPQF()>, none of these classes have any methods at
536 all: the blessing into classes is largely just a documentation thing
537 so that, for example, if you do
538
539         { use Data::Dumper; print Dumper($args->{RPN}) }
540
541 you get something fairly human-readable.  But of course, the type
542 distinction between the three different kinds of boolean node is
543 important.
544
545 By adding your own methods to these classes (building what I call
546 ``augmented classes''), you can easily build code that walks the tree
547 of the incoming RPN.  Take a look at C<samples/render-search.pl> for a
548 sample implementation of such an augmented classes technique.
549
550
551 =head2 Present handler
552
553 The presence of a present handler in a SimpleServer front-end is optional.
554 Each time a client wishes to retrieve records, the present service is
555 called. The present service allows the origin to request a certain number
556 of records retrieved from a given result set.
557 When the present handler is called, the front-end server should prepare a
558 result set for fetching. In practice, this means to get access to the
559 data from the backend database and store the data in a temporary fashion
560 for fast and efficient fetching. The present handler does *not* fetch
561 anything. This task is taken care of by the fetch handler, which will be
562 called the correct number of times by the YAZ library. More about this
563 below.
564 If no present handler is implemented in the front-end, the YAZ toolkit
565 will take care of a minimum of preparations itself. This default present
566 handler is sufficient in many situations, where only a small amount of
567 records are expected to be retrieved. If on the other hand, large result
568 sets are likely to occur, the implementation of a reasonable present
569 handler can gain performance significantly.
570
571 The information exchanged between client and present handle is:
572
573   $args = {
574                                     ## Client/server request:
575
576              GHANDLE   =>  $obj     ## Global handler specified at creation
577              HANDLE    =>  ref,     ## Reference to datastructure
578              SETNAME   =>  "id",    ## Result set ID
579              START     =>  xxx,     ## Start position
580              COMP      =>  "",      ## Desired record composition
581              NUMBER    =>  yyy,     ## Number of requested records
582
583
584                                     ## Response parameters:
585
586              HITS      =>  zzz,     ## Number of returned records
587              ERR_CODE  =>  0,       ## Error code
588              ERR_STR   =>  ""       ## Error message
589           };
590
591
592 =head2 Fetch handler
593
594 The fetch handler is asked to retrieve a SINGLE record from a given
595 result set (the front-end server will automatically call the fetch
596 handler as many times as required).
597
598 The parameters exchanged between the server and the fetch handler are
599
600   $args = {
601                                     ## Client/server request:
602
603              GHANDLE   =>  $obj     ## Global handler specified at creation
604              HANDLE    =>  ref      ## Reference to data structure
605              SETNAME   =>  "id"     ## ID of the requested result set
606              OFFSET    =>  nnn      ## Record offset number
607              REQ_FORM  =>  "n.m.k.l"## Client requested format OID
608              COMP      =>  "xyz"    ## Formatting instructions
609              SCHEMA    =>  "abc"    ## Requested schema, if any
610
611                                     ## Handler response:
612
613              RECORD    =>  ""       ## Record string
614              BASENAME  =>  ""       ## Origin of returned record
615              LAST      =>  0        ## Last record in set?
616              ERR_CODE  =>  0        ## Error code
617              ERR_STR   =>  ""       ## Error string
618              SUR_FLAG  =>  0        ## Surrogate diagnostic flag
619              REP_FORM  =>  "n.m.k.l"## Provided format OID
620              SCHEMA    =>  "abc"    ## Provided schema, if any
621           };
622
623 The REP_FORM value has by default the REQ_FORM value but can be set to
624 something different if the handler desires. The BASENAME value should
625 contain the name of the database from where the returned record originates.
626 The ERR_CODE and ERR_STR works the same way they do in the search
627 handler. If there is an error condition, the SUR_FLAG is used to
628 indicate whether the error condition pertains to the record currently
629 being retrieved, or whether it pertains to the operation as a whole
630 (eg. the client has specified a result set which does not exist.)
631
632 If you need to return USMARC records, you might want to have a look at
633 the MARC module on CPAN, if you don't already have a way of generating
634 these.
635
636 NOTE: The record offset is 1-indexed - 1 is the offset of the first
637 record in the set.
638
639 =head2 Scan handler
640
641 A full featured Z39.50 server should support scan (or in some literature
642 browse). The client specifies a starting term of the scan, and the server
643 should return an ordered list of specified length consisting of terms
644 actually occurring in the data base. Each of these terms should be close
645 to or equal to the term originally specified. The quality of scan compared
646 to simple search is a guarantee of hits. It is simply like browsing through
647 an index of a book, you always find something! The parameters exchanged are
648
649   $args = {
650                                                 ## Client request
651
652                 GHANDLE         => $obj,        ## Global handler specified at creation
653                 HANDLE          => $ref,        ## Reference to data structure
654                 DATABASES       => ["xxx"],     ## Reference to a list of data-
655                                                 ## bases to search
656                 TERM            => 'start',     ## The start term
657                 RPN             =>  $obj,       ## Reference to a Net::Z3950::RPN::Term
658
659                 NUMBER          => xx,          ## Number of requested terms
660                 POS             => yy,          ## Position of starting point
661                                                 ## within returned list
662                 STEP            => 0,           ## Step size
663
664                                                 ## Server response
665
666                 ERR_CODE        => 0,           ## Error code
667                 ERR_STR         => '',          ## Diagnostic message
668                 NUMBER          => zz,          ## Number of returned terms
669                 STATUS          => $status,     ## ScanSuccess/ScanFailure
670                 ENTRIES         => $entries     ## Referenced list of terms
671         };
672
673 where the term list is returned by reference in the scalar $entries, which
674 should point at a data structure of this kind,
675
676   my $entries = [
677                         {       TERM            => 'energy',
678                                 OCCURRENCE      => 5            },
679
680                         {       TERM            => 'energy density',
681                                 OCCURRENCE      => 6,           },
682
683                         {       TERM            => 'energy flow',
684                                 OCCURRENCE      => 3            },
685
686                                 ...
687
688                                 ...
689         ];
690
691 The $status flag is only meaningful after a successful scan, and
692 should be assigned one of two values:
693
694   Net::Z3950::SimpleServer::ScanSuccess  Full success (default)
695   Net::Z3950::SimpleServer::ScanPartial  Fewer terms returned than requested
696
697 The STEP member contains the requested number of entries in the term-list
698 between two adjacent entries in the response.
699
700 A better alternative to the TERM member is the the RPN
701 member, which is a reference to a Net::Z3950::RPN::Term object
702 representing the scan clause.  The structure of that object is the
703 same as for Term objects included as part of the RPN tree passed to
704 search handlers.  This is more useful than the simple TERM because it
705 includes attributes (e.g. access points associated with the term),
706 which are discarded by the TERM element.
707
708 =head2 Close handler
709
710 The argument hash received by the close handler has two elements only:
711
712   $args = {
713                                     ## Server provides:
714
715              GHANDLE   =>  $obj     ## Global handler specified at creation
716              HANDLE    =>  ref      ## Reference to data structure
717           };
718
719 What ever data structure the HANDLE value points at goes out of scope
720 after this call. If you need to close down a connection to your server
721 or something similar, this is the place to do it.
722
723 =head2 Delete handler
724
725 The argument hash received by the delete handler has the following elements:
726
727   $args = {
728                                     ## Client request:
729              GHANDLE   =>  $obj,    ## Global handler specified at creation
730              HANDLE    =>  ref,     ## Reference to data structure
731              SETNAME   =>  "id",    ## Result set ID
732
733                                     ## Server response:
734              STATUS    => 0         ## Deletion status
735           };
736
737 The SETNAME element of the argument hash may or may not be defined.
738 If it is, then SETNAME is the name of a result set to be deleted; if
739 not, then all result-sets associated with the current session should
740 be deleted.  In either case, the callback function should report on
741 success or failure by setting the STATUS element either to zero, on
742 success, or to an integer from 1 to 10, to indicate one of the ten
743 possible failure codes described in section 3.2.4.1.4 of the Z39.50
744 standard -- see 
745 http://www.loc.gov/z3950/agency/markup/05.html#Delete-list-statuses1
746
747 =head2 Sort handler
748
749 The argument hash received by the sort handler has the following elements:
750
751         $args = {
752                                         ## Client request:
753                 GHANDLE => $obj,        ## Global handler specified at creation
754                 HANDLE => ref,          ## Reference to data structure
755                 INPUT => [ a, b ... ],  ## Names of result-sets to sort
756                 OUTPUT => "name",       ## Name of result-set to sort into
757                 SEQUENCE                ## Sort specification: see below
758
759                                         ## Server response:
760                 STATUS => 0,            ## Success, Partial or Failure
761                 ERR_CODE => 0,          ## Error code
762                 ERR_STR => '',          ## Diagnostic message
763
764         };
765
766 The SEQUENCE element is a reference to an array, each element of which
767 is a hash representing a sort key.  Each hash contains the following
768 elements:
769
770 =over 4
771
772 =item RELATION
773
774 0 for an ascending sort, 1 for descending, 3 for ascending by
775 frequency, or 4 for descending by frequency.
776
777 =item CASE
778
779 0 for a case-sensitive sort, 1 for case-insensitive
780
781 =item MISSING
782
783 How to respond if one or more records in the set to be sorted are
784 missing the fields indicated in the sort specification.  1 to abort
785 the sort, 2 to use a "null value", 3 if a value is provided to use in
786 place of the missing data (although in the latter case, the actual
787 value to use is currently not made available, so this is useless).
788
789 =back
790
791 And one or other of the following:
792
793 =over 4
794
795 =item SORTFIELD
796
797 A string indicating the field to be sorted, which the server may
798 interpret as it sees fit (presumably by an out-of-band agreement with
799 the client).
800
801 =item ELEMENTSPEC_TYPE and ELEMENTSPEC_VALUE
802
803 I have no idea what this is.
804
805 =item ATTRSET and SORT_ATTR
806
807 ATTRSET is the attribute set from which the attributes are taken, and
808 SORT_ATTR is a reference to an array containing the attributes
809 themselves.  Each attribute is represented by (are you following this
810 carefully?) yet another hash, this one containing the elements
811 ATTR_TYPE and ATTR_VALUE: for example, type=1 and value=4 in the BIB-1
812 attribute set would indicate access-point 4 which is title, so that a
813 sort of title is requested.
814
815 =back
816
817 Precisely why all of the above is so is not clear, but goes some way
818 to explain why, in the Z39.50 world, the developers of the standard
819 are not so much worshiped as blamed.
820
821 The backend function should set STATUS to 0 on success, 1 for "partial
822 success" (don't ask) or 2 on failure, in which case ERR_CODE and
823 ERR_STR should be set.
824
825 =head2 Support for SRU and SRW
826
827 Since release 1.0, SimpleServer includes support for serving the SRU
828 and SRW protocols as well as Z39.50.  These ``web-friendly'' protocols
829 enable similar functionality to that of Z39.50, but by means of rich
830 URLs in the case of SRU, and a SOAP-based web-service in the case of
831 SRW.  These protocols are described at
832 http://www.loc.gov/sru
833
834 In order to serve these protocols from a SimpleServer-based
835 application, it is necessary to launch the application with a YAZ
836 Generic Frontend Server (GFS) configuration file, which can be
837 specified using the command-line argument C<-f> I<filename>.  A
838 minimal configuration file looks like this:
839
840   <yazgfs>
841     <server>
842       <cql2rpn>pqf.properties</cql2rpn>
843     </server>
844   </yazgfs>
845
846 This file specifies only that C<pqf.properties> should be used to
847 translate the CQL queries of SRU and SRW into corresponding Z39.50
848 Type-1 queries.  For more information about YAZ GFS configuration,
849 including how to specify an Explain record, see the I<Virtual Hosts>
850 section of the YAZ manual at
851 http://indexdata.com/yaz/doc/server.vhosts.tkl
852
853 The mapping of CQL queries into Z39.50 Type-1 queries is specified by
854 a file that indicates which BIB-1 attributes should be generated for
855 each CQL index, relation, modifiers, etc.  A typical section of this
856 file looks like this:
857
858   index.dc.title                        = 1=4
859   index.dc.subject                      = 1=21
860   index.dc.creator                      = 1=1003
861   relation.<                            = 2=1
862   relation.le                           = 2=2
863
864 This file specifies the BIB-1 access points (type=1) for the Dublin
865 Core indexes C<title>, C<subject> and C<creator>, and the BIB-1
866 relations (type=2) corresponding to the CQL relations C<E<lt>> and
867 C<E<lt>=>.  For more information about the format of this file, see
868 the I<CQL> section of the YAZ manual at
869 http://indexdata.com/yaz/doc/tools.tkl#tools.cql
870
871 The YAZ distribution include a sample CQL-to-PQF mapping configuration
872 file called C<pqf.properties>; this is sufficient for many
873 applications, and a good base to work from for most others.
874
875 If a SimpleServer-based application is run without this SRU-specific
876 configuration, it can still serve SRU; however, CQL queries will not
877 be translated, but passed straight through to the search-handler
878 function, as the C<CQL> member of the parameters hash.  It is then the
879 responsibility of the back-end application to parse and handle the CQL
880 query, which is most easily done using Ed Summers' fine C<CQL::Parser>
881 module, available from CPAN at
882 http://search.cpan.org/~esummers/CQL-Parser/
883
884 =head1 AUTHORS
885
886 Anders S√łnderberg (sondberg@indexdata.dk),
887 Sebastian Hammer (quinn@indexdata.dk),
888 Mike Taylor (indexdata.com).
889
890 =head1 COPYRIGHT AND LICENCE
891
892 Copyright (C) 2000-2011 by Index Data.
893
894 This library is free software; you can redistribute it and/or modify
895 it under the same terms as Perl itself, either Perl version 5.8.4 or,
896 at your option, any later version of Perl 5 you may have available.
897
898 =head1 SEE ALSO
899
900 Any Perl module which is useful for accessing the data source of your
901 choice.
902
903 =cut