Add zebrasrv.pid
[idzebra-moved-to-github.git] / doc / introduction.xml
1 <chapter id="introduction">
2  <!-- $Id: introduction.xml,v 1.25 2003-06-26 08:46:31 mike Exp $ -->
3  <title>Introduction</title>
4  
5  <sect1>
6   <title>Overview</title>
7   
8   <para>
9    <ulink url="http://indexdata.dk/zebra/">Zebra</ulink>
10    is a high-performance, general-purpose structured text
11    indexing and retrieval engine. It reads records in a
12    variety of input formats (eg. email, XML, MARC) and provides access
13    to them through a powerful combination of boolean search
14    expressions and relevance-ranked free-text queries.
15   </para>
16
17   <para>
18    Zebra supports large databases (tens of millions of records,
19    tens of gigabytes of data). It allows safe, incremental
20    database updates on live systems. Because Zebra supports
21    the industry-standard information retrieval protocol, Z39.50,
22    you can search Zebra databases using an enormous variety of
23    programs and toolkits, both commercial and free, which understand
24    this protocol.  Application libraries are available to allow
25    bespoke clients to be written in Perl, C, C++, Java, Tcl, Visual
26    Basic, Python, PHP and more - see
27    <ulink url="http://zoom.z3950.org/">the ZOOM web site</ulink>
28    for more information on some of these client toolkits.
29   </para>
30
31   <para>
32    This document is an introduction to the Zebra system. It explains
33    how to compile the software, how to prepare your first database,
34    and how to configure the server to give you the
35    functionality that you need.
36   </para>
37  </sect1>
38  
39  <sect1 id="features">
40   <title>Features</title>
41   
42   <para>
43    This is an overview of some of Zebra's most important features:
44   </para>
45   
46   <para>
47    <itemizedlist>
48
49     <listitem>
50      <para>
51       Very large databases: logical files can be
52       automatically partitioned over multiple disks.
53      </para>
54     </listitem>
55
56     <listitem>
57      <para>
58       Arbitrarily complex records.  The internal data format
59       is a structured format conceptually similar to XML or GRS-1,
60       which allows lists, nested structured data elements and
61       variant forms of data.
62      </para>
63     </listitem>
64
65     <listitem>
66      <para>
67       Robust updating - records can be added and deleted ``on the fly''
68       without rebuilding the index from scratch.
69       Records can be safely updated even while users are accessing
70       the server.
71       The update procedure is tolerant to crashes or hard interrupts
72       during database updating - data can be reconstructed following
73       a crash.
74      </para>
75     </listitem>
76
77     <listitem>
78      <para>
79       Configurable to understand many input formats.
80       A system of input filters driven by
81       regular expressions allows most ASCII-based
82       data formats to be easily processed.
83       SGML, XML, ISO2709 (MARC), and raw text are also
84       supported.
85      </para>
86     </listitem>
87
88     <listitem>     
89      <para>
90       Searching supports a powerful combination of boolean queries as
91       well as relevance-ranking (free-text) queries.  Truncation,
92       masking, full regular expression matching and "approximate
93       matching" (eg. spelling mistakes) are all handled.
94      </para>
95     </listitem>
96
97     <listitem>
98       <para>
99         Index-only databases: data can be, and usually is, imported
100         into Zebra's own storage, but Zebra can also refer to
101         external files, building and maintaining indexes of "live"
102         collections.
103       </para>
104     </listitem>
105
106     <listitem>
107      <para>
108       Zebra is written in portable C, so it runs on most Unix-like systems 
109       as well as Windows NT.  A binary distribution for Windows NT is
110       available at
111       <ulink url="http://ftp.indexdata.dk/pub/zebra/win32/"/>,
112       and pre-built packages are available for some Linux
113       distributions:
114       Red Hat 7.x RPMs at
115       <ulink url="http://ftp.indexdata.dk/pub/zebra/RedHat7.X/"/>
116       and Debian packages at
117       <ulink url="http://ftp.indexdata.dk/pub/zebra/debian/"/>
118      </para>
119     </listitem>
120     
121    </itemizedlist>
122    
123   </para>
124   
125   <para>
126    Z39.50 protocol support:
127   </para>
128   
129   <para>   
130    <itemizedlist>
131     <listitem>
132      <para>
133       Protocol facilities: Init, Search, Present (retrieval),
134       Segmentation (support for very large records), Delete, Scan
135       (index browsing), Sort, Close and support for the ``update''
136       Extended Service to add or replace an existing XML record.
137         <!-- Adam says:
138              * Supported
139              You can insert/delete/replace an XML record given an
140              "external" ID.  Actually this way of doing ES Update was
141              meant for an OAI application that Ian Ibbotson had in
142              mind to implement. The "update" command in YAZ client
143              implements this on the client side. My plan is to make
144              this available in ZOOM "extended" soon..
145         -->
146      </para>
147     </listitem>
148
149     <listitem>
150      <para>
151       Piggy-backed presents are honored in the search request - that
152       is, a subset of the found records can be returned directly with
153       a search response, enabling search and retrieval to happen in a
154       single round-trip.
155      </para>
156     </listitem>
157
158     <listitem>
159      <para>
160       Named result sets are supported.
161      </para>
162     </listitem>
163
164     <listitem>
165      <para>
166       Easily configured to support different application profiles, with
167       tables for attribute sets, tag sets, and abstract syntaxes.
168       Additional tables control facilities such as element mappings to
169       different schema (eg., GILS-to-USMARC).
170      </para>
171     </listitem>
172
173     <listitem>
174      <para>
175       Complex composition specifications using Espec-1 (partial support).
176       Element sets are defined using the Espec-1 capability,
177       and are specified in configuration files as simple element
178       requests (and, optionally, variant requests).
179      </para>
180     </listitem>
181
182     <listitem>
183      <para>
184       Multiple record syntaxes
185       for data retrieval: GRS-1, SUTRS,
186       XML, ISO2709 (MARC), etc. Records can be mapped between record syntaxes
187       and schemas on the fly.      
188      </para>
189     </listitem>
190
191    </itemizedlist>
192    
193   </para>
194   
195  </sect1>
196  
197   <sect1 id="apps">
198   <title>Applications</title>
199   <para>
200    Zebra has been deployed in numerous applications, in both the
201    academic and commercial worlds, in application domains as diverse
202    as bibliographic catalogues, geospatial information, structured
203    vocabulary browsing, government information locators, civic
204    information systems, environmental observations, museum information
205    and web indexes.
206   </para>
207   <para>
208    Notable applications include the following:
209   </para>
210
211   <sect2>
212    <title>DADS - the DTV Article Database Service</title>
213    <para>
214     DADS is a huge database of more than ten million records, totalling
215     over ten gigabytes of data.  The records are metadata about academic
216     journal articles, primarily scientific; about 10% of these
217     metadata records link to the full text of the articles they
218     describe, a body of about a terabyte of information (although the
219     full text is not indexed.)
220    </para>
221    <para>
222     It allows students and researchers at DTU (Danmarks Tekniske
223     Universitet, the Technical College of Denmark) to find and order
224     articles from multiple databases in a single query.  The database
225     contains literature on all engineering subjects.  It's available
226     on-line through a web gateway, though currently only to registered
227     users.
228    </para>
229    <para>
230     More information can be found at
231     <ulink url="http://www.dtv.dk/help/dads/index_e.htm"/>
232    </para>
233   </sect2>
234
235   <sect2>
236    <title>NLI-Z39.50 - a Natural Language Interface for Libraries</title>
237    <para>
238     Fernuniversit&#x00E4;t Hagen in Germany have developed a natural
239     language interface for access to library databases.
240     <ulink url="http://ki212.fernuni-hagen.de/nli/NLIintro.html"/>
241     In order to evaluate this interface for recall and precision, they
242     chose Zebra as the basis for retrieval effectiveness.  The Zebra
243     server contains a copy of the GIRT database, consisting of more
244     than 76000 records in SGML format (bibliographic records from
245     social science), which are mapped to MARC for presentation.
246    </para>
247    <para>
248     (GIRT is the German Indexing and Retrieval Testdatabase.  It is a
249     standard German-language test database for intelligent indexing
250     and retrieval systems.  See
251     <ulink url="http://www.gesis.org/forschung/informationstechnologie/clef-delos.htm"/>)
252    </para>
253    <para>
254     Evaluation will take place as part of the TREC/CLEF campaign 2003 
255     <ulink url="http://clef.iei.pi.cnr.it or http://www4.eurospider.ch/CLEF/"/>
256    </para>
257    <para>
258     For more information, contact Johannes Leveling
259     <email>Johannes.Leveling@FernUni-Hagen.De</email>
260    </para>
261   </sect2>
262
263   <sect2>
264    <title>ULS (Union List of Serials)</title>
265    <para>
266     The M25 Systems Team
267     has created a union catalogue for the periodicals of the
268     twenty-one constituent libraries of the University of London and
269     the University of Westminster
270     (<ulink url="http://www.m25lib.ac.uk/ULS/"/>).
271     They have achieved this using an
272     unusual architecture, which they describe as a
273     ``non-distributed virtual union catalogue''.
274    </para>
275    <para>
276     The member libraries send in data files representing their
277     periodicals, including both brief bibliographic data and summary
278     holdings.  Then 21 individual Z39.50 targets are created, each
279     using Zebra, and all mounted on the single hardware server.
280     The live service provides a web gateway allowing Z39.50 searching
281     of all of the targets or a selection of them.  Zebra's small
282     footprint allows a relatively modest system to comfortably host
283     the 21 servers.
284    </para>
285    <para>
286     More information can be found at
287     <ulink url="http://www.m25lib.ac.uk/ULS/"/>
288    </para>
289   </sect2>
290
291   <sect2>
292    <title>Various web indexes</title>
293    <para>
294     Zebra has been used by a variety of institutions to construct
295     indexes of large web sites, typically in the region of tens of
296     millions of pages.  In this role, it functions somewhat similarly
297     to the engine of google or altavista, but for a selected intranet
298     or a subset of the whole Web.
299    </para>
300    <para>
301     For example, Liverpool University's web-search facility (see on
302     the home page at
303     <ulink url="http://www.liv.ac.uk/"/>
304     and many sub-pages) works by relevance-searching a Zebra database
305     which is populated by the Harvest-NG web-crawling software.
306    </para>
307    <para>
308     For more information on Liverpool university's intranet search
309     architecture, contact John Gilbertson
310     <email>jgilbert@liverpool.ac.uk</email>
311    </para>
312    <para>
313     Kang-Jin Lee
314     <email>lee@arco.de</email>,
315     has recently modified the Harvest web indexer to use Zebra as
316     its native repository engine.  His comments on the switch over
317     from the old engine are revealing:
318     <blockquote>
319      <para>
320       The first results after some testing with Zebra are very
321       promising.  The tests were done with around 220,000 SOIF files,
322       which occupies 1.6GB of disk space.
323      </para>
324      <para>
325       Building the index from scratch takes around one hour with Zebra
326       where [old-engine] needs around five hours.  While [old-engine]
327       blocks search requests when updating its index, Zebra can still
328       answer search requests.
329       [...]
330       Zebra supports incremental indexing which will speed up indexing
331       even further.
332      </para>
333      <para>
334       While the search time of [old-engine] varies from some seconds
335       to some minutes depending how expensive the query is, Zebra
336       usually takes around one to three seconds, even for expensive
337       queries.
338       [...]
339       Zebra can search more than 100 times faster than [old-engine]
340       and can process multiple search requests simultaneously
341      </para>
342      <para>
343       I am very happy to see such nice software available under GPL.
344      </para>
345     </blockquote>
346    </para>
347   </sect2>
348  </sect1>
349
350
351  <sect1 id="support">
352   <title>Support</title>
353   <para>
354    You can get support for Zebra from at least three sources.
355   </para>
356   <para>
357    First, there's the Zebra web site at
358    <ulink url="http://indexdata.dk/zebra/"/>,
359    which always has the most recent version available for download.
360    If you have a problem with Zebra, the first thing to do is see
361    whether it's fixed in the current release.
362   </para>
363   <para>
364    Second, there's the Zebra mailing list.  Its home page at
365    <ulink url="http://indexdata.dk/mailman/listinfo/zebralist"/>
366    includes a complete archive of all messages that have ever been
367    posted on the list.  The Zebra mailing list is used both for
368    announcements from the authors (new
369    releases, bug fixes, etc.) and general discussion.  You are welcome
370    to seek support there.  Join by sending email to
371    <email>zebra-request@indexdata.dk</email> with the word
372    <literal>subscribe</literal> in the body of the message.
373   </para>
374   <para>
375    Third, it's possible to buy a commercial support contract, with
376    well defined service levels and response times, from Index Data.
377    See
378    <ulink url="http://indexdata.dk/support2/"/>
379    for details.
380   </para>
381  </sect1>  
382
383
384  <sect1 id="future">
385   <title>Future Directions</title>
386   
387   <para>
388    These are some of the plans that we have for the software in the near
389    and far future, ordered approximately as we expect to work on them.
390   </para>
391   
392   <para>
393    <itemizedlist>
394
395     <listitem>
396      <para>
397        Improved support for XML in search and retrieval. Eventually,
398        the goal is for Zebra to pull double duty as a flexible
399        information retrieval engine and high-performance XML
400        repository.  The recent addition of XPath searching is one
401        example of the kind of enhancement we're working on.
402      </para>
403     </listitem>
404
405     <listitem>
406      <para>
407        Access to the search engine through SOAP/RPC API to allow the
408        construction of applications without requiring Z39.50 tools.
409        This will shortly be available by means of Index Data's
410        SRW-to-Z39.50 gateway, currently in beta test.
411      </para>
412     </listitem>
413
414     <listitem>
415      <para>
416        Finalisation and documentation of Zebra's C programming
417        API, allowing updates, database management and other functions
418        not readily expressed in Z39.50.  We will also consider
419        exposing the API through SOAP.
420      </para>
421     </listitem>
422
423     <listitem>
424      <para>
425        Support for the use of Perl both for access to the Zebra API
426        and for building extension ``plug-ins'' such as input filters.
427        The code for this has been contributed to the source tree by
428        Peter Popovics
429        <email>pop@technomat.hu</email>,
430        and is in the process of being integrated and tested.
431      </para>
432     </listitem>
433
434     <listitem>
435      <para>
436        Improved free-text searching. We're first and foremost octet jockeys and
437        we're actively looking for organisations or people who'd like
438        to contribute experience in relevance ranking and text
439        searching.
440      </para>
441     </listitem>
442
443    </itemizedlist>
444   </para>
445   
446   <para>
447    Programmers thrive on user feedback. If you are interested in a
448    facility that you don't see mentioned here, or if there's something
449    you think we could do better, please drop us a mail.  Better still,
450    implement it and send us the patches.
451   </para>
452   <para>
453    If you think it's all really neat, you're welcome to drop us a line
454    saying that, too. You can email us on
455    <email>info@indexdata.dk</email>
456    or check the contact info at the end of this manual.
457   </para>
458   
459  </sect1>
460 </chapter>
461  <!-- Keep this comment at the end of the file
462  Local variables:
463  mode: sgml
464  sgml-omittag:t
465  sgml-shorttag:t
466  sgml-minimize-attributes:nil
467  sgml-always-quote-attributes:t
468  sgml-indent-step:1
469  sgml-indent-data:t
470  sgml-parent-document: "zebra.xml"
471  sgml-local-catalogs: nil
472  sgml-namecase-general:t
473  End:
474  -->