doc/introduction.xml

   1 <chapter id="introduction">
   2  <!-- $Id: introduction.xml,v 1.44 2007-02-02 14:34:20 marc Exp $ -->
   3  <title>Introduction</title>
   4
   5  <section id="overview">
   6   <title>Overview</title>
   7
   8       <para>
   9         &zebra; is a free, fast, friendly information management system. It can
  10         index records in &xml;/&sgml;, &marc;, e-mail archives and many other
  11         formats, and quickly find them using a combination of boolean
  12         searching and relevance ranking. Search-and-retrieve applications can
  13         be written using &api;s in a wide variety of languages, communicating
  14         with the &zebra; server using industry-standard information-retrieval
  15         protocols or web services.
  16       </para>
  17       <para>
  18         &zebra; is licensed Open Source, and can be
  19         deployed by anyone for any purpose without license fees. The C source
  20         code is open to anybody to read and change under the GPL license.
  21       </para>
  22       <para>
  23         &zebra; is a networked component which acts as a reliable &z3950; server
  24         for both record/document search, presentation, insert, update and
  25         delete operations. In addition, it understands the &sru; family of
  26         webservices, which exist in &rest; &get;/&post; and truly &soap; flavors.
  27       </para>
  28       <para>
  29         &zebra; is available as MS Windows 2003 Server (32 bit) self-extracting
  30         package as well as GNU/Debian Linux (32 bit and 64 bit) precompiled
  31         packages. It has been deployed successfully on other Unix systems,
  32         including Sun Sparc, HP Unix, and many variants of Linux and BSD
  33         based systems.
  34       </para>
  35       <para>
  36         <ulink url="http://www.indexdata.com/zebra/">http://www.indexdata.com/zebra/</ulink>
  37         <ulink url="http://ftp.indexdata.dk/pub/zebra/win32/">http://ftp.indexdata.dk/pub/zebra/win32/</ulink>
  38         <ulink url="http://ftp.indexdata.dk/pub/zebra/debian/">http://ftp.indexdata.dk/pub/zebra/debian/</ulink>
  39       </para>
  40
  41   <para>
  42    <ulink url="http://indexdata.dk/zebra/">&zebra;</ulink>
  43    is a high-performance, general-purpose structured text
  44    indexing and retrieval engine. It reads records in a
  45    variety of input formats (eg. email, &xml;, &marc;) and provides access
  46    to them through a powerful combination of boolean search
  47    expressions and relevance-ranked free-text queries.
  48   </para>
  49
  50   <para>
  51    &zebra; supports large databases (tens of millions of records,
  52    tens of gigabytes of data). It allows safe, incremental
  53    database updates on live systems. Because &zebra; supports
  54    the industry-standard information retrieval protocol, &z3950;,
  55    you can search &zebra; databases using an enormous variety of
  56    programs and toolkits, both commercial and free, which understand
  57    this protocol.  Application libraries are available to allow
  58    bespoke clients to be written in Perl, C, C++, Java, Tcl, Visual
  59    Basic, Python, &php; and more - see the
  60    <ulink url="&url.zoom;">&zoom; web site</ulink>
  61    for more information on some of these client toolkits.
  62   </para>
  63
  64   <para>
  65    This document is an introduction to the &zebra; system. It explains
  66    how to compile the software, how to prepare your first database,
  67    and how to configure the server to give you the
  68    functionality that you need.
  69   </para>
  70  </section>
  71
  72  <section id="features">
  73   <title>&zebra; Features Overview</title>
  74
  75
  76       <!--
  77       <row>
  78        <entry></entry>
  79        <entry></entry>
  80        <entry></entry>
  81        <entry><xref linkend=""/></entry>
  82       </row>
  83       <row>
  84        <entry></entry>
  85        <entry></entry>
  86        <entry></entry>
  87        <entry><xref linkend=""/></entry>
  88       </row>
  89       <row>
  90        <entry></entry>
  91        <entry></entry>
  92        <entry></entry>
  93        <entry><xref linkend=""/></entry>
  94       </row>
  95       -->
  96
  97
  98    <table id="table-features-protocol" frame="top">
  99     <title>&zebra; networked protocols</title>
 100     <tgroup cols="4">
 101      <thead>
 102       <row>
 103        <entry>Feature</entry>
 104        <entry>Availability</entry>
 105        <entry>Notes</entry>
 106        <entry>Reference</entry>
 107       </row>
 108      </thead>
 109      <tbody>
 110       <row>
 111        <entry>Operation types</entry>
 112        <entry> &z3950;/&sru; explain, search, and scan</entry>
 113        <entry></entry>
 114        <entry><xref linkend="querymodel-operation-types"/></entry>
 115       </row>
 116       <row>
 117        <entry>Remote update</entry>
 118        <entry>&z3950; extended services</entry>
 119        <entry></entry>
 120        <entry><xref linkend=""/></entry>
 121       </row>
 122       <row>
 123        <entry>&z3950;</entry>
 124        <entry>&z3950;  protocol support</entry>
 125        <entry> Protocol facilities: Init, Search, Present (retrieval),
 126       Segmentation (support for very large records), Delete, Scan
 127       (index browsing), Sort, Close and support for the ``update''
 128       Extended Service to add or replace an existing &xml;
 129        record. Piggy-backed presents are honored in the search
 130        request. Named result sets are supported.</entry>
 131        <entry><xref linkend=""/></entry>
 132       </row>
 133       <row>
 134        <entry>Web Service support</entry>
 135        <entry>&sru_gps;</entry>
 136        <entry> The protocol operations <literal>explain</literal>,
 137        <literal>searchRetrieve</literal> and <literal>scan</literal>
 138        are supported. <ulink url="&url.cql;">&cql;</ulink> to internal
 139        query model &rpn;  conversion is supported. Extended RPN queries
 140        for search/retrieve and scan are supported.</entry>
 141        <entry><xref linkend=""/></entry>
 142       </row>
 143      </tbody>
 144     </tgroup>
 145    </table>
 146
 147
 148    <table id="table-features-search" frame="top">
 149     <title>&zebra; search functionality</title>
 150     <tgroup cols="4">
 151      <thead>
 152       <row>
 153        <entry>Feature</entry>
 154        <entry>Availability</entry>
 155        <entry>Notes</entry>
 156        <entry>Reference</entry>
 157       </row>
 158      </thead>
 159      <tbody>
 160       <row>
 161        <entry>Query languages</entry>
 162        <entry>&cql; and &rpn;/&pqf;</entry>
 163        <entry>The type-1 Reverse Polish Notation (&rpn;)
 164        and it's textual representation Prefix Query Format (&pqf;) are
 165        supported. The Common Query Language (&cql;) can be configured as
 166        a mapping from &cql; to &rpn;/&pqf;</entry>
 167        <entry><xref linkend="querymodel-query-languages-pqf"/>
 168        <xref linkend="querymodel-cql-to-pqf"/></entry>
 169       </row>
 170       <row>
 171        <entry>Complex boolean query tree</entry>
 172        <entry>&cql; and &rpn;/&pqf;</entry>
 173        <entry>Both &cql; and &rpn;/&pqf; allow atomic query parts (&apt;) to
 174        be combined into complex boolean query trees</entry>
 175        <entry><xref linkend="querymodel-rpn-tree"/></entry>
 176       </row>
 177       <row>
 178        <entry>Field search</entry>
 179        <entry>user defined</entry>
 180        <entry>Atomic query parts (&apt;) are either general, or
 181        directed at user-specified document fields
 182       </entry>
 183        <entry><xref linkend=""/></entry>
 184       </row>
 185       <row>
 186        <entry>Data normalization</entry>
 187        <entry></entry>
 188        <entry>Data normalization, text tokenization and character mappings can be
 189           applied during indexing and searching</entry>
 190        <entry><xref linkend=""/></entry>
 191       </row>
 192       <row>
 193        <entry>Predefined field types</entry>
 194        <entry></entry>
 195        <entry>Data fields can be indexed as phrase, as into word tokenized text,
 196           as numeric values, url's, dates, and raw binary data.</entry>
 197        <entry><xref linkend=""/></entry>
 198       </row>
 199       <row>
 200        <entry>Regular expression matching</entry>
 201        <entry>Regexp </entry>
 202        <entry>Full regular expression matching and "approximate
 203         matching" (eg. spelling mistake corrections) are handled.</entry>
 204        <entry><xref linkend=""/></entry>
 205       </row>
 206       <row>
 207        <entry>Search truncation</entry>
 208        <entry></entry>
 209        <entry></entry>
 210        <entry><xref linkend=""/></entry>
 211       </row>
 212       <row>
 213        <entry>Fuzzy searches</entry>
 214        <entry></entry>
 215        <entry>In addition, fuzzy searches are implemented, where one
 216           spelling mistake in search terms is matched</entry>
 217        <entry><xref linkend=""/></entry>
 218       </row>
 219      </tbody>
 220     </tgroup>
 221    </table>
 222
 223
 224    <table id="table-features-scan" frame="top">
 225     <title>&zebra; index scanning</title>
 226     <tgroup cols="4">
 227      <thead>
 228       <row>
 229        <entry>Feature</entry>
 230        <entry>Availability</entry>
 231        <entry>Notes</entry>
 232        <entry>Reference</entry>
 233       </row>
 234      </thead>
 235      <tbody>
 236       <row>
 237        <entry>Scan</entry>
 238        <entry>yes</entry>
 239        <entry><literal>Scan</literal> on a given named index returns all the
 240           indexed terms in lexicographical order near the given start term.</entry>
 241        <entry><xref linkend=""/></entry>
 242       </row>
 243       <row>
 244        <entry>Facetted browsing</entry>
 245        <entry>partial</entry>
 246        <entry>&zebra; supports <literal>scan inside a hit
 247           set</literal> from a previous search, thus reducing the listed
 248           terms to the
 249           subset of terms found in the documents/records of the hit set.</entry>
 250        <entry><xref linkend=""/></entry>
 251       </row>
 252       <row>
 253        <entry>Drill-down or refine-search</entry>
 254        <entry>partially</entry>
 255        <entry>scanning in result sets can be used to implement
 256        drill-down in search clients</entry>
 257        <entry><xref linkend=""/></entry>
 258       </row>
 259      </tbody>
 260     </tgroup>
 261    </table>
 262
 263
 264    <table id="table-features-presentation" frame="top">
 265     <title>&zebra; document presentation</title>
 266     <tgroup cols="4">
 267      <thead>
 268       <row>
 269        <entry>Feature</entry>
 270        <entry>Availability</entry>
 271        <entry>Notes</entry>
 272        <entry>Reference</entry>
 273       </row>
 274      </thead>
 275      <tbody>
 276       <row>
 277        <entry>Hit count</entry>
 278        <entry>yes</entry>
 279        <entry>Search results include at any time the total hit count of a given
 280           query, either exact computed, or approximative, in case that the
 281           hit count exceeds a possible pre-defined hit set truncation
 282        level.
 283 </entry>
 284        <entry><xref linkend=""/></entry>
 285       </row>
 286       <row>
 287        <entry>Paged result sets</entry>
 288        <entry>yes</entry>
 289        <entry>Paging of search requests and present/display request can return any
 290           successive number of records from any start position in the hit set,
 291           i.e. it is trivial to provide search results in successive pages of
 292           any size.</entry>
 293        <entry><xref linkend=""/></entry>
 294       </row>
 295       <row>
 296        <entry>&xml;ocument transformations</entry>
 297        <entry>&xslt; based</entry>
 298        <entry> Record presentation can be performed in many pre-defined &xml; data
 299           formats, where the original &xml; records are on-the-fly transformed
 300           through any preconfigured &xslt; transformation. It is therefore
 301           trivial to present records in short/full &xml; views, transforming to
 302           RSS, Dublin Core, or other &xml; based data formats, or transform
 303           records to XHTML snippets ready for inserting in XHTML pages.</entry>
 304        <entry><xref linkend=""/></entry>
 305       </row>
 306       <row>
 307        <entry>Binary record transformations</entry>
 308        <entry>&marc;, &usmarc;, &marc21; and &marcxml;</entry>
 309        <entry></entry>
 310        <entry><xref linkend=""/></entry>
 311       </row>
 312       <row>
 313        <entry>Record Syntaxes</entry>
 314        <entry></entry>
 315        <entry> Multiple record syntaxes
 316       for data retrieval: &grs1;, &sutrs;,
 317       &xml;, ISO2709 (&marc;), etc. Records can be mapped between record syntaxes
 318       and schemas on the fly.</entry>
 319        <entry><xref linkend=""/></entry>
 320       </row>
 321      </tbody>
 322     </tgroup>
 323    </table>
 324
 325
 326    <table id="table-features-sort-rank" frame="top">
 327     <title>&zebra; sorting and ranking</title>
 328     <tgroup cols="4">
 329      <thead>
 330       <row>
 331        <entry>Feature</entry>
 332        <entry>Availability</entry>
 333        <entry>Notes</entry>
 334        <entry>Reference</entry>
 335       </row>
 336      </thead>
 337      <tbody>
 338       <row>
 339        <entry>Sort</entry>
 340        <entry>numeric, lexicographic</entry>
 341        <entry>Sorting on the basis of alpha-numeric and numeric data
 342        is supported. Alphanumeric sorts can be configured for different data encodings
 343           and locales for European languages.  </entry>
 344        <entry><xref linkend=""/></entry>
 345       </row>
 346       <row>
 347        <entry>Combined sorting</entry>
 348        <entry>yes</entry>
 349        <entry>Sorting on the basis of combined sorts  e.g. combinations of
 350           ascending/descending sorts of lexicographical/numeric/date field data
 351           is supported</entry>
 352        <entry><xref linkend=""/></entry>
 353       </row>
 354       <row>
 355        <entry>Relevance ranking</entry>
 356        <entry>TF-IDF like</entry>
 357        <entry>Relevance-ranking of free-text queries is supported
 358        using a TF-IDF like algorithm.</entry>
 359        <entry><xref linkend=""/></entry>
 360       </row>
 361       <row>
 362        <entry>Relevence ranking</entry>
 363        <entry>TDF-IDF like</entry>
 364        <entry></entry>
 365        <entry><xref linkend=""/></entry>
 366       </row>
 367      </tbody>
 368     </tgroup>
 369    </table>
 370
 371
 372
 373    <table id="table-features-document" frame="top">
 374     <title>&zebra; document model</title>
 375     <tgroup cols="4">
 376      <thead>
 377       <row>
 378        <entry>Feature</entry>
 379        <entry>Availability</entry>
 380        <entry>Notes</entry>
 381        <entry>Reference</entry>
 382       </row>
 383      </thead>
 384      <tbody>
 385       <row>
 386        <entry>Complex semi-structured Documents</entry>
 387        <entry>&xml; and &grs1; Documents</entry>
 388        <entry>Both &xml; and &grs1; documents exhibit a &dom; like internal
 389        representation allowing for complex indexing and display rules</entry>
 390        <entry><xref linkend=""/></entry>
 391       </row>
 392       <row>
 393        <entry>Input document formats</entry>
 394        <entry>&xml;, &sgml;, Text, ISO2709 (&marc;)</entry>
 395        <entry>
 396         A system of input filters driven by
 397         regular expressions allows most ASCII-based
 398         data formats to be easily processed.
 399         &sgml;, &xml;, ISO2709 (&marc;), and raw text are also
 400         supported.</entry>
 401        <entry><xref linkend=""/></entry>
 402       </row>
 403       <row>
 404        <entry>Document storage</entry>
 405        <entry>Index-only, Key storage, Document storage</entry>
 406        <entry>Data can be, and usually is, imported
 407         into &zebra;'s own storage, but &zebra; can also refer to
 408         external files, building and maintaining indexes of "live"
 409         collections.</entry>
 410        <entry><xref linkend=""/></entry>
 411       </row>
 412
 413      </tbody>
 414     </tgroup>
 415    </table>
 416
 417
 418
 419    <table id="table-features-scalability" frame="top">
 420     <title>&zebra; data size and scalability</title>
 421     <tgroup cols="4">
 422      <thead>
 423       <row>
 424        <entry>Feature</entry>
 425        <entry>Availability</entry>
 426        <entry>Notes</entry>
 427        <entry>Reference</entry>
 428       </row>
 429      </thead>
 430      <tbody>
 431       <row>
 432        <entry>No of records</entry>
 433        <entry>40-60 million</entry>
 434        <entry></entry>
 435        <entry><xref linkend=""/></entry>
 436       </row>
 437       <row>
 438        <entry>Data size</entry>
 439        <entry>100 GB of record data</entry>
 440        <entry></entry>
 441        <entry><xref linkend=""/></entry>
 442       </row>
 443       <row>
 444        <entry>File pointers</entry>
 445        <entry>64 bit</entry>
 446        <entry></entry>
 447        <entry><xref linkend=""/></entry>
 448       </row>
 449       <row>
 450        <entry>Scale out</entry>
 451        <entry>multiple discs</entry>
 452        <entry></entry>
 453        <entry><xref linkend=""/></entry>
 454       </row>
 455       <row>
 456        <entry>Performance</entry>
 457        <entry><literal>O(n * log N)</literal></entry>
 458        <entry> &zebra; query speed and performance is affected roughly by
 459           <literal>O(log N)</literal>,
 460           where <literal>N</literal> is the total database size, and by
 461           <literal>O(n)</literal>, where <literal>n</literal> is the
 462           specific query hit set size.</entry>
 463        <entry><xref linkend=""/></entry>
 464       </row>
 465       <row>
 466        <entry>Average search times</entry>
 467        <entry></entry>
 468        <entry> Even on very large size databases hit rates of 20 queries per
 469           seconds with average query answering time of 1 second are possible,
 470           provided that the boolean queries are constructed sufficiently
 471           precise to result in hit sets of the order of 1000 to 5.000
 472           documents.</entry>
 473        <entry><xref linkend=""/></entry>
 474       </row>
 475       <row>
 476        <entry>Large databases</entry>
 477        <entry>64 file pointers assure that register files can extend
 478        the 2 GB limit. Logical files can be
 479         automatically partitioned over multiple disks, thus allowing for
 480        large databases.</entry>
 481        <entry></entry>
 482        <entry><xref linkend=""/></entry>
 483       </row>
 484      </tbody>
 485     </tgroup>
 486    </table>
 487
 488
 489    <table id="table-features-updates" frame="top">
 490     <title>&zebra; live updates</title>
 491     <tgroup cols="4">
 492      <thead>
 493       <row>
 494        <entry>Feature</entry>
 495        <entry>Availability</entry>
 496        <entry>Notes</entry>
 497        <entry>Reference</entry>
 498       </row>
 499      </thead>
 500      <tbody>
 501       <row>
 502        <entry>Batch updates</entry>
 503        <entry></entry>
 504        <entry>It is possible to schedule record inserts/updates/deletes in any
 505         quantity, from single individual handled records to batch updates
 506         in strikes of any size, as well as total re-indexing of all records
 507         from file system. </entry>
 508        <entry><xref linkend=""/></entry>
 509       </row>
 510       <row>
 511        <entry>Incremental updates</entry>
 512        <entry></entry>
 513        <entry></entry>
 514        <entry><xref linkend=""/></entry>
 515       </row>
 516       <row>
 517        <entry>Remote updates</entry>
 518        <entry>&z3950; extended services</entry>
 519        <entry></entry>
 520        <entry><xref linkend=""/></entry>
 521       </row>
 522       <row>
 523        <entry>Live updates</entry>
 524        <entry></entry>
 525        <entry> Data updates are transaction based and can be performed on running
 526         &zebra; systems.  Full searchability is preserved during life data update due to use
 527         of shadow disk areas for update operations. Multiple update transactions at the same time are lined up, to be
 528         performed one after each other. Data integrity is preserved.</entry>
 529        <entry><xref linkend=""/></entry>
 530       </row>
 531       <row>
 532        <entry>Database updates</entry>
 533        <entry>live, incremental updates</entry>
 534        <entry>Robust updating - records can be added and deleted ``on the fly''
 535       without rebuilding the index from scratch.
 536       Records can be safely updated even while users are accessing
 537       the server.
 538       The update procedure is tolerant to crashes or hard interrupts
 539       during database updating - data can be reconstructed following
 540       a crash.</entry>
 541        <entry><xref linkend=""/></entry>
 542       </row>
 543      </tbody>
 544     </tgroup>
 545    </table>
 546
 547    <table id="table-features-platforms" frame="top">
 548     <title>&zebra; supported platforms</title>
 549     <tgroup cols="4">
 550      <thead>
 551       <row>
 552        <entry>Feature</entry>
 553        <entry>Availability</entry>
 554        <entry>Notes</entry>
 555        <entry>Reference</entry>
 556       </row>
 557      </thead>
 558      <tbody>
 559       <row>
 560        <entry>Linux</entry>
 561        <entry></entry>
 562        <entry>GNU Linux (32 and 64bit), journaling Reiser or (better) JFS filesystem
 563         on disks. GNU/Debian Linux packages are available</entry>
 564        <entry><xref linkend=""/></entry>
 565       </row>
 566       <row>
 567        <entry>Unix</entry>
 568        <entry>tarball</entry>
 569        <entry>Usual tarball install possible on many major Unix systems</entry>
 570        <entry><xref linkend=""/></entry>
 571       </row>
 572       <row>
 573        <entry>Windows</entry>
 574        <entry></entry>
 575        <entry>Windows installer packages available</entry>
 576        <entry><xref linkend=""/></entry>
 577       </row>
 578       <row>
 579        <entry>Supported Platforms</entry>
 580        <entry>UNIX, Linux, Windows (NT/2000/2003/XP)</entry>
 581        <entry>&zebra; is written in portable C, so it runs on most
 582        Unix-like systems as well as Windows (NT/2000/2003/XP).  Binary
 583        distributions are
 584        available for GNU/Debian Linux and Windows</entry>
 585        <entry><xref linkend=""/></entry>
 586       </row>
 587      </tbody>
 588     </tgroup>
 589    </table>
 590
 591
 592
 593  </section>
 594
 595   <section id="introduction-apps">
 596   <title>References and &zebra; based Applications</title>
 597   <para>
 598    &zebra; has been deployed in numerous applications, in both the
 599    academic and commercial worlds, in application domains as diverse
 600    as bibliographic catalogues, geospatial information, structured
 601    vocabulary browsing, government information locators, civic
 602    information systems, environmental observations, museum information
 603    and web indexes.
 604   </para>
 605   <para>
 606    Notable applications include the following:
 607   </para>
 608
 609
 610   <section id="koha-ils">
 611    <title>Koha free open-source ILS</title>
 612    <para>
 613      <ulink url="http://www.koha.org/">Koha</ulink> is a full-featured
 614      open-source ILS, initially developed  in
 615      New Zealand by Katipo Communications Ltd, and first deployed in
 616      January of 2000 for Horowhenua Library Trust. It is currently
 617      maintained by a team of software providers and library technology
 618      staff from around the globe.
 619     </para>
 620     <para>
 621      <ulink url="http://liblime.com/">LibLime</ulink>,
 622      a company that is marketing and supporting Koha, adds in
 623      the new release of Koha 3.0 the &zebra;
 624      database server to drive its bibliographic database.
 625     </para>
 626     <para>
 627      In early 2005, the Koha project development team began looking at
 628      ways to improve &marc; support and overcome scalability limitations
 629      in the Koha 2.x series. After extensive evaluations of the best
 630      of the Open Source textual database engines - including MySQL
 631      full-text searching, PostgreSQL, Lucene and Plucene - the team
 632      selected &zebra;.
 633     </para>
 634     <para>
 635      "&zebra; completely eliminates scalability limitations, because it
 636      can support tens of millions of records." explained Joshua
 637      Ferraro, LibLime's Technology President and Koha's Project
 638      Release Manager. "Our performance tests showed search results in
 639      under a second for databases with over 5 million records on a
 640      modest i386 900Mhz test server."
 641     </para>
 642     <para>
 643      "&zebra; also includes support for true boolean search expressions
 644      and relevance-ranked free-text queries, both of which the Koha
 645      2.x series lack. &zebra; also supports incremental and safe
 646      database updates, which allow on-the-fly record
 647      management. Finally, since &zebra; has at its heart the &z3950;
 648      protocol, it greatly improves Koha's support for that critical
 649      library standard."
 650     </para>
 651     <para>
 652      Although the bibliographic database will be moved to &zebra;, Koha
 653      3.0 will continue to use a relational SQL-based database design
 654      for the 'factual' database. "Relational database managers have
 655      their strengths, in spite of their inability to handle large
 656      numbers of bibliographic records efficiently," summed up Ferraro,
 657      "We're taking the best from both worlds in our redesigned Koha
 658      3.0.
 659      </para>
 660      <para>
 661      See also LibLime's newsletter article
 662       <ulink url="http://www.liblime.com/newsletter/2006/01/features/koha-earns-its-stripes/">
 663      Koha Earns its Stripes</ulink>.
 664      </para>
 665    </section>
 666
 667   <section id="emilda-ils">
 668    <title>Emilda open source ILS</title>
 669    <para>
 670      <ulink url="http://www.emilda.org/">Emilda</ulink>
 671      is a complete Integrated Library System, released under the
 672      GNU General Public License. It has a
 673      full featured Web-OPAC, allowing comprehensive system management
 674      from virtually any computer with an Internet connection, has
 675      template based layout allowing anyone to alter the visual
 676      appearance of Emilda, and is
 677      &xml; based language for fast and easy portability to virtually any
 678      language.
 679      Currently, Emilda is used at three schools in Espoo, Finland.
 680     </para>
 681     <para>
 682      As a surplus, 100% &marc; compatibility has been achieved using the
 683     &zebra; Server from Index Data as backend server.
 684     </para>
 685    </section>
 686
 687   <section id="reindex-ils">
 688    <title>ReIndex.Net web based ILS</title>
 689     <para>
 690      <ulink url="http://www.reindex.net/index.php?lang=en">Reindex.net</ulink>
 691      is a netbased library service offering all
 692      traditional functions on a very high level plus many new
 693      services. Reindex.net is a comprehensive and powerful WEB system
 694      based on standards such as &xml; and &z3950;.
 695      updates. Reindex supports &marc21;, dan&marc; eller Dublin Core with
 696      UTF8-encoding.
 697     </para>
 698     <para>
 699      Reindex.net runs on GNU/Debian Linux with &zebra; and Simpleserver
 700      from Index
 701      Data for bibliographic data. The relational database system
 702      Sybase 9 &xml; is used for
 703      administrative data.
 704      Internally &marcxml; is used for bibliographical records. Update
 705      utilizes &z3950; extended services.
 706     </para>
 707    </section>
 708
 709    <section id="dads-article-database">
 710     <title>DADS - the DTV Article Database
 711      Service</title>
 712     <para>
 713     DADS is a huge database of more than ten million records, totalling
 714     over ten gigabytes of data.  The records are metadata about academic
 715     journal articles, primarily scientific; about 10% of these
 716     metadata records link to the full text of the articles they
 717     describe, a body of about a terabyte of information (although the
 718     full text is not indexed.)
 719    </para>
 720    <para>
 721     It allows students and researchers at DTU (Danmarks Tekniske
 722     Universitet, the Technical College of Denmark) to find and order
 723     articles from multiple databases in a single query.  The database
 724     contains literature on all engineering subjects.  It's available
 725     on-line through a web gateway, though currently only to registered
 726     users.
 727    </para>
 728    <para>
 729     More information can be found at
 730     <ulink url="http://www.dtv.dk/"/> and
 731     <ulink url="http://dads.dtv.dk"/>
 732    </para>
 733   </section>
 734
 735   <section id="infonet-eprints">
 736    <title>Infonet Eprints</title>
 737    <para>
 738      The InfoNet Eprints service from the
 739      <ulink url="http://www.dtv.dk/">
 740       Technical Knowledge Center of Denmark</ulink>
 741      provides access to documents stored in
 742      eprint/preprint servers and institutional research archives around
 743      the world. The service is based on Open Archives Initiative metadata
 744      harvesting of selected scientific archives around the world. These
 745      open archives offer free and unrestricted access to their contents.
 746     </para>
 747    <para>
 748     Infonet Eprints currently holds 1.4 million records from 16 archives.
 749     The online search facility is found at
 750     <ulink url="http://preprints.cvt.dk"/>.
 751    </para>
 752   </section>
 753
 754   <section id="alvis-project">
 755    <title>Alvis</title>
 756    <para>
 757      The <ulink url="http://www.alvis.info/alvis/">Alvis</ulink> EU
 758      project run under the 6th Framework (IST-1-002068-STP)
 759      is building a semantic-based peer-to-peer search engine. A
 760      consortium of eleven partners from six different European
 761      Community countries plus Switzerland and China contribute
 762      with expertise in a broad range of specialties including network
 763      topologies, routing algorithms, linguistic analysis and
 764      bioinformatics.
 765     </para>
 766     <para>
 767      The &zebra; information retrieval indexing machine is used inside
 768      the Alvis framework to
 769      manage huge collections of natural language processed and
 770      enhanced &xml; data, coming from a topic relevant web crawl.
 771      In this application, &zebra; swallows and manages 37GB of &xml; data
 772      in about 4 hours, resulting in search times of fractions of
 773      seconds.
 774      </para>
 775    </section>
 776
 777
 778   <section id="uls">
 779    <title>ULS (Union List of Serials)</title>
 780    <para>
 781     The M25 Systems Team
 782     has created a union catalogue for the periodicals of the
 783     twenty-one constituent libraries of the University of London and
 784     the University of Westminster
 785     (<ulink url="http://www.m25lib.ac.uk/ULS/"/>).
 786     They have achieved this using an
 787     unusual architecture, which they describe as a
 788     ``non-distributed virtual union catalogue''.
 789    </para>
 790    <para>
 791     The member libraries send in data files representing their
 792     periodicals, including both brief bibliographic data and summary
 793     holdings.  Then 21 individual &z3950; targets are created, each
 794     using &zebra;, and all mounted on the single hardware server.
 795     The live service provides a web gateway allowing &z3950; searching
 796     of all of the targets or a selection of them.  &zebra;'s small
 797     footprint allows a relatively modest system to comfortably host
 798     the 21 servers.
 799    </para>
 800    <para>
 801     More information can be found at
 802     <ulink url="http://www.m25lib.ac.uk/ULS/"/>
 803    </para>
 804   </section>
 805
 806   <section id="nli">
 807    <title>NLI-&z3950; - a Natural Language Interface for Libraries</title>
 808    <para>
 809     Fernuniversit&#x00E4;t Hagen in Germany have developed a natural
 810     language interface for access to library databases.
 811     <!-- <ulink
 812     url="http://ki212.fernuni-hagen.de/nli/NLIintro.html"/> -->
 813     In order to evaluate this interface for recall and precision, they
 814     chose &zebra; as the basis for retrieval effectiveness.  The &zebra;
 815     server contains a copy of the GIRT database, consisting of more
 816     than 76000 records in &sgml; format (bibliographic records from
 817     social science), which are mapped to &marc; for presentation.
 818    </para>
 819    <para>
 820     (GIRT is the German Indexing and Retrieval Testdatabase.  It is a
 821     standard German-language test database for intelligent indexing
 822     and retrieval systems.  See
 823     <ulink url="http://www.gesis.org/forschung/informationstechnologie/clef-delos.htm"/>)
 824    </para>
 825    <para>
 826     Evaluation will take place as part of the TREC/CLEF campaign 2003
 827     <ulink url="http://clef.iei.pi.cnr.it"/>.
 828     <!-- or <ulink url="http://www4.eurospider.ch/CLEF/"/> -->
 829    </para>
 830    <para>
 831     For more information, contact Johannes Leveling
 832     <email>Johannes.Leveling@FernUni-Hagen.De</email>
 833    </para>
 834   </section>
 835
 836   <section id="various-web-indexes">
 837    <title>Various web indexes</title>
 838    <para>
 839     &zebra; has been used by a variety of institutions to construct
 840     indexes of large web sites, typically in the region of tens of
 841     millions of pages.  In this role, it functions somewhat similarly
 842     to the engine of google or altavista, but for a selected intranet
 843     or a subset of the whole Web.
 844    </para>
 845    <para>
 846     For example, Liverpool University's web-search facility (see on
 847     the home page at
 848     <ulink url="http://www.liv.ac.uk/"/>
 849     and many sub-pages) works by relevance-searching a &zebra; database
 850     which is populated by the Harvest-NG web-crawling software.
 851    </para>
 852    <para>
 853     For more information on Liverpool university's intranet search
 854     architecture, contact John Gilbertson
 855     <email>jgilbert@liverpool.ac.uk</email>
 856    </para>
 857    <para>
 858     Kang-Jin Lee
 859     has recently modified the Harvest web indexer to use &zebra; as
 860     its native repository engine.  His comments on the switch over
 861     from the old engine are revealing:
 862     <blockquote>
 863      <para>
 864       The first results after some testing with &zebra; are very
 865       promising.  The tests were done with around 220,000 SOIF files,
 866       which occupies 1.6GB of disk space.
 867      </para>
 868      <para>
 869       Building the index from scratch takes around one hour with &zebra;
 870       where [old-engine] needs around five hours.  While [old-engine]
 871       blocks search requests when updating its index, &zebra; can still
 872       answer search requests.
 873       [...]
 874       &zebra; supports incremental indexing which will speed up indexing
 875       even further.
 876      </para>
 877      <para>
 878       While the search time of [old-engine] varies from some seconds
 879       to some minutes depending how expensive the query is, &zebra;
 880       usually takes around one to three seconds, even for expensive
 881       queries.
 882       [...]
 883       &zebra; can search more than 100 times faster than [old-engine]
 884       and can process multiple search requests simultaneously
 885      </para>
 886      <para>
 887       I am very happy to see such nice software available under GPL.
 888      </para>
 889     </blockquote>
 890    </para>
 891   </section>
 892  </section>
 893
 894
 895   <section id="introduction-support">
 896    <title>Support</title>
 897    <para>
 898     You can get support for &zebra; from at least three sources.
 899    </para>
 900    <para>
 901     First, there's the &zebra; web site at
 902     <ulink url="&url.idzebra;"/>,
 903      which always has the most recent version available for download.
 904      If you have a problem with &zebra;, the first thing to do is see
 905      whether it's fixed in the current release.
 906    </para>
 907    <para>
 908     Second, there's the &zebra; mailing list.  Its home page at
 909     <ulink url="&url.idzebra.mailinglist;"/>
 910      includes a complete archive of all messages that have ever been
 911      posted on the list.  The &zebra; mailing list is used both for
 912      announcements from the authors (new
 913      releases, bug fixes, etc.) and general discussion.  You are welcome
 914      to seek support there.  Join by filling the form on the list home page.
 915    </para>
 916    <para>
 917     Third, it's possible to buy a commercial support contract, with
 918     well defined service levels and response times, from Index Data.
 919     See
 920     <ulink url="&url.indexdata.support;"/>
 921      for details.
 922    </para>
 923   </section>
 924
 925
 926  <section id="future">
 927   <title>Future Directions</title>
 928
 929   <para>
 930    These are some of the plans that we have for the software in the near
 931    and far future, ordered approximately as we expect to work on them.
 932   </para>
 933
 934   <para>
 935    <itemizedlist>
 936
 937     <listitem>
 938      <para>
 939        Improved support for &xml; in search and retrieval. Eventually,
 940        the goal is for &zebra; to pull double duty as a flexible
 941        information retrieval engine and high-performance &xml;
 942        repository.  The recent addition of XPath searching is one
 943        example of the kind of enhancement we're working on.
 944      </para>
 945      <para>
 946        There is also the experimental <literal>ALVIS &xslt;</literal>
 947        &xml; input filter, which unleashes the full power of &dom; based
 948        &xslt; transformations during indexing and record retrieval. Work
 949        on this filter has been sponsored by the ALVIS EU project
 950        <ulink url="http://www.alvis.info/alvis/"/>. We expect this filter to
 951        mature soon, as it is planned to be included in the version 2.0
 952        release of &zebra;.
 953      </para>
 954     </listitem>
 955
 956     <listitem>
 957      <para>
 958        Finalisation and documentation of &zebra;'s C programming
 959        &api;, allowing updates, database management and other functions
 960        not readily expressed in &z3950;.  We will also consider
 961        exposing the &api; through &soap;.
 962      </para>
 963     </listitem>
 964
 965     <listitem>
 966      <para>
 967        Improved free-text searching. We're first and foremost octet jockeys and
 968        we're actively looking for organisations or people who'd like
 969        to contribute experience in relevance ranking and text
 970        searching.
 971      </para>
 972     </listitem>
 973
 974    </itemizedlist>
 975   </para>
 976
 977   <para>
 978    Programmers thrive on user feedback. If you are interested in a
 979    facility that you don't see mentioned here, or if there's something
 980    you think we could do better, please drop us a mail.  Better still,
 981    implement it and send us the patches.
 982   </para>
 983   <para>
 984    If you think it's all really neat, you're welcome to drop us a line
 985    saying that, too. You can email us on
 986    <email>info@indexdata.dk</email>
 987    or check the contact info at the end of this manual.
 988   </para>
 989
 990  </section>
 991 </chapter>
 992  <!-- Keep this comment at the end of the file
 993  Local variables:
 994  mode: sgml
 995  sgml-omittag:t
 996  sgml-shorttag:t
 997  sgml-minimize-attributes:nil
 998  sgml-always-quote-attributes:t
 999  sgml-indent-step:1
1000  sgml-indent-data:t
1001  sgml-parent-document: "zebra.xml"
1002  sgml-local-catalogs: nil
1003  sgml-namecase-general:t
1004  End:
1005  -->