doc/introduction.xml

   1 <chapter id="introduction">
   2  <title>Introduction</title>
   3
   4  <section id="overview">
   5   <title>Overview</title>
   6
   7       <para>
   8         &zebra; is a free, fast, friendly information management system. It can
   9         index records in &acro.xml;/&acro.sgml;, &acro.marc;, e-mail archives and many other
  10         formats, and quickly find them using a combination of boolean
  11         searching and relevance ranking. Search-and-retrieve applications can
  12         be written using &acro.api;s in a wide variety of languages, communicating
  13         with the &zebra; server using industry-standard information-retrieval
  14         protocols or web services.
  15       </para>
  16       <para>
  17         &zebra; is licensed Open Source, and can be
  18         deployed by anyone for any purpose without license fees. The C source
  19         code is open to anybody to read and change under the GPL license.
  20       </para>
  21       <para>
  22         &zebra; is a networked component which acts as a
  23         reliable &acro.z3950; server
  24         for both record/document search, presentation, insert, update and
  25         delete operations. In addition, it understands the &acro.sru; family of
  26         webservices, which exist in &acro.rest; &acro.get;/&acro.post; and truly
  27         &acro.soap; flavors.
  28       </para>
  29       <para>
  30         &zebra; is available as MS Windows 2003 Server (32 bit) self-extracting
  31         package as well as GNU/Debian Linux (32 bit and 64 bit) precompiled
  32         packages. It has been deployed successfully on other Unix systems,
  33         including Sun Sparc, HP Unix, and many variants of Linux and BSD
  34         based systems.
  35       </para>
  36       <para>
  37         <ulink url="http://www.indexdata.com/zebra/">http://www.indexdata.com/zebra/</ulink>
  38         <ulink url="http://ftp.indexdata.dk/pub/zebra/win32/">http://ftp.indexdata.dk/pub/zebra/win32/</ulink>
  39         <ulink url="http://ftp.indexdata.dk/pub/zebra/debian/">http://ftp.indexdata.dk/pub/zebra/debian/</ulink>
  40       </para>
  41
  42   <para>
  43    <ulink url="http://indexdata.dk/zebra/">&zebra;</ulink>
  44    is a high-performance, general-purpose structured text
  45    indexing and retrieval engine. It reads records in a
  46    variety of input formats (e.g. email, &acro.xml;, &acro.marc;) and provides access
  47    to them through a powerful combination of boolean search
  48    expressions and relevance-ranked free-text queries.
  49   </para>
  50
  51   <para>
  52    &zebra; supports large databases (tens of millions of records,
  53    tens of gigabytes of data). It allows safe, incremental
  54    database updates on live systems. Because &zebra; supports
  55    the industry-standard information retrieval protocol, &acro.z3950;,
  56    you can search &zebra; databases using an enormous variety of
  57    programs and toolkits, both commercial and free, which understand
  58    this protocol.  Application libraries are available to allow
  59    bespoke clients to be written in Perl, C, C++, Java, Tcl, Visual
  60    Basic, Python, &acro.php; and more - see the
  61    <ulink url="&url.zoom;">&acro.zoom; web site</ulink>
  62    for more information on some of these client toolkits.
  63   </para>
  64
  65   <para>
  66    This document is an introduction to the &zebra; system. It explains
  67    how to compile the software, how to prepare your first database,
  68    and how to configure the server to give you the
  69    functionality that you need.
  70   </para>
  71  </section>
  72
  73  <section id="features">
  74   <title>&zebra; Features Overview</title>
  75
  76
  77       <!--
  78       <row>
  79        <entry></entry>
  80        <entry></entry>
  81        <entry></entry>
  82        <entry><xref linkend=""/></entry>
  83       </row>
  84       <row>
  85        <entry></entry>
  86        <entry></entry>
  87        <entry></entry>
  88        <entry><xref linkend=""/></entry>
  89       </row>
  90       <row>
  91        <entry></entry>
  92        <entry></entry>
  93        <entry></entry>
  94        <entry><xref linkend=""/></entry>
  95       </row>
  96       -->
  97
  98
  99    <section id="features-document">
 100     <title>&zebra; Document Model</title>
 101
 102    <table id="table-features-document" frame="top">
 103     <title>&zebra; document model</title>
 104     <tgroup cols="4">
 105      <colspec colwidth="1*" colname="feature"/>
 106      <colspec colwidth="1*" colname="availability"/>
 107      <colspec colwidth="3*" colname="notes"/>
 108      <colspec colwidth="2*" colname="references"/>
 109      <thead>
 110       <row>
 111        <entry>Feature</entry>
 112        <entry>Availability</entry>
 113        <entry>Notes</entry>
 114        <entry>Reference</entry>
 115       </row>
 116      </thead>
 117      <tbody>
 118       <row>
 119        <entry>Complex semi-structured Documents</entry>
 120        <entry>&acro.xml; and &acro.grs1; Documents</entry>
 121        <entry>Both &acro.xml; and &acro.grs1; documents exhibit a &acro.dom; like internal
 122        representation allowing for complex indexing and display rules</entry>
 123        <entry><xref linkend="record-model-alvisxslt"/> and
 124        <xref linkend="grs"/></entry>
 125       </row>
 126       <row>
 127        <entry>Input document formats</entry>
 128        <entry>&acro.xml;, &acro.sgml;, Text, ISO2709 (&acro.marc;)</entry>
 129        <entry>
 130         A system of input filters driven by
 131         regular expressions allows most ASCII-based
 132         data formats to be easily processed.
 133         &acro.sgml;, &acro.xml;, ISO2709 (&acro.marc;), and raw text are also
 134         supported.</entry>
 135        <entry><xref linkend="componentmodules"/></entry>
 136       </row>
 137       <row>
 138        <entry>Document storage</entry>
 139        <entry>Index-only, Key storage, Document storage</entry>
 140        <entry>Data can be, and usually is, imported
 141         into &zebra;'s own storage, but &zebra; can also refer to
 142         external files, building and maintaining indexes of "live"
 143         collections.</entry>
 144        <entry></entry>
 145       </row>
 146
 147      </tbody>
 148     </tgroup>
 149    </table>
 150    </section>
 151
 152    <section id="features-search">
 153     <title>&zebra; Search Features</title>
 154
 155    <table id="table-features-search" frame="top">
 156     <title>&zebra; search functionality</title>
 157     <tgroup cols="4">
 158      <colspec colwidth="1*" colname="feature"/>
 159      <colspec colwidth="1*" colname="availability"/>
 160      <colspec colwidth="3*" colname="notes"/>
 161      <colspec colwidth="2*" colname="references"/>
 162      <thead>
 163       <row>
 164        <entry>Feature</entry>
 165        <entry>Availability</entry>
 166        <entry>Notes</entry>
 167        <entry>Reference</entry>
 168       </row>
 169      </thead>
 170      <tbody>
 171       <row>
 172        <entry>Query languages</entry>
 173        <entry>&acro.cql; and &acro.rpn;/&acro.pqf;</entry>
 174        <entry>The type-1 Reverse Polish Notation (&acro.rpn;)
 175        and its textual representation Prefix Query Format (&acro.pqf;) are
 176        supported. The Common Query Language (&acro.cql;) can be configured as
 177        a mapping from &acro.cql; to &acro.rpn;/&acro.pqf;</entry>
 178        <entry><xref linkend="querymodel-query-languages-pqf"/> and
 179        <xref linkend="querymodel-cql-to-pqf"/></entry>
 180       </row>
 181       <row>
 182        <entry>Complex boolean query tree</entry>
 183        <entry>&acro.cql; and &acro.rpn;/&acro.pqf;</entry>
 184        <entry>Both &acro.cql; and &acro.rpn;/&acro.pqf; allow atomic query parts (&acro.apt;) to
 185        be combined into complex boolean query trees</entry>
 186        <entry><xref linkend="querymodel-rpn-tree"/></entry>
 187       </row>
 188       <row>
 189        <entry>Field search</entry>
 190        <entry>user defined</entry>
 191        <entry>Atomic query parts (&acro.apt;) are either general, or
 192        directed at user-specified document fields
 193       </entry>
 194        <entry><xref linkend="querymodel-atomic-queries"/>,
 195               <xref linkend="querymodel-use-string"/>,
 196               <xref linkend="querymodel-bib1-use"/>, and
 197               <xref linkend="querymodel-idxpath-use"/></entry>
 198       </row>
 199       <row>
 200        <entry>Data normalization</entry>
 201        <entry>user defined</entry>
 202        <entry>Data normalization, text tokenization and character
 203        mappings can be applied during indexing and searching</entry>
 204        <entry><xref linkend="fields-and-charsets"/></entry>
 205       </row>
 206       <row>
 207        <entry>Predefined field types</entry>
 208        <entry>user defined</entry>
 209        <entry>Data fields can be indexed as phrase, as into word
 210        tokenized text, as numeric values, URLs, dates, and raw binary
 211        data.</entry>
 212        <entry><xref linkend="character-map-files"/> and
 213               <xref linkend="querymodel-pqf-apt-mapping-structuretype"/>
 214        </entry>
 215       </row>
 216       <row>
 217        <entry>Regular expression matching</entry>
 218        <entry>available</entry>
 219        <entry>Full regular expression matching and "approximate
 220         matching" (e.g. spelling mistake corrections) are handled.</entry>
 221        <entry><xref linkend="querymodel-regular"/></entry>
 222       </row>
 223       <row>
 224        <entry>Term truncation</entry>
 225        <entry>left, right, left-and-right</entry>
 226        <entry>The truncation attribute specifies whether variations of
 227        one or more characters are allowed between search term and hit
 228        terms, or not. Using non-default truncation attributes will
 229        broaden the document hit set of a search query.</entry>
 230        <entry><xref linkend="querymodel-bib1-truncation"/></entry>
 231       </row>
 232       <row>
 233        <entry>Fuzzy searches</entry>
 234        <entry>Spelling correction</entry>
 235        <entry>In addition, fuzzy searches are implemented, where one
 236           spelling mistake in search terms is matched</entry>
 237        <entry><xref linkend="querymodel-bib1-truncation"/></entry>
 238       </row>
 239      </tbody>
 240     </tgroup>
 241    </table>
 242    </section>
 243
 244    <section id="features-scan">
 245     <title>&zebra; Index Scanning</title>
 246
 247    <table id="table-features-scan" frame="top">
 248     <title>&zebra; index scanning</title>
 249     <tgroup cols="4">
 250      <colspec colwidth="1*" colname="feature"/>
 251      <colspec colwidth="1*" colname="availability"/>
 252      <colspec colwidth="3*" colname="notes"/>
 253      <colspec colwidth="2*" colname="references"/>
 254      <thead>
 255       <row>
 256        <entry>Feature</entry>
 257        <entry>Availability</entry>
 258        <entry>Notes</entry>
 259        <entry>Reference</entry>
 260       </row>
 261      </thead>
 262      <tbody>
 263       <row>
 264        <entry>Scan</entry>
 265        <entry>term suggestions</entry>
 266        <entry><literal>Scan</literal> on a given named index returns all the
 267           indexed terms in lexicographical order near the given start
 268        term. This can be used to create drop-down menus and search
 269        suggestions.</entry>
 270        <entry><xref linkend="querymodel-operation-type-scan"/> and
 271        <xref linkend="querymodel-atomic-queries"/>
 272        </entry>
 273       </row>
 274       <row>
 275        <entry>Facetted browsing</entry>
 276         <entry>available</entry>
 277         <entry>Zebra 2.1 and allows retrieval of facets for
 278          a result set.
 279         </entry>
 280        <entry><xref linkend="querymodel-zebra-attr-scan"/></entry>
 281       </row>
 282       <row>
 283        <entry>Drill-down or refine-search</entry>
 284        <entry>partially</entry>
 285        <entry>scanning in result sets can be used to implement
 286        drill-down in search clients</entry>
 287        <entry><xref linkend="querymodel-zebra-attr-scan"/></entry>
 288       </row>
 289      </tbody>
 290     </tgroup>
 291    </table>
 292    </section>
 293
 294    <section id="features-presentation">
 295     <title>&zebra; Document Presentation</title>
 296
 297    <table id="table-features-presentation" frame="top">
 298     <title>&zebra; document presentation</title>
 299     <tgroup cols="4">
 300      <colspec colwidth="1*" colname="feature"/>
 301      <colspec colwidth="1*" colname="availability"/>
 302      <colspec colwidth="3*" colname="notes"/>
 303      <colspec colwidth="2*" colname="references"/>
 304      <thead>
 305       <row>
 306        <entry>Feature</entry>
 307        <entry>Availability</entry>
 308        <entry>Notes</entry>
 309        <entry>Reference</entry>
 310       </row>
 311      </thead>
 312      <tbody>
 313       <row>
 314        <entry>Hit count</entry>
 315        <entry>yes</entry>
 316        <entry>Search results include at any time the total hit count of a given
 317           query, either exact computed, or approximative, in case that the
 318           hit count exceeds a possible pre-defined hit set truncation
 319        level.</entry>
 320        <entry>
 321        <xref linkend="querymodel-zebra-local-attr-limit"/> and
 322        <xref linkend="zebra-cfg"/>
 323        </entry>
 324       </row>
 325       <row>
 326        <entry>Paged result sets</entry>
 327        <entry>yes</entry>
 328        <entry>Paging of search requests and present/display request
 329        can return any successive number of records from any start
 330        position in the hit set, i.e. it is trivial to provide search
 331        results in successive pages of any size.</entry>
 332        <entry></entry>
 333       </row>
 334       <row>
 335        <entry>&acro.xml; document transformations</entry>
 336        <entry>&acro.xslt; based</entry>
 337        <entry> Record presentation can be performed in many
 338        pre-defined &acro.xml; data
 339           formats, where the original &acro.xml; records are on-the-fly transformed
 340           through any preconfigured &acro.xslt; transformation. It is therefore
 341           trivial to present records in short/full &acro.xml; views, transforming to
 342           RSS, Dublin Core, or other &acro.xml; based data formats, or transform
 343           records to XHTML snippets ready for inserting in XHTML pages.</entry>
 344        <entry>
 345        <xref linkend="record-model-alvisxslt-elementset"/></entry>
 346       </row>
 347       <row>
 348        <entry>Binary record transformations</entry>
 349        <entry>&acro.marc;, &acro.usmarc;, &acro.marc21; and &acro.marcxml;</entry>
 350        <entry>post-filter record transformations</entry>
 351        <entry></entry>
 352       </row>
 353       <row>
 354        <entry>Record Syntaxes</entry>
 355        <entry></entry>
 356        <entry> Multiple record syntaxes
 357       for data retrieval: &acro.grs1;, &acro.sutrs;,
 358       &acro.xml;, ISO2709 (&acro.marc;), etc. Records can be mapped between
 359        record syntaxes and schemas on the fly.</entry>
 360        <entry></entry>
 361       </row>
 362       <row>
 363        <entry>&zebra; internal metadata</entry>
 364        <entry>yes</entry>
 365        <entry> &zebra; internal document metadata can be fetched in
 366        &acro.sutrs; and &acro.xml; record syntaxes. Those are useful in client
 367        applications.</entry>
 368        <entry><xref linkend="special-retrieval"/></entry>
 369       </row>
 370       <row>
 371        <entry>&zebra; internal raw record data</entry>
 372        <entry>yes</entry>
 373        <entry> &zebra; internal raw, binary record data can be fetched in
 374        &acro.sutrs; and &acro.xml; record syntaxes, leveraging %zebra; to a
 375        binary storage system</entry>
 376        <entry><xref linkend="special-retrieval"/></entry>
 377       </row>
 378       <row>
 379        <entry>&zebra; internal record field data</entry>
 380        <entry>yes</entry>
 381        <entry> &zebra; internal record field data can be fetched in
 382        &acro.sutrs; and &acro.xml; record syntaxes. This makes very fast minimal
 383        record data displays possible.</entry>
 384        <entry><xref linkend="special-retrieval"/></entry>
 385       </row>
 386      </tbody>
 387     </tgroup>
 388    </table>
 389    </section>
 390
 391    <section id="features-sort-rank">
 392     <title>&zebra; Sorting and Ranking</title>
 393
 394    <table id="table-features-sort-rank" frame="top">
 395     <title>&zebra; sorting and ranking</title>
 396     <tgroup cols="4">
 397      <colspec colwidth="1*" colname="feature"/>
 398      <colspec colwidth="1*" colname="availability"/>
 399      <colspec colwidth="3*" colname="notes"/>
 400      <colspec colwidth="2*" colname="references"/>
 401      <thead>
 402       <row>
 403        <entry>Feature</entry>
 404        <entry>Availability</entry>
 405        <entry>Notes</entry>
 406        <entry>Reference</entry>
 407       </row>
 408      </thead>
 409      <tbody>
 410       <row>
 411        <entry>Sort</entry>
 412        <entry>numeric, lexicographic</entry>
 413        <entry>Sorting on the basis of alpha-numeric and numeric data
 414        is supported. Alphanumeric sorts can be configured for
 415        different data encodings and locales for European languages.</entry>
 416        <entry><xref linkend="administration-ranking-sorting"/> and
 417        <xref linkend="querymodel-zebra-attr-sorting"/></entry>
 418       </row>
 419       <row>
 420        <entry>Combined sorting</entry>
 421        <entry>yes</entry>
 422        <entry>Sorting on the basis of combined sorts  e.g. combinations of
 423           ascending/descending sorts of lexicographical/numeric/date field data
 424           is supported</entry>
 425        <entry><xref linkend="administration-ranking-sorting"/></entry>
 426       </row>
 427       <row>
 428        <entry>Relevance ranking</entry>
 429        <entry>TF-IDF like</entry>
 430        <entry>Relevance-ranking of free-text queries is supported
 431        using a TF-IDF like algorithm.</entry>
 432        <entry><xref linkend="administration-ranking-dynamic"/></entry>
 433       </row>
 434       <row>
 435        <entry>Static pre-ranking</entry>
 436        <entry>yes</entry>
 437        <entry>Enables pre-index time ranking of documents where hit
 438        lists are ordered first by ascending static rank, then by
 439        ascending document ID.</entry>
 440        <entry><xref linkend="administration-ranking-static"/></entry>
 441       </row>
 442      </tbody>
 443     </tgroup>
 444    </table>
 445    </section>
 446
 447
 448    <section id="features-updates">
 449     <title>&zebra; Live Updates</title>
 450
 451
 452    <table id="table-features-updates" frame="top">
 453     <title>&zebra; live updates</title>
 454     <tgroup cols="4">
 455      <colspec colwidth="1*" colname="feature"/>
 456      <colspec colwidth="1*" colname="availability"/>
 457      <colspec colwidth="3*" colname="notes"/>
 458      <colspec colwidth="2*" colname="references"/>
 459      <thead>
 460       <row>
 461        <entry>Feature</entry>
 462        <entry>Availability</entry>
 463        <entry>Notes</entry>
 464        <entry>Reference</entry>
 465       </row>
 466      </thead>
 467      <tbody>
 468       <row>
 469        <entry>Incremental and batch updates</entry>
 470        <entry></entry>
 471        <entry>It is possible to schedule record inserts/updates/deletes in any
 472         quantity, from single individual handled records to batch updates
 473         in strikes of any size, as well as total re-indexing of all records
 474         from file system. </entry>
 475        <entry><xref linkend="zebraidx"/></entry>
 476       </row>
 477       <row>
 478        <entry>Remote updates</entry>
 479        <entry>&acro.z3950; extended services</entry>
 480        <entry>Updates can be performed from remote locations using the
 481        &acro.z3950; extended services. Access to extended services can be
 482        login-password protected.</entry>
 483        <entry><xref linkend="administration-extended-services"/> and
 484               <xref linkend="zebra-cfg"/></entry>
 485       </row>
 486       <row>
 487        <entry>Live updates</entry>
 488        <entry>transaction based</entry>
 489        <entry> Data updates are transaction based and can be performed
 490        on running  &zebra; systems.  Full searchability is preserved
 491        during life data update due to use  of shadow disk areas for
 492        update operations. Multiple update transactions at the same
 493        time are lined up, to be performed one after each other. Data
 494        integrity is preserved.</entry>
 495        <entry><xref linkend="shadow-registers"/></entry>
 496       </row>
 497      </tbody>
 498     </tgroup>
 499    </table>
 500    </section>
 501
 502  <section id="features-protocol">
 503   <title>&zebra; Networked Protocols</title>
 504
 505    <table id="table-features-protocol" frame="top">
 506     <title>&zebra; networked protocols</title>
 507     <tgroup cols="4">
 508      <colspec colwidth="1*" colname="feature"/>
 509      <colspec colwidth="1*" colname="availability"/>
 510      <colspec colwidth="3*" colname="notes"/>
 511      <colspec colwidth="2*" colname="references"/>
 512      <thead>
 513       <row>
 514        <entry>Feature</entry>
 515        <entry>Availability</entry>
 516        <entry>Notes</entry>
 517        <entry>Reference</entry>
 518       </row>
 519      </thead>
 520      <tbody>
 521       <row>
 522        <entry>Fundamental operations</entry>
 523        <entry>&acro.z3950;/&acro.sru; <literal>explain</literal>,
 524            <literal>search</literal>, <literal>scan</literal>, and
 525            <literal>update</literal></entry>
 526        <entry></entry>
 527        <entry><xref linkend="querymodel-operation-types"/></entry>
 528       </row>
 529       <row>
 530        <entry>&acro.z3950; protocol support</entry>
 531        <entry>yes</entry>
 532        <entry> Protocol facilities supported are:
 533        <literal>init</literal>, <literal>search</literal>,
 534        <literal>present</literal> (retrieval),
 535        Segmentation (support for very large records),
 536        <literal>delete</literal>, <literal>scan</literal>
 537        (index browsing), <literal>sort</literal>,
 538        <literal>close</literal> and support for the <literal>update</literal>
 539        Extended Service to add or replace an existing &acro.xml;
 540        record. Piggy-backed presents are honored in the search
 541        request. Named result sets are supported.</entry>
 542        <entry><xref linkend="protocol-support"/></entry>
 543       </row>
 544       <row>
 545        <entry>Web Service support</entry>
 546        <entry>&acro.sru;</entry>
 547        <entry> The protocol operations <literal>explain</literal>,
 548        <literal>searchRetrieve</literal> and <literal>scan</literal>
 549        are supported. <ulink url="&url.cql;">&acro.cql;</ulink> to internal
 550        query model &acro.rpn;
 551        conversion is supported. Extended RPN queries
 552        for search/retrieve and scan are supported.</entry>
 553        <entry><xref linkend="zebrasrv-sru-support"/></entry>
 554       </row>
 555      </tbody>
 556     </tgroup>
 557    </table>
 558    </section>
 559
 560    <section id="features-scalability">
 561     <title>&zebra; Data Size and Scalability</title>
 562
 563    <table id="table-features-scalability" frame="top">
 564     <title>&zebra; data size and scalability</title>
 565     <tgroup cols="4">
 566      <colspec colwidth="1*" colname="feature"/>
 567      <colspec colwidth="1*" colname="availability"/>
 568      <colspec colwidth="3*" colname="notes"/>
 569      <colspec colwidth="2*" colname="references"/>
 570      <thead>
 571       <row>
 572        <entry>Feature</entry>
 573        <entry>Availability</entry>
 574        <entry>Notes</entry>
 575        <entry>Reference</entry>
 576       </row>
 577      </thead>
 578      <tbody>
 579       <row>
 580        <entry>No of records</entry>
 581        <entry>40-60 million</entry>
 582        <entry></entry>
 583        <entry></entry>
 584       </row>
 585       <row>
 586        <entry>Data size</entry>
 587        <entry>100 GB of record data</entry>
 588        <entry>&zebra; based applications have successfully indexed up
 589        to 100 GB of record data</entry>
 590        <entry></entry>
 591       </row>
 592       <row>
 593        <entry>Scale out</entry>
 594        <entry>multiple discs</entry>
 595        <entry></entry>
 596        <entry></entry>
 597       </row>
 598       <row>
 599        <entry>Performance</entry>
 600        <entry><literal>O(n * log N)</literal></entry>
 601        <entry> &zebra; query speed and performance is affected roughly by
 602           <literal>O(log N)</literal>,
 603           where <literal>N</literal> is the total database size, and by
 604           <literal>O(n)</literal>, where <literal>n</literal> is the
 605           specific query hit set size.</entry>
 606        <entry></entry>
 607       </row>
 608       <row>
 609        <entry>Average search times</entry>
 610        <entry></entry>
 611        <entry> Even on very large size databases hit rates of 20 queries per
 612           seconds with average query answering time of 1 second are possible,
 613           provided that the boolean queries are constructed sufficiently
 614           precise to result in hit sets of the order of 1000 to 5.000
 615           documents.</entry>
 616        <entry></entry>
 617       </row>
 618       <row>
 619        <entry>Large databases</entry>
 620        <entry>64 bit file pointers</entry>
 621        <entry>64 file pointers assure that register files can extend
 622        the 2 GB limit. Logical files can be
 623         automatically partitioned over multiple disks, thus allowing for
 624        large databases.</entry>
 625        <entry></entry>
 626       </row>
 627      </tbody>
 628     </tgroup>
 629    </table>
 630    </section>
 631
 632    <section id="features-platforms">
 633     <title>&zebra; Supported Platforms</title>
 634
 635    <table id="table-features-platforms" frame="top">
 636     <title>&zebra; supported platforms</title>
 637     <tgroup cols="4">
 638      <colspec colwidth="1*" colname="feature"/>
 639      <colspec colwidth="1*" colname="availability"/>
 640      <colspec colwidth="3*" colname="notes"/>
 641      <colspec colwidth="2*" colname="references"/>
 642      <thead>
 643       <row>
 644        <entry>Feature</entry>
 645        <entry>Availability</entry>
 646        <entry>Notes</entry>
 647        <entry>Reference</entry>
 648       </row>
 649      </thead>
 650      <tbody>
 651       <row>
 652        <entry>Linux</entry>
 653        <entry></entry>
 654        <entry>GNU Linux (32 and 64bit), journaling Reiser or (better)
 655        JFS file system
 656         on disks. NFS file systems are not supported.
 657        GNU/Debian Linux packages are available</entry>
 658        <entry><xref linkend="installation-debian"/></entry>
 659       </row>
 660       <row>
 661        <entry>Unix</entry>
 662        <entry>tar-ball</entry>
 663        <entry>&zebra; is written in portable C, so it runs on most
 664        Unix-like systems.
 665        Usual tar-ball install possible on many major Unix systems</entry>
 666        <entry><xref linkend="installation-unix"/></entry>
 667       </row>
 668       <row>
 669        <entry>Windows</entry>
 670        <entry>NT/2000/2003/XP</entry>
 671        <entry>&zebra; runs as well on Windows (NT/2000/2003/XP).
 672         Windows installer packages available</entry>
 673        <entry><xref linkend="installation-win32"/></entry>
 674       </row>
 675      </tbody>
 676     </tgroup>
 677    </table>
 678    </section>
 679
 680
 681  </section>
 682
 683   <section id="introduction-apps">
 684   <title>References and &zebra; based Applications</title>
 685   <para>
 686    &zebra; has been deployed in numerous applications, in both the
 687    academic and commercial worlds, in application domains as diverse
 688    as bibliographic catalogues, Geo-spatial information, structured
 689    vocabulary browsing, government information locators, civic
 690    information systems, environmental observations, museum information
 691    and web indexes.
 692   </para>
 693   <para>
 694    Notable applications include the following:
 695   </para>
 696
 697
 698   <section id="koha-ils">
 699    <title>Koha free open-source ILS</title>
 700    <para>
 701      <ulink url="http://www.koha.org/">Koha</ulink> is a full-featured
 702      open-source ILS, initially developed  in
 703      New Zealand by Katipo Communications Ltd, and first deployed in
 704      January of 2000 for Horowhenua Library Trust. It is currently
 705      maintained by a team of software providers and library technology
 706      staff from around the globe.
 707     </para>
 708     <para>
 709      <ulink url="http://liblime.com/">LibLime</ulink>,
 710      a company that is marketing and supporting Koha, adds in
 711      the new release of Koha 3.0 the &zebra;
 712      database server to drive its bibliographic database.
 713     </para>
 714     <para>
 715      In early 2005, the Koha project development team began looking at
 716      ways to improve &acro.marc; support and overcome scalability limitations
 717      in the Koha 2.x series. After extensive evaluations of the best
 718      of the Open Source textual database engines - including MySQL
 719      full-text searching, PostgreSQL, Lucene and Plucene - the team
 720      selected &zebra;.
 721     </para>
 722     <para>
 723      "&zebra; completely eliminates scalability limitations, because it
 724      can support tens of millions of records." explained Joshua
 725      Ferraro, LibLime's Technology President and Koha's Project
 726      Release Manager. "Our performance tests showed search results in
 727      under a second for databases with over 5 million records on a
 728      modest i386 900Mhz test server."
 729     </para>
 730     <para>
 731      "&zebra; also includes support for true boolean search expressions
 732      and relevance-ranked free-text queries, both of which the Koha
 733      2.x series lack. &zebra; also supports incremental and safe
 734      database updates, which allow on-the-fly record
 735      management. Finally, since &zebra; has at its heart the &acro.z3950;
 736      protocol, it greatly improves Koha's support for that critical
 737      library standard."
 738     </para>
 739     <para>
 740      Although the bibliographic database will be moved to &zebra;, Koha
 741      3.0 will continue to use a relational SQL-based database design
 742      for the 'factual' database. "Relational database managers have
 743      their strengths, in spite of their inability to handle large
 744      numbers of bibliographic records efficiently," summed up Ferraro,
 745      "We're taking the best from both worlds in our redesigned Koha
 746      3.0.
 747      </para>
 748      <para>
 749      See also LibLime's newsletter article
 750       <ulink url="http://www.liblime.com/newsletter/2006/01/features/koha-earns-its-stripes/">
 751      Koha Earns its Stripes</ulink>.
 752      </para>
 753    </section>
 754
 755
 756   <section id="kete-dom">
 757    <title>Kete Open Source Digital Library and Archiving software</title>
 758    <para>
 759      <ulink url="http://kete.net.nz/">Kete</ulink> is a digital object
 760      management repository, initially developed  in
 761      New Zealand. Initial development has
 762      been a partnership between the Horowhenua Library Trust and
 763      Katipo Communications Ltd. funded as part of the Community
 764      Partnership Fund in 2006.
 765      Kete is purpose built
 766      software to enable communities to build their own digital
 767      libraries, archives and repositories.
 768     </para>
 769     <para>
 770      It is based on Ruby-on-Rails and MySQL, and integrates  the &zebra; server
 771      and the &yaz; toolkit for indexing and retrieval of it's content.
 772      Zebra is run as separate computer process from the Kete
 773      application.
 774      See
 775      how Kete <ulink
 776      url="http://kete.net.nz/documentation/topics/show/139-managing-zebra">manages
 777      Zebra.</ulink>
 778      </para>
 779      <para>
 780      Why does Kete wants to use Zebra?? Speed, Scalability and easy
 781  integration with Koha. Read their
 782  <ulink
 783      url="http://kete.net.nz/blog/topics/show/44-who-what-why-when-answering-some-of-the-niggly-development-questions">detailed
 784  reasoning here.</ulink>
 785     </para>
 786    </section>
 787
 788   <section id="reindex-ils">
 789    <title>ReIndex.Net web based ILS</title>
 790     <para>
 791      <ulink url="http://www.reindex.net/index.php?lang=en">Reindex.net</ulink>
 792      is a netbased library service offering all
 793      traditional functions on a very high level plus many new
 794      services. Reindex.net is a comprehensive and powerful WEB system
 795      based on standards such as &acro.xml; and &acro.z3950;.
 796      updates. Reindex supports &acro.marc21;, dan&acro.marc; eller Dublin Core with
 797      UTF8-encoding.
 798     </para>
 799     <para>
 800      Reindex.net runs on GNU/Debian Linux with &zebra; and Simpleserver
 801      from Index
 802      Data for bibliographic data. The relational database system
 803      Sybase 9 &acro.xml; is used for
 804      administrative data.
 805      Internally &acro.marcxml; is used for bibliographical records. Update
 806      utilizes &acro.z3950; extended services.
 807     </para>
 808    </section>
 809
 810    <section id="dads-article-database">
 811     <title>DADS - the DTV Article Database
 812      Service</title>
 813     <para>
 814     DADS is a huge database of more than ten million records, totalling
 815     over ten gigabytes of data.  The records are metadata about academic
 816     journal articles, primarily scientific; about 10% of these
 817     metadata records link to the full text of the articles they
 818     describe, a body of about a terabyte of information (although the
 819     full text is not indexed.)
 820    </para>
 821    <para>
 822     It allows students and researchers at DTU (Danmarks Tekniske
 823     Universitet, the Technical College of Denmark) to find and order
 824     articles from multiple databases in a single query.  The database
 825     contains literature on all engineering subjects.  It's available
 826     on-line through a web gateway, though currently only to registered
 827     users.
 828    </para>
 829    <para>
 830     More information can be found at
 831     <ulink url="http://www.dtv.dk/"/> and
 832     <ulink url="http://dads.dtv.dk"/>
 833    </para>
 834   </section>
 835
 836   <section id="infonet-eprints">
 837    <title>Infonet Eprints</title>
 838    <para>
 839      The InfoNet Eprints service from the
 840      <ulink url="http://www.dtv.dk/">
 841       Technical Knowledge Center of Denmark</ulink>
 842      provides access to documents stored in
 843      eprint/preprint servers and institutional research archives around
 844      the world. The service is based on Open Archives Initiative metadata
 845      harvesting of selected scientific archives around the world. These
 846      open archives offer free and unrestricted access to their contents.
 847     </para>
 848    <para>
 849     Infonet Eprints currently holds 1.4 million records from 16 archives.
 850     The online search facility is found at
 851     <ulink url="http://preprints.cvt.dk"/>.
 852    </para>
 853   </section>
 854
 855   <section id="alvis-project">
 856    <title>Alvis</title>
 857    <para>
 858      The <ulink url="http://www.alvis.info/alvis/">Alvis</ulink> EU
 859      project run under the 6th Framework (IST-1-002068-STP)
 860      is building a semantic-based peer-to-peer search engine. A
 861      consortium of eleven partners from six different European
 862      Community countries plus Switzerland and China contribute
 863      with expertise in a broad range of specialties including network
 864      topologies, routing algorithms, linguistic analysis and
 865      bioinformatics.
 866     </para>
 867     <para>
 868      The &zebra; information retrieval indexing machine is used inside
 869      the Alvis framework to
 870      manage huge collections of natural language processed and
 871      enhanced &acro.xml; data, coming from a topic relevant web crawl.
 872      In this application, &zebra; swallows and manages 37GB of &acro.xml; data
 873      in about 4 hours, resulting in search times of fractions of
 874      seconds.
 875      </para>
 876    </section>
 877
 878
 879   <section id="uls">
 880    <title>ULS (Union List of Serials)</title>
 881    <para>
 882     The M25 Systems Team
 883     has created a union catalogue for the periodicals of the
 884     twenty-one constituent libraries of the University of London and
 885     the University of Westminster
 886     (<ulink url="http://www.m25lib.ac.uk/ULS/"/>).
 887     They have achieved this using an
 888     unusual architecture, which they describe as a
 889     ``non-distributed virtual union catalogue''.
 890    </para>
 891    <para>
 892     The member libraries send in data files representing their
 893     periodicals, including both brief bibliographic data and summary
 894     holdings.  Then 21 individual &acro.z3950; targets are created, each
 895     using &zebra;, and all mounted on the single hardware server.
 896     The live service provides a web gateway allowing &acro.z3950; searching
 897     of all of the targets or a selection of them.  &zebra;'s small
 898     footprint allows a relatively modest system to comfortably host
 899     the 21 servers.
 900    </para>
 901    <para>
 902     More information can be found at
 903     <ulink url="http://www.m25lib.ac.uk/ULS/"/>
 904    </para>
 905   </section>
 906
 907   <section id="nli">
 908    <title>NLI-&acro.z3950; - a Natural Language Interface for Libraries</title>
 909    <para>
 910     Fernuniversit&#x00E4;t Hagen in Germany have developed a natural
 911     language interface for access to library databases.
 912     <!-- <ulink
 913     url="http://ki212.fernuni-hagen.de/nli/NLIintro.html"/> -->
 914     In order to evaluate this interface for recall and precision, they
 915     chose &zebra; as the basis for retrieval effectiveness.  The &zebra;
 916     server contains a copy of the GIRT database, consisting of more
 917     than 76000 records in &acro.sgml; format (bibliographic records from
 918     social science), which are mapped to &acro.marc; for presentation.
 919    </para>
 920    <para>
 921     (GIRT is the German Indexing and Retrieval Testdatabase.  It is a
 922     standard German-language test database for intelligent indexing
 923     and retrieval systems.  See
 924     <ulink url="http://www.gesis.org/forschung/informationstechnologie/clef-delos.htm"/>)
 925    </para>
 926    <para>
 927     Evaluation will take place as part of the TREC/CLEF campaign 2003
 928     <ulink url="http://clef.iei.pi.cnr.it"/>.
 929     <!-- or <ulink url="http://www4.eurospider.ch/CLEF/"/> -->
 930    </para>
 931    <para>
 932     For more information, contact Johannes Leveling
 933     <email>Johannes.Leveling@FernUni-Hagen.De</email>
 934    </para>
 935   </section>
 936
 937   <section id="various-web-indexes">
 938    <title>Various web indexes</title>
 939    <para>
 940     &zebra; has been used by a variety of institutions to construct
 941     indexes of large web sites, typically in the region of tens of
 942     millions of pages.  In this role, it functions somewhat similarly
 943     to the engine of Google or AltaVista, but for a selected intranet
 944     or a subset of the whole Web.
 945    </para>
 946    <para>
 947     For example, Liverpool University's web-search facility (see on
 948     the home page at
 949     <ulink url="http://www.liv.ac.uk/"/>
 950     and many sub-pages) works by relevance-searching a &zebra; database
 951     which is populated by the Harvest-NG web-crawling software.
 952    </para>
 953    <para>
 954     For more information on Liverpool university's intranet search
 955     architecture, contact John Gilbertson
 956     <email>jgilbert@liverpool.ac.uk</email>
 957    </para>
 958    <para>
 959     Kang-Jin Lee
 960     has recently modified the Harvest web indexer to use &zebra; as
 961     its native repository engine.  His comments on the switch over
 962     from the old engine are revealing:
 963     <blockquote>
 964      <para>
 965       The first results after some testing with &zebra; are very
 966       promising.  The tests were done with around 220,000 SOIF files,
 967       which occupies 1.6GB of disk space.
 968      </para>
 969      <para>
 970       Building the index from scratch takes around one hour with &zebra;
 971       where [old-engine] needs around five hours.  While [old-engine]
 972       blocks search requests when updating its index, &zebra; can still
 973       answer search requests.
 974       [...]
 975       &zebra; supports incremental indexing which will speed up indexing
 976       even further.
 977      </para>
 978      <para>
 979       While the search time of [old-engine] varies from some seconds
 980       to some minutes depending how expensive the query is, &zebra;
 981       usually takes around one to three seconds, even for expensive
 982       queries.
 983       [...]
 984       &zebra; can search more than 100 times faster than [old-engine]
 985       and can process multiple search requests simultaneously
 986      </para>
 987      <para>
 988       I am very happy to see such nice software available under GPL.
 989      </para>
 990     </blockquote>
 991    </para>
 992   </section>
 993  </section>
 994
 995
 996   <section id="introduction-support">
 997    <title>Support</title>
 998    <para>
 999     You can get support for &zebra; from at least three sources.
1000    </para>
1001    <para>
1002     First, there's the &zebra; web site at
1003     <ulink url="&url.idzebra;"/>,
1004      which always has the most recent version available for download.
1005      If you have a problem with &zebra;, the first thing to do is see
1006      whether it's fixed in the current release.
1007    </para>
1008    <para>
1009     Second, there's the &zebra; mailing list.  Its home page at
1010     <ulink url="&url.idzebra.mailinglist;"/>
1011      includes a complete archive of all messages that have ever been
1012      posted on the list.  The &zebra; mailing list is used both for
1013      announcements from the authors (new
1014      releases, bug fixes, etc.) and general discussion.  You are welcome
1015      to seek support there.  Join by filling the form on the list home page.
1016    </para>
1017   </section>
1018 </chapter>
1019  <!-- Keep this comment at the end of the file
1020  Local variables:
1021  mode: sgml
1022  sgml-omittag:t
1023  sgml-shorttag:t
1024  sgml-minimize-attributes:nil
1025  sgml-always-quote-attributes:t
1026  sgml-indent-step:1
1027  sgml-indent-data:t
1028  sgml-parent-document: "zebra.xml"
1029  sgml-local-catalogs: nil
1030  sgml-namecase-general:t
1031  End:
1032  -->