doc/introduction.xml

   1  <chapter id="introduction">
   2  <title>Introduction</title>
   3
   4   <section id="overview">
   5    <title>Overview</title>
   6    <para>
   7     &zebra; is a free, fast, friendly information management system. It can
   8     index records in &acro.xml;/&acro.sgml;, &acro.marc;, e-mail archives and many other
   9     formats, and quickly find them using a combination of boolean
  10     searching and relevance ranking. Search-and-retrieve applications can
  11     be written using &acro.api;s in a wide variety of languages, communicating
  12     with the &zebra; server using industry-standard information-retrieval
  13     protocols or web services.
  14    </para>
  15    <para>
  16     &zebra; is licensed Open Source, and can be
  17     deployed by anyone for any purpose without license fees. The C source
  18     code is open to anybody to read and change under the GPL license.
  19    </para>
  20    <para>
  21     &zebra; is a networked component which acts as a
  22     reliable &acro.z3950; server
  23     for both record/document search, presentation, insert, update and
  24     delete operations. In addition, it understands the &acro.sru; family of
  25     webservices, which exist in &acro.rest; &acro.get;/&acro.post; and truly
  26     &acro.soap; flavors.
  27    </para>
  28    <para>
  29     &zebra; is available as MS Windows 2003 Server (32 bit) self-extracting
  30     package as well as GNU/Debian Linux (32 bit and 64 bit) precompiled
  31     packages. It has been deployed successfully on other Unix systems,
  32     including Sun Sparc, HP Unix, and many variants of Linux and BSD
  33     based systems.
  34    </para>
  35    <para>
  36     <ulink url="http://www.indexdata.com/zebra/">http://www.indexdata.com/zebra/</ulink>
  37     <ulink url="http://ftp.indexdata.dk/pub/zebra/win32/">http://ftp.indexdata.dk/pub/zebra/win32/</ulink>
  38     <ulink url="http://ftp.indexdata.dk/pub/zebra/debian/">http://ftp.indexdata.dk/pub/zebra/debian/</ulink>
  39    </para>
  40
  41    <para>
  42     <ulink url="http://indexdata.dk/zebra/">&zebra;</ulink>
  43     is a high-performance, general-purpose structured text
  44     indexing and retrieval engine. It reads records in a
  45     variety of input formats (e.g. email, &acro.xml;, &acro.marc;) and provides access
  46     to them through a powerful combination of boolean search
  47     expressions and relevance-ranked free-text queries.
  48    </para>
  49
  50    <para>
  51     &zebra; supports large databases (tens of millions of records,
  52     tens of gigabytes of data). It allows safe, incremental
  53     database updates on live systems. Because &zebra; supports
  54     the industry-standard information retrieval protocol, &acro.z3950;,
  55     you can search &zebra; databases using an enormous variety of
  56     programs and toolkits, both commercial and free, which understand
  57     this protocol.  Application libraries are available to allow
  58     bespoke clients to be written in Perl, C, C++, Java, Tcl, Visual
  59     Basic, Python, &acro.php; and more - see the
  60     <ulink url="&url.zoom;">&acro.zoom; web site</ulink>
  61     for more information on some of these client toolkits.
  62    </para>
  63
  64    <para>
  65     This document is an introduction to the &zebra; system. It explains
  66     how to compile the software, how to prepare your first database,
  67     and how to configure the server to give you the
  68     functionality that you need.
  69    </para>
  70   </section>
  71
  72   <section id="features">
  73    <title>&zebra; Features Overview</title>
  74
  75    <section id="features-document">
  76     <title>&zebra; Document Model</title>
  77
  78     <table id="table-features-document" frame="top">
  79      <title>&zebra; document model</title>
  80      <tgroup cols="4">
  81       <colspec colwidth="1*" colname="feature"/>
  82       <colspec colwidth="1*" colname="availability"/>
  83       <colspec colwidth="3*" colname="notes"/>
  84       <colspec colwidth="2*" colname="references"/>
  85       <thead>
  86        <row>
  87         <entry>Feature</entry>
  88         <entry>Availability</entry>
  89         <entry>Notes</entry>
  90         <entry>Reference</entry>
  91        </row>
  92       </thead>
  93       <tbody>
  94        <row>
  95         <entry>Complex semi-structured Documents</entry>
  96         <entry>&acro.xml; and &acro.grs1; Documents</entry>
  97         <entry>Both &acro.xml; and &acro.grs1; documents exhibit a &acro.dom; like internal
  98          representation allowing for complex indexing and display rules</entry>
  99         <entry><xref linkend="record-model-alvisxslt"/> and
 100          <xref linkend="grs"/></entry>
 101        </row>
 102        <row>
 103         <entry>Input document formats</entry>
 104         <entry>&acro.xml;, &acro.sgml;, Text, ISO2709 (&acro.marc;)</entry>
 105         <entry>
 106          A system of input filters driven by
 107          regular expressions allows most ASCII-based
 108          data formats to be easily processed.
 109          &acro.sgml;, &acro.xml;, ISO2709 (&acro.marc;), and raw text are also
 110          supported.</entry>
 111         <entry><xref linkend="componentmodules"/></entry>
 112        </row>
 113        <row>
 114         <entry>Document storage</entry>
 115         <entry>Index-only, Key storage, Document storage</entry>
 116         <entry>Data can be, and usually is, imported
 117          into &zebra;'s own storage, but &zebra; can also refer to
 118          external files, building and maintaining indexes of "live"
 119          collections.</entry>
 120         <entry></entry>
 121        </row>
 122
 123       </tbody>
 124      </tgroup>
 125     </table>
 126    </section>
 127
 128    <section id="features-search">
 129     <title>&zebra; Search Features</title>
 130
 131     <table id="table-features-search" frame="top">
 132     <title>&zebra; search functionality</title>
 133      <tgroup cols="4">
 134       <colspec colwidth="1*" colname="feature"/>
 135       <colspec colwidth="1*" colname="availability"/>
 136       <colspec colwidth="3*" colname="notes"/>
 137       <colspec colwidth="2*" colname="references"/>
 138       <thead>
 139        <row>
 140         <entry>Feature</entry>
 141         <entry>Availability</entry>
 142         <entry>Notes</entry>
 143         <entry>Reference</entry>
 144        </row>
 145       </thead>
 146       <tbody>
 147        <row>
 148         <entry>Query languages</entry>
 149         <entry>&acro.cql; and &acro.rpn;/&acro.pqf;</entry>
 150         <entry>The type-1 Reverse Polish Notation (&acro.rpn;)
 151          and its textual representation Prefix Query Format (&acro.pqf;) are
 152          supported. The Common Query Language (&acro.cql;) can be configured as
 153          a mapping from &acro.cql; to &acro.rpn;/&acro.pqf;</entry>
 154         <entry><xref linkend="querymodel-query-languages-pqf"/> and
 155          <xref linkend="querymodel-cql-to-pqf"/></entry>
 156        </row>
 157        <row>
 158         <entry>Complex boolean query tree</entry>
 159         <entry>&acro.cql; and &acro.rpn;/&acro.pqf;</entry>
 160         <entry>Both &acro.cql; and &acro.rpn;/&acro.pqf; allow atomic query parts (&acro.apt;) to
 161          be combined into complex boolean query trees</entry>
 162         <entry><xref linkend="querymodel-rpn-tree"/></entry>
 163        </row>
 164        <row>
 165         <entry>Field search</entry>
 166         <entry>user defined</entry>
 167         <entry>Atomic query parts (&acro.apt;) are either general, or
 168          directed at user-specified document fields
 169         </entry>
 170         <entry><xref linkend="querymodel-atomic-queries"/>,
 171          <xref linkend="querymodel-use-string"/>,
 172          <xref linkend="querymodel-bib1-use"/>, and
 173          <xref linkend="querymodel-idxpath-use"/></entry>
 174        </row>
 175        <row>
 176         <entry>Data normalization</entry>
 177         <entry>user defined</entry>
 178         <entry>Data normalization, text tokenization and character
 179          mappings can be applied during indexing and searching</entry>
 180         <entry><xref linkend="fields-and-charsets"/></entry>
 181        </row>
 182        <row>
 183         <entry>Predefined field types</entry>
 184         <entry>user defined</entry>
 185         <entry>Data fields can be indexed as phrase, as into word
 186          tokenized text, as numeric values, URLs, dates, and raw binary
 187          data.</entry>
 188         <entry><xref linkend="character-map-files"/> and
 189          <xref linkend="querymodel-pqf-apt-mapping-structuretype"/>
 190         </entry>
 191        </row>
 192        <row>
 193         <entry>Regular expression matching</entry>
 194         <entry>available</entry>
 195         <entry>Full regular expression matching and "approximate
 196          matching" (e.g. spelling mistake corrections) are handled.</entry>
 197         <entry><xref linkend="querymodel-regular"/></entry>
 198        </row>
 199        <row>
 200         <entry>Term truncation</entry>
 201         <entry>left, right, left-and-right</entry>
 202         <entry>The truncation attribute specifies whether variations of
 203          one or more characters are allowed between search term and hit
 204          terms, or not. Using non-default truncation attributes will
 205          broaden the document hit set of a search query.</entry>
 206         <entry><xref linkend="querymodel-bib1-truncation"/></entry>
 207        </row>
 208        <row>
 209         <entry>Fuzzy searches</entry>
 210         <entry>Spelling correction</entry>
 211         <entry>In addition, fuzzy searches are implemented, where one
 212          spelling mistake in search terms is matched</entry>
 213         <entry><xref linkend="querymodel-bib1-truncation"/></entry>
 214        </row>
 215       </tbody>
 216      </tgroup>
 217     </table>
 218    </section>
 219
 220    <section id="features-scan">
 221     <title>&zebra; Index Scanning</title>
 222
 223     <table id="table-features-scan" frame="top">
 224      <title>&zebra; index scanning</title>
 225      <tgroup cols="4">
 226       <colspec colwidth="1*" colname="feature"/>
 227       <colspec colwidth="1*" colname="availability"/>
 228       <colspec colwidth="3*" colname="notes"/>
 229       <colspec colwidth="2*" colname="references"/>
 230       <thead>
 231        <row>
 232         <entry>Feature</entry>
 233         <entry>Availability</entry>
 234         <entry>Notes</entry>
 235         <entry>Reference</entry>
 236        </row>
 237       </thead>
 238       <tbody>
 239        <row>
 240         <entry>Scan</entry>
 241         <entry>term suggestions</entry>
 242         <entry><literal>Scan</literal> on a given named index returns all the
 243          indexed terms in lexicographical order near the given start
 244          term. This can be used to create drop-down menus and search
 245          suggestions.</entry>
 246         <entry><xref linkend="querymodel-operation-type-scan"/> and
 247          <xref linkend="querymodel-atomic-queries"/>
 248         </entry>
 249        </row>
 250        <row>
 251         <entry>Facetted browsing</entry>
 252         <entry>available</entry>
 253         <entry>Zebra 2.1 and allows retrieval of facets for
 254          a result set.
 255         </entry>
 256         <entry><xref linkend="querymodel-zebra-attr-scan"/></entry>
 257        </row>
 258        <row>
 259         <entry>Drill-down or refine-search</entry>
 260         <entry>partially</entry>
 261         <entry>scanning in result sets can be used to implement
 262          drill-down in search clients</entry>
 263         <entry><xref linkend="querymodel-zebra-attr-scan"/></entry>
 264        </row>
 265       </tbody>
 266      </tgroup>
 267     </table>
 268    </section>
 269
 270    <section id="features-presentation">
 271     <title>&zebra; Document Presentation</title>
 272
 273     <table id="table-features-presentation" frame="top">
 274      <title>&zebra; document presentation</title>
 275      <tgroup cols="4">
 276       <colspec colwidth="1*" colname="feature"/>
 277       <colspec colwidth="1*" colname="availability"/>
 278       <colspec colwidth="3*" colname="notes"/>
 279       <colspec colwidth="2*" colname="references"/>
 280       <thead>
 281        <row>
 282         <entry>Feature</entry>
 283         <entry>Availability</entry>
 284         <entry>Notes</entry>
 285         <entry>Reference</entry>
 286        </row>
 287       </thead>
 288       <tbody>
 289        <row>
 290         <entry>Hit count</entry>
 291         <entry>yes</entry>
 292         <entry>Search results include at any time the total hit count of a given
 293          query, either exact computed, or approximative, in case that the
 294          hit count exceeds a possible pre-defined hit set truncation
 295          level.</entry>
 296         <entry>
 297          <xref linkend="querymodel-zebra-local-attr-limit"/> and
 298          <xref linkend="zebra-cfg"/>
 299         </entry>
 300        </row>
 301        <row>
 302         <entry>Paged result sets</entry>
 303         <entry>yes</entry>
 304         <entry>Paging of search requests and present/display request
 305          can return any successive number of records from any start
 306          position in the hit set, i.e. it is trivial to provide search
 307          results in successive pages of any size.</entry>
 308         <entry></entry>
 309        </row>
 310        <row>
 311         <entry>&acro.xml; document transformations</entry>
 312         <entry>&acro.xslt; based</entry>
 313         <entry> Record presentation can be performed in many
 314          pre-defined &acro.xml; data
 315          formats, where the original &acro.xml; records are on-the-fly transformed
 316          through any preconfigured &acro.xslt; transformation. It is therefore
 317          trivial to present records in short/full &acro.xml; views, transforming to
 318          RSS, Dublin Core, or other &acro.xml; based data formats, or transform
 319          records to XHTML snippets ready for inserting in XHTML pages.</entry>
 320         <entry>
 321          <xref linkend="record-model-alvisxslt-elementset"/></entry>
 322        </row>
 323        <row>
 324         <entry>Binary record transformations</entry>
 325         <entry>&acro.marc;, &acro.usmarc;, &acro.marc21; and &acro.marcxml;</entry>
 326         <entry>post-filter record transformations</entry>
 327         <entry></entry>
 328        </row>
 329        <row>
 330         <entry>Record Syntaxes</entry>
 331         <entry></entry>
 332         <entry> Multiple record syntaxes
 333          for data retrieval: &acro.grs1;, &acro.sutrs;,
 334          &acro.xml;, ISO2709 (&acro.marc;), etc. Records can be mapped between
 335          record syntaxes and schemas on the fly.</entry>
 336         <entry></entry>
 337        </row>
 338        <row>
 339         <entry>&zebra; internal metadata</entry>
 340         <entry>yes</entry>
 341         <entry> &zebra; internal document metadata can be fetched in
 342          &acro.sutrs; and &acro.xml; record syntaxes. Those are useful in client
 343          applications.</entry>
 344         <entry><xref linkend="special-retrieval"/></entry>
 345        </row>
 346        <row>
 347         <entry>&zebra; internal raw record data</entry>
 348         <entry>yes</entry>
 349         <entry> &zebra; internal raw, binary record data can be fetched in
 350          &acro.sutrs; and &acro.xml; record syntaxes, leveraging %zebra; to a
 351          binary storage system</entry>
 352         <entry><xref linkend="special-retrieval"/></entry>
 353        </row>
 354        <row>
 355         <entry>&zebra; internal record field data</entry>
 356         <entry>yes</entry>
 357         <entry> &zebra; internal record field data can be fetched in
 358          &acro.sutrs; and &acro.xml; record syntaxes. This makes very fast minimal
 359          record data displays possible.</entry>
 360         <entry><xref linkend="special-retrieval"/></entry>
 361        </row>
 362       </tbody>
 363      </tgroup>
 364     </table>
 365    </section>
 366
 367    <section id="features-sort-rank">
 368     <title>&zebra; Sorting and Ranking</title>
 369
 370     <table id="table-features-sort-rank" frame="top">
 371      <title>&zebra; sorting and ranking</title>
 372      <tgroup cols="4">
 373       <colspec colwidth="1*" colname="feature"/>
 374       <colspec colwidth="1*" colname="availability"/>
 375       <colspec colwidth="3*" colname="notes"/>
 376       <colspec colwidth="2*" colname="references"/>
 377       <thead>
 378        <row>
 379         <entry>Feature</entry>
 380         <entry>Availability</entry>
 381         <entry>Notes</entry>
 382         <entry>Reference</entry>
 383        </row>
 384       </thead>
 385       <tbody>
 386        <row>
 387         <entry>Sort</entry>
 388         <entry>numeric, lexicographic</entry>
 389         <entry>Sorting on the basis of alpha-numeric and numeric data
 390          is supported. Alphanumeric sorts can be configured for
 391          different data encodings and locales for European languages.</entry>
 392         <entry><xref linkend="administration-ranking-sorting"/> and
 393          <xref linkend="querymodel-zebra-attr-sorting"/></entry>
 394        </row>
 395        <row>
 396         <entry>Combined sorting</entry>
 397         <entry>yes</entry>
 398         <entry>Sorting on the basis of combined sorts  e.g. combinations of
 399          ascending/descending sorts of lexicographical/numeric/date field data
 400          is supported</entry>
 401         <entry><xref linkend="administration-ranking-sorting"/></entry>
 402        </row>
 403        <row>
 404         <entry>Relevance ranking</entry>
 405         <entry>TF-IDF like</entry>
 406         <entry>Relevance-ranking of free-text queries is supported
 407          using a TF-IDF like algorithm.</entry>
 408         <entry><xref linkend="administration-ranking-dynamic"/></entry>
 409        </row>
 410        <row>
 411         <entry>Static pre-ranking</entry>
 412         <entry>yes</entry>
 413         <entry>Enables pre-index time ranking of documents where hit
 414          lists are ordered first by ascending static rank, then by
 415          ascending document ID.</entry>
 416         <entry><xref linkend="administration-ranking-static"/></entry>
 417        </row>
 418       </tbody>
 419      </tgroup>
 420     </table>
 421    </section>
 422
 423
 424    <section id="features-updates">
 425     <title>&zebra; Live Updates</title>
 426
 427
 428     <table id="table-features-updates" frame="top">
 429      <title>&zebra; live updates</title>
 430      <tgroup cols="4">
 431       <colspec colwidth="1*" colname="feature"/>
 432       <colspec colwidth="1*" colname="availability"/>
 433       <colspec colwidth="3*" colname="notes"/>
 434       <colspec colwidth="2*" colname="references"/>
 435       <thead>
 436        <row>
 437         <entry>Feature</entry>
 438         <entry>Availability</entry>
 439         <entry>Notes</entry>
 440         <entry>Reference</entry>
 441        </row>
 442       </thead>
 443       <tbody>
 444        <row>
 445         <entry>Incremental and batch updates</entry>
 446         <entry></entry>
 447         <entry>It is possible to schedule record inserts/updates/deletes in any
 448          quantity, from single individual handled records to batch updates
 449          in strikes of any size, as well as total re-indexing of all records
 450          from file system. </entry>
 451         <entry><xref linkend="zebraidx"/></entry>
 452        </row>
 453        <row>
 454         <entry>Remote updates</entry>
 455         <entry>&acro.z3950; extended services</entry>
 456         <entry>Updates can be performed from remote locations using the
 457          &acro.z3950; extended services. Access to extended services can be
 458          login-password protected.</entry>
 459         <entry><xref linkend="administration-extended-services"/> and
 460          <xref linkend="zebra-cfg"/></entry>
 461        </row>
 462        <row>
 463         <entry>Live updates</entry>
 464         <entry>transaction based</entry>
 465         <entry> Data updates are transaction based and can be performed
 466          on running  &zebra; systems.  Full searchability is preserved
 467          during life data update due to use  of shadow disk areas for
 468          update operations. Multiple update transactions at the same
 469          time are lined up, to be performed one after each other. Data
 470          integrity is preserved.</entry>
 471         <entry><xref linkend="shadow-registers"/></entry>
 472        </row>
 473       </tbody>
 474      </tgroup>
 475     </table>
 476    </section>
 477
 478    <section id="features-protocol">
 479     <title>&zebra; Networked Protocols</title>
 480
 481     <table id="table-features-protocol" frame="top">
 482      <title>&zebra; networked protocols</title>
 483      <tgroup cols="4">
 484       <colspec colwidth="1*" colname="feature"/>
 485       <colspec colwidth="1*" colname="availability"/>
 486       <colspec colwidth="3*" colname="notes"/>
 487       <colspec colwidth="2*" colname="references"/>
 488       <thead>
 489        <row>
 490         <entry>Feature</entry>
 491         <entry>Availability</entry>
 492         <entry>Notes</entry>
 493         <entry>Reference</entry>
 494        </row>
 495       </thead>
 496       <tbody>
 497        <row>
 498         <entry>Fundamental operations</entry>
 499         <entry>&acro.z3950;/&acro.sru; <literal>explain</literal>,
 500          <literal>search</literal>, <literal>scan</literal>, and
 501          <literal>update</literal></entry>
 502         <entry></entry>
 503         <entry><xref linkend="querymodel-operation-types"/></entry>
 504        </row>
 505        <row>
 506         <entry>&acro.z3950; protocol support</entry>
 507         <entry>yes</entry>
 508         <entry> Protocol facilities supported are:
 509          <literal>init</literal>, <literal>search</literal>,
 510          <literal>present</literal> (retrieval),
 511          Segmentation (support for very large records),
 512          <literal>delete</literal>, <literal>scan</literal>
 513          (index browsing), <literal>sort</literal>,
 514          <literal>close</literal> and support for the <literal>update</literal>
 515          Extended Service to add or replace an existing &acro.xml;
 516          record. Piggy-backed presents are honored in the search
 517          request. Named result sets are supported.</entry>
 518         <entry><xref linkend="protocol-support"/></entry>
 519        </row>
 520        <row>
 521         <entry>Web Service support</entry>
 522         <entry>&acro.sru;</entry>
 523         <entry> The protocol operations <literal>explain</literal>,
 524          <literal>searchRetrieve</literal> and <literal>scan</literal>
 525          are supported. <ulink url="&url.cql;">&acro.cql;</ulink> to internal
 526          query model &acro.rpn;
 527          conversion is supported. Extended RPN queries
 528          for search/retrieve and scan are supported.</entry>
 529         <entry><xref linkend="zebrasrv-sru-support"/></entry>
 530        </row>
 531       </tbody>
 532      </tgroup>
 533     </table>
 534    </section>
 535
 536    <section id="features-scalability">
 537     <title>&zebra; Data Size and Scalability</title>
 538
 539     <table id="table-features-scalability" frame="top">
 540      <title>&zebra; data size and scalability</title>
 541      <tgroup cols="4">
 542       <colspec colwidth="1*" colname="feature"/>
 543       <colspec colwidth="1*" colname="availability"/>
 544       <colspec colwidth="3*" colname="notes"/>
 545       <colspec colwidth="2*" colname="references"/>
 546       <thead>
 547        <row>
 548         <entry>Feature</entry>
 549         <entry>Availability</entry>
 550         <entry>Notes</entry>
 551         <entry>Reference</entry>
 552        </row>
 553       </thead>
 554       <tbody>
 555        <row>
 556         <entry>No of records</entry>
 557         <entry>40-60 million</entry>
 558         <entry></entry>
 559         <entry></entry>
 560        </row>
 561        <row>
 562         <entry>Data size</entry>
 563         <entry>100 GB of record data</entry>
 564         <entry>&zebra; based applications have successfully indexed up
 565          to 100 GB of record data</entry>
 566         <entry></entry>
 567        </row>
 568        <row>
 569         <entry>Scale out</entry>
 570         <entry>multiple discs</entry>
 571         <entry></entry>
 572         <entry></entry>
 573        </row>
 574        <row>
 575         <entry>Performance</entry>
 576         <entry><literal>O(n * log N)</literal></entry>
 577         <entry> &zebra; query speed and performance is affected roughly by
 578          <literal>O(log N)</literal>,
 579          where <literal>N</literal> is the total database size, and by
 580          <literal>O(n)</literal>, where <literal>n</literal> is the
 581          specific query hit set size.</entry>
 582         <entry></entry>
 583        </row>
 584        <row>
 585         <entry>Average search times</entry>
 586         <entry></entry>
 587         <entry> Even on very large size databases hit rates of 20 queries per
 588          seconds with average query answering time of 1 second are possible,
 589          provided that the boolean queries are constructed sufficiently
 590          precise to result in hit sets of the order of 1000 to 5.000
 591          documents.</entry>
 592         <entry></entry>
 593        </row>
 594        <row>
 595         <entry>Large databases</entry>
 596         <entry>64 bit file pointers</entry>
 597         <entry>64 file pointers assure that register files can extend
 598          the 2 GB limit. Logical files can be
 599          automatically partitioned over multiple disks, thus allowing for
 600          large databases.</entry>
 601         <entry></entry>
 602        </row>
 603       </tbody>
 604      </tgroup>
 605     </table>
 606    </section>
 607
 608    <section id="features-platforms">
 609     <title>&zebra; Supported Platforms</title>
 610
 611     <table id="table-features-platforms" frame="top">
 612      <title>&zebra; supported platforms</title>
 613      <tgroup cols="4">
 614       <colspec colwidth="1*" colname="feature"/>
 615       <colspec colwidth="1*" colname="availability"/>
 616       <colspec colwidth="3*" colname="notes"/>
 617       <colspec colwidth="2*" colname="references"/>
 618       <thead>
 619        <row>
 620         <entry>Feature</entry>
 621         <entry>Availability</entry>
 622         <entry>Notes</entry>
 623         <entry>Reference</entry>
 624        </row>
 625       </thead>
 626       <tbody>
 627        <row>
 628         <entry>Linux</entry>
 629         <entry></entry>
 630         <entry>GNU Linux (32 and 64bit), journaling Reiser or (better)
 631          JFS file system
 632          on disks. NFS file systems are not supported.
 633          GNU/Debian Linux packages are available</entry>
 634         <entry><xref linkend="installation-debian"/></entry>
 635        </row>
 636        <row>
 637         <entry>Unix</entry>
 638         <entry>tar-ball</entry>
 639         <entry>&zebra; is written in portable C, so it runs on most
 640          Unix-like systems.
 641          Usual tar-ball install possible on many major Unix systems</entry>
 642         <entry><xref linkend="installation-unix"/></entry>
 643        </row>
 644        <row>
 645         <entry>Windows</entry>
 646         <entry>NT/2000/2003/XP</entry>
 647         <entry>&zebra; runs as well on Windows (NT/2000/2003/XP).
 648          Windows installer packages available</entry>
 649         <entry><xref linkend="installation-win32"/></entry>
 650        </row>
 651       </tbody>
 652      </tgroup>
 653     </table>
 654    </section>
 655
 656
 657   </section>
 658
 659   <section id="introduction-apps">
 660    <title>References and &zebra; based Applications</title>
 661    <para>
 662     &zebra; has been deployed in numerous applications, in both the
 663     academic and commercial worlds, in application domains as diverse
 664     as bibliographic catalogues, Geo-spatial information, structured
 665     vocabulary browsing, government information locators, civic
 666     information systems, environmental observations, museum information
 667     and web indexes.
 668    </para>
 669    <para>
 670     Notable applications include the following:
 671    </para>
 672
 673
 674    <section id="koha-ils">
 675     <title>Koha free open-source ILS</title>
 676     <para>
 677      <ulink url="http://www.koha.org/">Koha</ulink> is a full-featured
 678      open-source ILS, initially developed  in
 679      New Zealand by Katipo Communications Ltd, and first deployed in
 680      January of 2000 for Horowhenua Library Trust. It is currently
 681      maintained by a team of software providers and library technology
 682      staff from around the globe.
 683     </para>
 684     <para>
 685      <ulink url="http://liblime.com/">LibLime</ulink>,
 686      a company that is marketing and supporting Koha, adds in
 687      the new release of Koha 3.0 the &zebra;
 688      database server to drive its bibliographic database.
 689     </para>
 690     <para>
 691      In early 2005, the Koha project development team began looking at
 692      ways to improve &acro.marc; support and overcome scalability limitations
 693      in the Koha 2.x series. After extensive evaluations of the best
 694      of the Open Source textual database engines - including MySQL
 695      full-text searching, PostgreSQL, Lucene and Plucene - the team
 696      selected &zebra;.
 697     </para>
 698     <para>
 699      "&zebra; completely eliminates scalability limitations, because it
 700      can support tens of millions of records." explained Joshua
 701      Ferraro, LibLime's Technology President and Koha's Project
 702      Release Manager. "Our performance tests showed search results in
 703      under a second for databases with over 5 million records on a
 704      modest i386 900Mhz test server."
 705     </para>
 706     <para>
 707      "&zebra; also includes support for true boolean search expressions
 708      and relevance-ranked free-text queries, both of which the Koha
 709      2.x series lack. &zebra; also supports incremental and safe
 710      database updates, which allow on-the-fly record
 711      management. Finally, since &zebra; has at its heart the &acro.z3950;
 712      protocol, it greatly improves Koha's support for that critical
 713      library standard."
 714     </para>
 715     <para>
 716      Although the bibliographic database will be moved to &zebra;, Koha
 717      3.0 will continue to use a relational SQL-based database design
 718      for the 'factual' database. "Relational database managers have
 719      their strengths, in spite of their inability to handle large
 720      numbers of bibliographic records efficiently," summed up Ferraro,
 721      "We're taking the best from both worlds in our redesigned Koha
 722      3.0.
 723     </para>
 724     <para>
 725      See also LibLime's newsletter article
 726      <ulink url="http://www.liblime.com/newsletter/2006/01/features/koha-earns-its-stripes/">
 727       Koha Earns its Stripes</ulink>.
 728     </para>
 729    </section>
 730
 731
 732    <section id="kete-dom">
 733     <title>Kete Open Source Digital Library and Archiving software</title>
 734     <para>
 735      <ulink url="http://kete.net.nz/">Kete</ulink> is a digital object
 736      management repository, initially developed  in
 737      New Zealand. Initial development has
 738      been a partnership between the Horowhenua Library Trust and
 739      Katipo Communications Ltd. funded as part of the Community
 740      Partnership Fund in 2006.
 741      Kete is purpose built
 742      software to enable communities to build their own digital
 743      libraries, archives and repositories.
 744     </para>
 745     <para>
 746      It is based on Ruby-on-Rails and MySQL, and integrates  the &zebra; server
 747      and the &yaz; toolkit for indexing and retrieval of it's content.
 748      Zebra is run as separate computer process from the Kete
 749      application.
 750      See
 751      how Kete <ulink
 752       url="http://kete.net.nz/documentation/topics/show/139-managing-zebra">manages
 753       Zebra.</ulink>
 754     </para>
 755     <para>
 756      Why does Kete wants to use Zebra?? Speed, Scalability and easy
 757      integration with Koha. Read their
 758      <ulink
 759       url="http://kete.net.nz/blog/topics/show/44-who-what-why-when-answering-some-of-the-niggly-development-questions">detailed
 760       reasoning here.</ulink>
 761     </para>
 762    </section>
 763
 764    <section id="reindex-ils">
 765     <title>ReIndex.Net web based ILS</title>
 766     <para>
 767      <ulink url="http://www.reindex.net/index.php?lang=en">Reindex.net</ulink>
 768      is a netbased library service offering all
 769      traditional functions on a very high level plus many new
 770      services. Reindex.net is a comprehensive and powerful WEB system
 771      based on standards such as &acro.xml; and &acro.z3950;.
 772      updates. Reindex supports &acro.marc21;, dan&acro.marc; eller Dublin Core with
 773      UTF8-encoding.
 774     </para>
 775     <para>
 776      Reindex.net runs on GNU/Debian Linux with &zebra; and Simpleserver
 777      from Index
 778      Data for bibliographic data. The relational database system
 779      Sybase 9 &acro.xml; is used for
 780      administrative data.
 781      Internally &acro.marcxml; is used for bibliographical records. Update
 782      utilizes &acro.z3950; extended services.
 783     </para>
 784    </section>
 785
 786    <section id="dads-article-database">
 787     <title>DADS - the DTV Article Database
 788      Service</title>
 789     <para>
 790      DADS is a huge database of more than ten million records, totalling
 791      over ten gigabytes of data.  The records are metadata about academic
 792      journal articles, primarily scientific; about 10% of these
 793      metadata records link to the full text of the articles they
 794      describe, a body of about a terabyte of information (although the
 795      full text is not indexed.)
 796     </para>
 797     <para>
 798      It allows students and researchers at DTU (Danmarks Tekniske
 799      Universitet, the Technical College of Denmark) to find and order
 800      articles from multiple databases in a single query.  The database
 801      contains literature on all engineering subjects.  It's available
 802      on-line through a web gateway, though currently only to registered
 803      users.
 804     </para>
 805     <para>
 806      More information can be found at
 807      <ulink url="http://www.dtic.dtu.dk/"/> and
 808       <ulink url="http://dads.dtv.dk"/>
 809     </para>
 810    </section>
 811
 812    <section id="uls">
 813     <title>ULS (Union List of Serials)</title>
 814     <para>
 815      The M25 Systems Team
 816      has created a union catalogue for the periodicals of the
 817      twenty-one constituent libraries of the University of London and
 818      the University of Westminster
 819      (<ulink url="http://www.m25lib.ac.uk/ULS/"/>).
 820       They have achieved this using an
 821       unusual architecture, which they describe as a
 822       ``non-distributed virtual union catalogue''.
 823     </para>
 824     <para>
 825      The member libraries send in data files representing their
 826      periodicals, including both brief bibliographic data and summary
 827      holdings.  Then 21 individual &acro.z3950; targets are created, each
 828      using &zebra;, and all mounted on the single hardware server.
 829      The live service provides a web gateway allowing &acro.z3950; searching
 830      of all of the targets or a selection of them.  &zebra;'s small
 831      footprint allows a relatively modest system to comfortably host
 832      the 21 servers.
 833     </para>
 834     <para>
 835      More information can be found at
 836      <ulink url="http://www.m25lib.ac.uk/ULS/"/>
 837     </para>
 838    </section>
 839
 840    <section id="various-web-indexes">
 841     <title>Various web indexes</title>
 842     <para>
 843      &zebra; has been used by a variety of institutions to construct
 844      indexes of large web sites, typically in the region of tens of
 845      millions of pages.  In this role, it functions somewhat similarly
 846      to the engine of Google or AltaVista, but for a selected intranet
 847      or a subset of the whole Web.
 848     </para>
 849     <para>
 850      For example, Liverpool University's web-search facility (see on
 851      the home page at
 852      <ulink url="http://www.liv.ac.uk/"/>
 853       and many sub-pages) works by relevance-searching a &zebra; database
 854       which is populated by the Harvest-NG web-crawling software.
 855     </para>
 856     <para>
 857      For more information on Liverpool university's intranet search
 858      architecture, contact John Gilbertson
 859      <email>jgilbert@liverpool.ac.uk</email>
 860     </para>
 861     <para>
 862      Kang-Jin Lee
 863      has recently modified the Harvest web indexer to use &zebra; as
 864      its native repository engine.  His comments on the switch over
 865      from the old engine are revealing:
 866      <blockquote>
 867       <para>
 868        The first results after some testing with &zebra; are very
 869        promising.  The tests were done with around 220,000 SOIF files,
 870        which occupies 1.6GB of disk space.
 871       </para>
 872       <para>
 873        Building the index from scratch takes around one hour with &zebra;
 874        where [old-engine] needs around five hours.  While [old-engine]
 875        blocks search requests when updating its index, &zebra; can still
 876        answer search requests.
 877        [...]
 878        &zebra; supports incremental indexing which will speed up indexing
 879        even further.
 880       </para>
 881       <para>
 882        While the search time of [old-engine] varies from some seconds
 883        to some minutes depending how expensive the query is, &zebra;
 884        usually takes around one to three seconds, even for expensive
 885        queries.
 886        [...]
 887        &zebra; can search more than 100 times faster than [old-engine]
 888        and can process multiple search requests simultaneously
 889       </para>
 890       <para>
 891        I am very happy to see such nice software available under GPL.
 892       </para>
 893      </blockquote>
 894     </para>
 895    </section>
 896   </section>
 897
 898   <section id="introduction-support">
 899    <title>Support</title>
 900    <para>
 901     You can get support for &zebra; from at least three sources.
 902    </para>
 903    <para>
 904     First, there's the &zebra; web site at
 905     <ulink url="&url.idzebra;"/>,
 906      which always has the most recent version available for download.
 907      If you have a problem with &zebra;, the first thing to do is see
 908      whether it's fixed in the current release.
 909    </para>
 910    <para>
 911     Second, there's the &zebra; mailing list.  Its home page at
 912     <ulink url="&url.idzebra.mailinglist;"/>
 913      includes a complete archive of all messages that have ever been
 914      posted on the list.  The &zebra; mailing list is used both for
 915      announcements from the authors (new
 916      releases, bug fixes, etc.) and general discussion.  You are welcome
 917      to seek support there.  Join by filling the form on the list home page.
 918    </para>
 919   </section>
 920  </chapter>
 921  <!-- Keep this comment at the end of the file
 922  Local variables:
 923  mode: sgml
 924  sgml-omittag:t
 925  sgml-shorttag:t
 926  sgml-minimize-attributes:nil
 927  sgml-always-quote-attributes:t
 928  sgml-indent-step:1
 929  sgml-indent-data:t
 930  sgml-parent-document: "idzebra.xml"
 931  sgml-local-catalogs: nil
 932  sgml-namecase-general:t
 933  End:
 934  -->