Rolling commit. There's a little more prose in the developing
[idzebra-moved-to-github.git] / doc / administration.xml
1 <chapter id="administration">
2  <!-- $Id: administration.xml,v 1.9 2002-10-17 08:10:08 mike Exp $ -->
3  <title>Administrating Zebra</title>
4  <!-- ### It's a bit daft that this chapter (which describes half of
5           the configuration-file formats) is separated from
6           "recordmodel.xml" (which describes the other half) by the
7           instructions on running zebraidx and zebrasrv.  Some careful
8           re-ordering is required here.
9  -->
10
11  <para>
12   Unlike many simpler retrieval systems, Zebra supports safe, incremental
13   updates to an existing index.
14  </para>
15  
16  <para>
17   Normally, when Zebra modifies the index it reads a number of records
18   that you specify.
19   Depending on your specifications and on the contents of each record
20   one the following events take place for each record:
21   <variablelist>
22    
23    <varlistentry>
24     <term>Insert</term>
25     <listitem>
26      <para>
27       The record is indexed as if it never occurred before.
28       Either the Zebra system doesn't know how to identify the record or
29       Zebra can identify the record but didn't find it to be already indexed.
30      </para>
31     </listitem>
32    </varlistentry>
33    <varlistentry>
34     <term>Modify</term>
35     <listitem>
36      <para>
37       The record has already been indexed.
38       In this case either the contents of the record or the location
39       (file) of the record indicates that it has been indexed before.
40      </para>
41     </listitem>
42    </varlistentry>
43    <varlistentry>
44     <term>Delete</term>
45     <listitem>
46      <para>
47       The record is deleted from the index. As in the
48       update-case it must be able to identify the record.
49      </para>
50     </listitem>
51    </varlistentry>
52   </variablelist>
53  </para>
54  
55  <para>
56   Please note that in both the modify- and delete- case the Zebra
57   indexer must be able to generate a unique key that identifies the record 
58   in question (more on this below).
59  </para>
60  
61  <para>
62   To administrate the Zebra retrieval system, you run the
63   <literal>zebraidx</literal> program.
64   This program supports a number of options which are preceded by a dash,
65   and a few commands (not preceded by dash).
66 </para>
67  
68  <para>
69   Both the Zebra administrative tool and the Z39.50 server share a
70   set of index files and a global configuration file.
71   The name of the configuration file defaults to
72   <literal>zebra.cfg</literal>.
73   The configuration file includes specifications on how to index
74   various kinds of records and where the other configuration files
75   are located. <literal>zebrasrv</literal> and <literal>zebraidx</literal>
76   <emphasis>must</emphasis> be run in the directory where the
77   configuration file lives unless you indicate the location of the 
78   configuration file by option <literal>-c</literal>.
79  </para>
80  
81  <sect1 id="record-types">
82   <title>Record Types</title>
83   
84   <para>
85    Indexing is a per-record process, in which either insert/modify/delete
86    will occur. Before a record is indexed search keys are extracted from
87    whatever might be the layout the original record (sgml,html,text, etc..).
88    The Zebra system currently supports two fundamental types of records:
89    structured and simple text.
90    To specify a particular extraction process, use either the
91    command line option <literal>-t</literal> or specify a
92    <literal>recordType</literal> setting in the configuration file.
93   </para>
94   
95  </sect1>
96  
97  <sect1 id="configuration-file">
98   <title>The Zebra Configuration File</title>
99   
100   <para>
101    The Zebra configuration file, read by <literal>zebraidx</literal> and
102    <literal>zebrasrv</literal> defaults to <literal>zebra.cfg</literal>
103    unless specified by <literal>-c</literal> option.
104   </para>
105   
106   <para>
107    You can edit the configuration file with a normal text editor.
108    parameter names and values are separated by colons in the file. Lines
109    starting with a hash sign (<literal>&num;</literal>) are
110    treated as comments.
111   </para>
112   
113   <para>
114    If you manage different sets of records that share common
115    characteristics, you can organize the configuration settings for each
116    type into "groups".
117    When <literal>zebraidx</literal> is run and you wish to address a
118    given group you specify the group name with the <literal>-g</literal>
119    option.
120    In this case settings that have the group name as their prefix 
121    will be used by <literal>zebraidx</literal>.
122    If no <literal>-g</literal> option is specified, the settings
123    without prefix are used.
124   </para>
125   
126   <para>
127    In the configuration file, the group name is placed before the option
128    name itself, separated by a dot (.). For instance, to set the record type
129    for group <literal>public</literal> to <literal>grs.sgml</literal>
130    (the SGML-like format for structured records) you would write:
131   </para>
132   
133   <para>
134    <screen>
135     public.recordType: grs.sgml
136    </screen>   
137   </para>
138   
139   <para>
140    To set the default value of the record type to <literal>text</literal>
141    write:
142   </para>
143   
144   <para>
145    <screen>
146     recordType: text
147    </screen>
148   </para>
149   
150   <para>
151    The available configuration settings are summarized below. They will be
152    explained further in the following sections.
153   </para>
154   
155   <!--
156    FIXME - Didn't Adam make something to have multiple databases in multiple dirs...
157   -->
158   
159   <para>
160    <variablelist>
161     
162     <varlistentry>
163      <term>
164       <emphasis>group</emphasis>
165       .recordType&lsqb;<emphasis>.name</emphasis>&rsqb;:
166       <replaceable>type</replaceable>
167      </term>
168      <listitem>
169       <para>
170        Specifies how records with the file extension
171        <emphasis>name</emphasis> should be handled by the indexer.
172        This option may also be specified as a command line option
173        (<literal>-t</literal>). Note that if you do not specify a
174        <emphasis>name</emphasis>, the setting applies to all files.
175        In general, the record type specifier consists of the elements (each
176        element separated by dot), <emphasis>fundamental-type</emphasis>,
177        <emphasis>file-read-type</emphasis> and arguments. Currently, two
178        fundamental types exist, <literal>text</literal> and
179        <literal>grs</literal>.
180       </para>
181      </listitem>
182     </varlistentry>
183     <varlistentry>
184      <term><emphasis>group</emphasis>.recordId: 
185      <replaceable>record-id-spec</replaceable></term>
186      <listitem>
187       <para>
188        Specifies how the records are to be identified when updated. See
189        <xref linkend="locating-records"/>.
190       </para>
191      </listitem>
192     </varlistentry>
193     <varlistentry>
194      <term><emphasis>group</emphasis>.database:
195      <replaceable>database</replaceable></term>
196      <listitem>
197       <para>
198        Specifies the Z39.50 database name.
199        <!-- FIXME - now we can have multiple databases in one server. -H -->
200       </para>
201      </listitem>
202     </varlistentry>
203     <varlistentry>
204      <term><emphasis>group</emphasis>.storeKeys:
205      <replaceable>boolean</replaceable></term>
206      <listitem>
207       <para>
208        Specifies whether key information should be saved for a given
209        group of records. If you plan to update/delete this type of
210        records later this should be specified as 1; otherwise it
211        should be 0 (default), to save register space.
212        <!-- ### this is the first mention of "register" -->
213        See <xref linkend="file-ids"/>.
214       </para>
215      </listitem>
216     </varlistentry>
217     <varlistentry>
218      <term><emphasis>group</emphasis>.storeData:
219       <replaceable>boolean</replaceable></term>
220      <listitem>
221       <para>
222        Specifies whether the records should be stored internally
223        in the Zebra system files.
224        If you want to maintain the raw records yourself,
225        this option should be false (0).
226        If you want Zebra to take care of the records for you, it
227        should be true(1).
228       </para>
229      </listitem>
230     </varlistentry>
231     <varlistentry>
232      <!-- ### probably a better place to define "register" -->
233      <term>register: <replaceable>register-location</replaceable></term>
234      <listitem>
235       <para>
236        Specifies the location of the various register files that Zebra uses
237        to represent your databases.
238        See <xref linkend="register-location"/>.
239       </para>
240      </listitem>
241     </varlistentry>
242     <varlistentry>
243      <term>shadow: <replaceable>register-location</replaceable></term>
244      <listitem>
245       <para>
246        Enables the <emphasis>safe update</emphasis> facility of Zebra, and
247        tells the system where to place the required, temporary files.
248        See <xref linkend="shadow-registers"/>.
249       </para>
250      </listitem>
251     </varlistentry>
252     <varlistentry>
253      <term>lockDir: <replaceable>directory</replaceable></term>
254      <listitem>
255       <para>
256        Directory in which various lock files are stored.
257       </para>
258      </listitem>
259     </varlistentry>
260     <varlistentry>
261      <term>keyTmpDir: <replaceable>directory</replaceable></term>
262      <listitem>
263       <para>
264        Directory in which temporary files used during zebraidx's update
265        phase are stored. 
266       </para>
267      </listitem>
268     </varlistentry>
269     <varlistentry>
270      <term>setTmpDir: <replaceable>directory</replaceable></term>
271      <listitem>
272       <para>
273        Specifies the directory that the server uses for temporary result sets.
274        If not specified <literal>/tmp</literal> will be used.
275       </para>
276      </listitem>
277     </varlistentry>
278     <varlistentry>
279      <term>profilePath: <literal>path</literal></term>
280      <listitem>
281       <para>
282        Specifies a path of profile specification files. 
283        The path is composed of one or more directories separated by
284        colon. Similar to PATH for UNIX systems.
285       </para>
286      </listitem>
287     </varlistentry>
288     <varlistentry>
289      <term>attset: <replaceable>filename</replaceable></term>
290      <listitem>
291       <para>
292        Specifies the filename(s) of attribute set files for use in
293        searching. At least the Bib-1 set should be loaded
294        (<literal>bib1.att</literal>).
295        The <literal>profilePath</literal> setting is used to look for
296        the specified files.
297        See <xref linkend="attset-files"/>
298       </para>
299      </listitem>
300     </varlistentry>
301     <varlistentry>
302      <term>memMax: <replaceable>size</replaceable></term>
303      <listitem>
304       <para>
305        Specifies <replaceable>size</replaceable> of internal memory
306        to use for the zebraidx program.
307        The amount is given in megabytes - default is 4 (4 MB).
308       </para>
309      </listitem>
310     </varlistentry>
311
312     <varlistentry>
313      <term>root: <replaceable>dir</replaceable></term>
314      <listitem>
315       <para>
316        Specifies a directory base for Zebra. All relative paths
317        given (in profilePath, register, shadow) are based on this
318        directory. This setting is useful if if you Zebra server
319        is running in a different directory from where
320        <literal>zebra.cfg</literal> is located.
321       </para>
322      </listitem>
323     </varlistentry>
324
325    </variablelist>
326   </para>
327   
328  </sect1>
329  
330  <sect1 id="locating-records">
331   <title>Locating Records</title>
332   
333   <para>
334    The default behavior of the Zebra system is to reference the
335    records from their original location, i.e. where they were found when you
336    ran <literal>zebraidx</literal>.
337    That is, when a client wishes to retrieve a record
338    following a search operation, the files are accessed from the place
339    where you originally put them - if you remove the files (without
340    running <literal>zebraidx</literal> again, the server will return
341    diagnostic number 14 (``System error in presenting records'') to
342    the client.
343   </para>
344   
345   <para>
346    If your input files are not permanent - for example if you retrieve
347    your records from an outside source, or if they were temporarily
348    mounted on a CD-ROM drive,
349    you may want Zebra to make an internal copy of them. To do this,
350    you specify 1 (true) in the <literal>storeData</literal> setting. When
351    the Z39.50 server retrieves the records they will be read from the
352    internal file structures of the system.
353   </para>
354   
355  </sect1>
356  
357  <sect1 id="simple-indexing">
358   <title>Indexing with no Record IDs (Simple Indexing)</title>
359   
360   <para>
361    If you have a set of records that are not expected to change over time
362    you may can build your database without record IDs.
363    This indexing method uses less space than the other methods and
364    is simple to use. 
365   </para>
366   
367   <para>
368    To use this method, you simply omit the <literal>recordId</literal> entry
369    for the group of files that you index. To add a set of records you use
370    <literal>zebraidx</literal> with the <literal>update</literal> command. The
371    <literal>update</literal> command will always add all of the records that it
372    encounters to the index - whether they have already been indexed or
373    not. If the set of indexed files change, you should delete all of the
374    index files, and build a new index from scratch.
375   </para>
376   
377   <para>
378    Consider a system in which you have a group of text files called
379    <literal>simple</literal>.
380    That group of records should belong to a Z39.50 database called
381    <literal>textbase</literal>.
382    The following <literal>zebra.cfg</literal> file will suffice:
383   </para>
384   <para>
385    
386    <screen>
387     profilePath: /usr/local/yaz
388     attset: bib1.att
389     simple.recordType: text
390     simple.database: textbase
391    </screen>
392
393   </para>
394   
395   <para>
396    Since the existing records in an index can not be addressed by their
397    IDs, it is impossible to delete or modify records when using this method.
398   </para>
399   
400  </sect1>
401  
402  <sect1 id="file-ids">
403   <title>Indexing with File Record IDs</title>
404   
405   <para>
406    If you have a set of files that regularly change over time: Old files
407    are deleted, new ones are added, or existing files are modified, you
408    can benefit from using the <emphasis>file ID</emphasis>
409    indexing methodology.
410    Examples of this type of database might include an index of WWW
411    resources, or a USENET news spool area.
412    Briefly speaking, the file key methodology uses the directory paths
413    of the individual records as a unique identifier for each record.
414    To perform indexing of a directory with file keys, again, you specify
415    the top-level directory after the <literal>update</literal> command.
416    The command will recursively traverse the directories and compare
417    each one with whatever have been indexed before in that same directory.
418    If a file is new (not in the previous version of the directory) it
419    is inserted into the registers; if a file was already indexed and
420    it has been modified since the last update, the index is also
421    modified; if a file has been removed since the last
422    visit, it is deleted from the index.
423   </para>
424   
425   <para>
426    The resulting system is easy to administrate. To delete a record you
427    simply have to delete the corresponding file (say, with the
428    <literal>rm</literal> command). And to add records you create new
429    files (or directories with files). For your changes to take effect
430    in the register you must run <literal>zebraidx update</literal> with
431    the same directory root again. This mode of operation requires more
432    disk space than simpler indexing methods, but it makes it easier for
433    you to keep the index in sync with a frequently changing set of data.
434    If you combine this system with the <emphasis>safe update</emphasis>
435    facility (see below), you never have to take your server off-line for
436    maintenance or register updating purposes.
437   </para>
438   
439   <para>
440    To enable indexing with pathname IDs, you must specify
441    <literal>file</literal> as the value of <literal>recordId</literal>
442    in the configuration file. In addition, you should set
443    <literal>storeKeys</literal> to <literal>1</literal>, since the Zebra
444    indexer must save additional information about the contents of each record
445    in order to modify the indexes correctly at a later time.
446   </para>
447   
448    <!--
449     FIXME - There must be a simpler way to do this with Adams string tags -H
450      -->
451
452   <para>
453    For example, to update records of group <literal>esdd</literal>
454    located below
455    <literal>/data1/records/</literal> you should type:
456    <screen>
457     $ zebraidx -g esdd update /data1/records
458    </screen>
459   </para>
460   
461   <para>
462    The corresponding configuration file includes:
463    <screen>
464     esdd.recordId: file
465     esdd.recordType: grs.sgml
466     esdd.storeKeys: 1
467    </screen>
468   </para>
469   
470   <note>
471    <para>You cannot start out with a group of records with simple
472     indexing (no record IDs as in the previous section) and then later
473     enable file record Ids. Zebra must know from the first time that you
474     index the group that
475     the files should be indexed with file record IDs.
476    </para>
477    </note>
478   
479   <para>
480    You cannot explicitly delete records when using this method (using the
481    <literal>delete</literal> command to <literal>zebraidx</literal>. Instead
482    you have to delete the files from the file system (or move them to a
483    different location)
484    and then run <literal>zebraidx</literal> with the
485    <literal>update</literal> command.
486   </para>
487 </sect1>
488  
489  <sect1 id="generic-ids">
490   <title>Indexing with General Record IDs</title>
491   
492   <para>
493    When using this method you construct an (almost) arbitrary, internal
494    record key based on the contents of the record itself and other system
495    information. If you have a group of records that explicitly associates
496    an ID with each record, this method is convenient. For example, the
497    record format may contain a title or a ID-number - unique within the group.
498    In either case you specify the Z39.50 attribute set and use-attribute
499    location in which this information is stored, and the system looks at
500    that field to determine the identity of the record.
501   </para>
502   
503   <para>
504    As before, the record ID is defined by the <literal>recordId</literal>
505    setting in the configuration file. The value of the record ID specification
506    consists of one or more tokens separated by whitespace. The resulting
507    ID is represented in the index by concatenating the tokens and
508    separating them by ASCII value (1).
509   </para>
510   
511   <para>
512    There are three kinds of tokens:
513    <variablelist>
514     
515     <varlistentry>
516      <term>Internal record info</term>
517      <listitem>
518       <para>
519        The token refers to a key that is
520        extracted from the record. The syntax of this token is
521        <literal>(</literal> <emphasis>set</emphasis> <literal>,</literal>
522        <emphasis>use</emphasis> <literal>)</literal>,
523        where <emphasis>set</emphasis> is the
524        attribute set name <emphasis>use</emphasis> is the
525        name or value of the attribute.
526       </para>
527      </listitem>
528     </varlistentry>
529     <varlistentry>
530      <term>System variable</term>
531      <listitem>
532       <para>
533        The system variables are preceded by
534        
535        <screen>
536         $
537        </screen>
538        and immediately followed by the system variable name, which
539        may one of
540        <variablelist>
541         
542         <varlistentry>
543          <term>group</term>
544          <listitem>
545           <para>
546            Group name.
547           </para>
548          </listitem>
549         </varlistentry>
550         <varlistentry>
551          <term>database</term>
552          <listitem>
553           <para>
554            Current database specified.
555           </para>
556          </listitem>
557         </varlistentry>
558         <varlistentry>
559          <term>type</term>
560          <listitem>
561           <para>
562            Record type.
563           </para>
564          </listitem>
565         </varlistentry>
566        </variablelist>
567       </para>
568      </listitem>
569     </varlistentry>
570     <varlistentry>
571      <term>Constant string</term>
572      <listitem>
573       <para>
574        A string used as part of the ID &mdash; surrounded
575        by single- or double quotes.
576       </para>
577      </listitem>
578     </varlistentry>
579    </variablelist>
580   </para>
581   
582   <para>
583    For instance, the sample GILS records that come with the Zebra
584    distribution contain a unique ID in the data tagged Control-Identifier.
585    The data is mapped to the Bib-1 use attribute Identifier-standard
586    (code 1007). To use this field as a record id, specify
587    <literal>(bib1,Identifier-standard)</literal> as the value of the
588    <literal>recordId</literal> in the configuration file.
589    If you have other record types that uses the same field for a
590    different purpose, you might add the record type
591    (or group or database name) to the record id of the gils
592    records as well, to prevent matches with other types of records.
593    In this case the recordId might be set like this:
594    
595    <screen>
596     gils.recordId: $type (bib1,Identifier-standard)
597    </screen>
598    
599   </para>
600   
601   <para>
602    (see <xref linkend="data-model"/>
603     for details of how the mapping between elements of your records and
604     searchable attributes is established).
605   </para>
606   
607   <para>
608    As for the file record ID case described in the previous section,
609    updating your system is simply a matter of running
610    <literal>zebraidx</literal>
611    with the <literal>update</literal> command. However, the update with general
612    keys is considerably slower than with file record IDs, since all files
613    visited must be (re)read to discover their IDs. 
614   </para>
615   
616   <para>
617    As you might expect, when using the general record IDs
618    method, you can only add or modify existing records with the
619    <literal>update</literal> command.
620    If you wish to delete records, you must use the,
621    <literal>delete</literal> command, with a directory as a parameter.
622    This will remove all records that match the files below that root
623    directory.
624   </para>
625   
626  </sect1>
627  
628  <sect1 id="register-location">
629   <title>Register Location</title>
630   
631   <para>
632    Normally, the index files that form dictionaries, inverted
633    files, record info, etc., are stored in the directory where you run
634    <literal>zebraidx</literal>. If you wish to store these, possibly large,
635    files somewhere else, you must add the <literal>register</literal>
636    entry to the <literal>zebra.cfg</literal> file.
637    Furthermore, the Zebra system allows its file
638    structures to span multiple file systems, which is useful for
639    managing very large databases. 
640   </para>
641   
642   <para>
643    The value of the <literal>register</literal> setting is a sequence
644    of tokens. Each token takes the form:
645    
646    <screen>
647     <emphasis>dir</emphasis><literal>:</literal><emphasis>size</emphasis>. 
648    </screen>
649    
650    The <emphasis>dir</emphasis> specifies a directory in which index files
651    will be stored and the <emphasis>size</emphasis> specifies the maximum
652    size of all files in that directory. The Zebra indexer system fills
653    each directory in the order specified and use the next specified
654    directories as needed.
655    The <emphasis>size</emphasis> is an integer followed by a qualifier
656    code, 
657    <literal>b</literal> for bytes,
658    <literal>k</literal> for kilobytes.
659    <literal>M</literal> for megabytes,
660    <literal>G</literal> for gigabytes.
661   </para>
662   
663   <para>
664    For instance, if you have allocated two disks for your register, and
665    the first disk is mounted
666    on <literal>/d1</literal> and has 2GB of free space and the
667    second, mounted on <literal>/d2</literal> has 3.6 GB, you could
668    put this entry in your configuration file:
669    
670    <screen>
671     register: /d1:2G /d2:3600M
672    </screen>
673    
674   </para>
675   
676   <para>
677    Note that Zebra does not verify that the amount of space specified is
678    actually available on the directory (file system) specified - it is
679    your responsibility to ensure that enough space is available, and that
680    other applications do not attempt to use the free space. In a large
681    production system, it is recommended that you allocate one or more
682    file system exclusively to the Zebra register files.
683   </para>
684   
685  </sect1>
686  
687  <sect1 id="shadow-registers">
688   <title>Safe Updating - Using Shadow Registers</title>
689   
690   <sect2>
691    <title>Description</title>
692    
693    <para>
694     The Zebra server supports <emphasis>updating</emphasis> of the index
695     structures. That is, you can add, modify, or remove records from
696     databases managed by Zebra without rebuilding the entire index.
697     Since this process involves modifying structured files with various
698     references between blocks of data in the files, the update process
699     is inherently sensitive to system crashes, or to process interruptions:
700     Anything but a successfully completed update process will leave the
701     register files in an unknown state, and you will essentially have no
702     recourse but to re-index everything, or to restore the register files
703     from a backup medium.
704     Further, while the update process is active, users cannot be
705     allowed to access the system, as the contents of the register files
706     may change unpredictably.
707    </para>
708    
709    <para>
710     You can solve these problems by enabling the shadow register system in
711     Zebra.
712     During the updating procedure, <literal>zebraidx</literal> will temporarily
713     write changes to the involved files in a set of "shadow
714     files", without modifying the files that are accessed by the
715     active server processes. If the update procedure is interrupted by a
716     system crash or a signal, you simply repeat the procedure - the
717     register files have not been changed or damaged, and the partially
718     written shadow files are automatically deleted before the new updating
719     procedure commences.
720    </para>
721    
722    <para>
723     At the end of the updating procedure (or in a separate operation, if
724     you so desire), the system enters a "commit mode". First,
725     any active server processes are forced to access those blocks that
726     have been changed from the shadow files rather than from the main
727     register files; the unmodified blocks are still accessed at their
728     normal location (the shadow files are not a complete copy of the
729     register files - they only contain those parts that have actually been
730     modified). If the commit process is interrupted at any point during the
731     commit process, the server processes will continue to access the
732     shadow files until you can repeat the commit procedure and complete
733     the writing of data to the main register files. You can perform
734     multiple update operations to the registers before you commit the
735     changes to the system files, or you can execute the commit operation
736     at the end of each update operation. When the commit phase has
737     completed successfully, any running server processes are instructed to
738     switch their operations to the new, operational register, and the
739     temporary shadow files are deleted.
740    </para>
741    
742   </sect2>
743   
744   <sect2>
745    <title>How to Use Shadow Register Files</title>
746    
747    <para>
748     The first step is to allocate space on your system for the shadow
749     files.
750     You do this by adding a <literal>shadow</literal> entry to the
751     <literal>zebra.cfg</literal> file.
752     The syntax of the <literal>shadow</literal> entry is exactly the
753     same as for the <literal>register</literal> entry
754     (see <xref linkend="register-location"/>).
755      The location of the shadow area should be
756      <emphasis>different</emphasis> from the location of the main register
757      area (if you have specified one - remember that if you provide no
758      <literal>register</literal> setting, the default register area is the
759      working directory of the server and indexing processes).
760    </para>
761    
762    <para>
763     The following excerpt from a <literal>zebra.cfg</literal> file shows
764     one example of a setup that configures both the main register
765     location and the shadow file area.
766     Note that two directories or partitions have been set aside
767     for the shadow file area. You can specify any number of directories
768     for each of the file areas, but remember that there should be no
769     overlaps between the directories used for the main registers and the
770     shadow files, respectively.
771    </para>
772    <para>
773     
774     <screen>
775      register: /d1:500M
776      
777      shadow: /scratch1:100M /scratch2:200M
778     </screen>
779     
780    </para>
781    
782    <para>
783     When shadow files are enabled, an extra command is available at the
784     <literal>zebraidx</literal> command line.
785     In order to make changes to the system take effect for the
786     users, you'll have to submit a "commit" command after a
787     (sequence of) update operation(s).
788    </para>
789    
790    <para>
791     
792     <screen>
793      $ zebraidx update /d1/records 
794      $ zebraidx commit
795     </screen>
796     
797    </para>
798    
799    <para>
800     Or you can execute multiple updates before committing the changes:
801    </para>
802    
803    <para>
804     
805     <screen>
806      $ zebraidx -g books update /d1/records  /d2/more-records
807      $ zebraidx -g fun update /d3/fun-records
808      $ zebraidx commit
809     </screen>
810     
811    </para>
812    
813    <para>
814     If one of the update operations above had been interrupted, the commit
815     operation on the last line would fail: <literal>zebraidx</literal>
816     will not let you commit changes that would destroy the running register.
817     You'll have to rerun all of the update operations since your last
818     commit operation, before you can commit the new changes.
819    </para>
820    
821    <para>
822     Similarly, if the commit operation fails, <literal>zebraidx</literal>
823     will not let you start a new update operation before you have
824     successfully repeated the commit operation.
825     The server processes will keep accessing the shadow files rather
826     than the (possibly damaged) blocks of the main register files
827     until the commit operation has successfully completed.
828    </para>
829    
830    <para>
831     You should be aware that update operations may take slightly longer
832     when the shadow register system is enabled, since more file access
833     operations are involved. Further, while the disk space required for
834     the shadow register data is modest for a small update operation, you
835     may prefer to disable the system if you are adding a very large number
836     of records to an already very large database (we use the terms
837     <emphasis>large</emphasis> and <emphasis>modest</emphasis>
838     very loosely here, since every application will have a
839     different perception of size).
840     To update the system without the use of the the shadow files,
841     simply run <literal>zebraidx</literal> with the <literal>-n</literal>
842     option (note that you do not have to execute the
843     <emphasis>commit</emphasis> command of <literal>zebraidx</literal>
844     when you temporarily disable the use of the shadow registers in
845     this fashion.
846     Note also that, just as when the shadow registers are not enabled,
847     server processes will be barred from accessing the main register
848     while the update procedure takes place.
849    </para>
850    
851   </sect2>
852   
853  </sect1>
854  
855 </chapter>
856  <!-- Keep this comment at the end of the file
857  Local variables:
858  mode: sgml
859  sgml-omittag:t
860  sgml-shorttag:t
861  sgml-minimize-attributes:nil
862  sgml-always-quote-attributes:t
863  sgml-indent-step:1
864  sgml-indent-data:t
865  sgml-parent-document: "zebra.xml"
866  sgml-local-catalogs: nil
867  sgml-namecase-general:t
868  End:
869  -->