c8bcad895131748571713eac4f38bfbdd543683d
[idzebra-moved-to-github.git] / include / idzebra / api.h
1 /* $Id: api.h,v 1.49 2007-05-08 12:50:04 adam Exp $
2    Copyright (C) 1995-2007
3    Index Data ApS
4
5 This file is part of the Zebra server.
6
7 Zebra is free software; you can redistribute it and/or modify it under
8 the terms of the GNU General Public License as published by the Free
9 Software Foundation; either version 2, or (at your option) any later
10 version.
11
12 Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
13 WARRANTY; without even the implied warranty of MERCHANTABILITY or
14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
15 for more details.
16
17 You should have received a copy of the GNU General Public License
18 along with this program; if not, write to the Free Software
19 Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
20
21 */
22
23 /** \file api.h
24     \brief Zebra API
25     
26     Return codes:
27     Most functions has return type ZEBRA_RES, where ZEBRA_FAIL indicates
28     failure; ZEBRA_OK indicates success.
29 */
30
31 #ifndef IDZEBRA_API_H
32 #define IDZEBRA_API_H
33
34 #include <yaz/odr.h>
35 #include <yaz/proto.h>
36 #include <idzebra/res.h>
37 #include <idzebra/version.h>
38 #include <idzebra/recctrl.h>
39
40 YAZ_BEGIN_CDECL
41
42 typedef struct {
43     zint processed;
44     zint inserted;
45     zint updated;
46     zint deleted;
47     long utime;
48     long stime;
49 } ZebraTransactionStatus;
50
51 /** Retrieval Record Descriptor */
52 typedef struct {
53     int errCode;         /* non-zero if error when fetching this */
54     char *errString;     /* error string */
55     int position;        /* position of record in result set (1,2,..) */
56     char *buf;           /* record buffer (void pointer really) */
57     int len;             /* length */
58     const Odr_oid *format; /* record syntax */
59     char *base; 
60     zint sysno;
61     int  score;
62 } ZebraRetrievalRecord;
63
64 /** Scan Term Descriptor */
65 typedef struct {
66     zint occurrences;    /* scan term occurrences */
67     char *term;          /* scan term string */
68 } ZebraScanEntry;
69
70 /** \var ZebraHandle
71     \brief a Zebra Handle - (session)
72 */
73 typedef struct zebra_session *ZebraHandle;
74
75 /** \var ZebraService
76     \brief a Zebra Service handle
77 */
78 typedef struct zebra_service *ZebraService;
79
80 /** \brief Creates a Zebra Service.
81     \param configName name of configuration file
82     
83     This function is a simplified version of zebra_start_res.
84 */
85 YAZ_EXPORT
86 ZebraService zebra_start(const char *configName
87     ) ZEBRA_GCC_ATTR((warn_unused_result));
88
89 /** \brief Creates a Zebra service with resources.
90     \param configName name of configuration file
91     \param def_res default resources
92     \param over_res overriding resources
93     
94     This function typically called once in a program. A Zebra Service
95     acts as a factory for Zebra session handles.
96 */
97 YAZ_EXPORT
98 ZebraService zebra_start_res(const char *configName,
99                              Res def_res, Res over_res
100     ) ZEBRA_GCC_ATTR((warn_unused_result));
101
102 /** \brief stops a Zebra service.
103     \param zs service handle
104     
105     Frees resources used by the service.
106 */
107 YAZ_EXPORT
108 ZEBRA_RES zebra_stop(ZebraService zs);
109
110 /** \brief Lists enabled Zebra filters
111     \param zs service handle
112     \param cd callback parameter (opaque)
113     \param cb callback function
114 */
115 YAZ_EXPORT
116 void zebra_filter_info(ZebraService zs, void *cd,
117                        void (*cb)(void *cd, const char *name));
118
119
120 /** \brief Creates a Zebra session handle within service.
121     \param zs service handle.
122     \param res resources to be used for the service (NULL for none)
123     
124     There should be one handle for each thread doing something
125     with zebra, be that searching or indexing. In simple apps 
126     one handle is sufficient 
127 */
128 YAZ_EXPORT
129 ZebraHandle zebra_open(ZebraService zs, Res res
130     ) ZEBRA_GCC_ATTR((warn_unused_result));
131
132 /** \brief Destroys Zebra session handle.
133     \param zh zebra session handle.
134  */
135 YAZ_EXPORT
136 ZEBRA_RES zebra_close(ZebraHandle zh);
137
138 /** \brief Returns error code for last error
139     \param zh zebra session handle.
140 */
141 YAZ_EXPORT
142 int zebra_errCode(ZebraHandle zh);
143
144 /** \brief Returns error string for last error
145     \param zh zebra session handle.
146 */
147 YAZ_EXPORT
148 const char *zebra_errString(ZebraHandle zh);
149
150 /** \brief Returns additional info for last error
151     \param zh zebra session handle.
152 */
153 YAZ_EXPORT
154 char *zebra_errAdd(ZebraHandle zh);
155
156 /** \brief Returns error code and additional info for last error
157     \param zh zebra session handle.
158     \param code pointer to returned error code
159     \param addinfo pointer to returned additional info
160 */
161 YAZ_EXPORT
162 void zebra_result(ZebraHandle zh, int *code, char **addinfo);
163
164 /** \brief Set limit before Zebra does approx hit count
165     \param zh session handle
166     \param approx_limit the limit
167     
168     Results will be approximiate if hit count is greater than the
169     limit specified. By default there is a high-limit (no limit).
170 */
171 ZEBRA_RES zebra_set_approx_limit(ZebraHandle zh, zint approx_limit);
172
173 /** \brief Search using PQF Query String
174     \param zh session handle
175     \param pqf_query query
176     \param setname name of resultset
177     \param hits of hits is returned
178 */
179 YAZ_EXPORT
180 ZEBRA_RES zebra_search_PQF(ZebraHandle zh, const char *pqf_query,
181                            const char *setname, zint *hits);
182
183 /** \brief Search using RPN Query structure (from ASN.1)
184     \param zh session handle
185     \param o ODR handle
186     \param query RPN query using YAZ structure
187     \param setname name of resultset
188     \param hits number of hits is returned
189     \param estimated_hit_count whether hit count is an estimate
190     \param partial_resultset whether result is only partially evaluated
191 */
192 YAZ_EXPORT
193 ZEBRA_RES zebra_search_RPN_x(ZebraHandle zh, ODR o, Z_RPNQuery *query,
194                            const char *setname, zint *hits,
195                            int *estimated_hit_count,
196                            int *partial_resultset);
197
198
199 /** \brief Search using RPN Query structure (from ASN.1)
200     \param zh session handle
201     \param o ODR handle
202     \param query RPN query using YAZ structure
203     \param setname name of resultset
204     \param hits number of hits is returned
205 */
206 YAZ_EXPORT
207 ZEBRA_RES zebra_search_RPN(ZebraHandle zh, ODR o, Z_RPNQuery *query,
208                               const char *setname, zint *hits);
209
210 /** \brief Retrieve records from result set (after search)
211     \param zh session handle
212     \param stream allocate records returned using this ODR
213     \param setname name of result set to retrieve records from
214     \param comp Z39.50 record composition
215     \param input_format transfer syntax (OID)
216     \param num_recs number of records to retrieve
217     \param recs store records in this structure (size is num_recs)
218 */
219 YAZ_EXPORT
220 ZEBRA_RES zebra_records_retrieve(ZebraHandle zh, ODR stream,
221                                  const char *setname,
222                                  Z_RecordComposition *comp,
223                                  const Odr_oid *input_format,
224                                  int num_recs,
225                                  ZebraRetrievalRecord *recs);
226 /** \brief Deletes one or more resultsets 
227     \param zh session handle
228     \param function Z_DeleteResultSetRequest_{list,all}
229     \param num_setnames number of result sets
230     \param setnames result set names
231     \param statuses status result
232 */
233 YAZ_EXPORT
234 int zebra_deleteResultSet(ZebraHandle zh, int function,
235                           int num_setnames, char **setnames,
236                           int *statuses);
237
238
239 /** \brief returns number of term info terms assocaited with result set
240     \param zh session handle
241     \param setname result set name
242     \param num_terms number of terms returned in this integer
243     
244     This function is used in conjunction with zebra_result_set_term_info.
245     If operation was successful, ZEBRA_OK is returned; otherwise
246     ZEBRA_FAIL is returned (typically non-existing setname)
247 */
248 YAZ_EXPORT
249 ZEBRA_RES zebra_result_set_term_no(ZebraHandle zh, const char *setname,
250                                    int *num_terms);
251
252 /** \brief returns information about a term assocated with a result set
253     \param zh session handle
254     \param setname result set name
255     \param no the term we want to know about (0=first, 1=second,..)
256     \param count the number of occurrences of this term, aka hits (output) 
257     \param approx about hits: 0=exact,1=approx (output)
258     \param termbuf buffer for term string (intput, output)
259     \param termlen size of termbuf (input=max, output=actual length)
260     \param term_ref_id if non-NULL *term_ref_id holds term reference
261     
262     Returns information about one search term associated with result set.
263     Use zebra_result_set_term_no to read total number of terms associated
264     with result set. If this function can not return information,
265     due to no out of range or bad result set name, ZEBRA_FAIL is
266     returned.
267     The passed termbuf must be able to hold at least *termlen characters.
268     Upon completion, *termlen holds actual length of search term.
269 */
270 YAZ_EXPORT
271 ZEBRA_RES zebra_result_set_term_info(ZebraHandle zh, const char *setname,
272                                      int no, zint *count, int *approx,
273                                      char *termbuf, size_t *termlen,
274                                      const char **term_ref_id);
275
276
277 /** \brief performs Scan (Z39.50 style)
278     \param zh session handle
279     \param stream ODR handle for result
280     \param zapt Attribute plus Term (start term)
281     \param attributeset Attributeset for Attribute plus Term
282     \param position input/output position
283     \param num_entries number of terms requested / returned 
284     \param entries list of resulting terms (ODR allocated)
285     \param is_partial upon return 1=partial, 0=complete
286     \param setname limit scan by this set (NULL means no limit)
287 */
288 YAZ_EXPORT ZEBRA_RES zebra_scan(ZebraHandle zh, ODR stream,
289                                 Z_AttributesPlusTerm *zapt,
290                                 const Odr_oid *attributeset,
291                                 int *position, int *num_entries,
292                                 ZebraScanEntry **entries,
293                                 int *is_partial,
294                                 const char *setname);
295
296 /** \brief performs Scan (taking PQF string)
297     \param zh session handle
298     \param stream ODR handle for result
299     \param query PQF scan query
300     \param position input/output position
301     \param num_entries number of terms requested / returned 
302     \param entries list of resulting terms (ODR allocated)
303     \param is_partial upon return 1=partial, 0=complete
304     \param setname limit scan by this set (NULL means no limit)
305 */
306 YAZ_EXPORT
307 ZEBRA_RES zebra_scan_PQF(ZebraHandle zh, ODR stream, const char *query,
308                          int *position, int *num_entries,
309                          ZebraScanEntry **entries,
310                          int *is_partial, const char *setname);
311
312 /** \brief authenticate user. Returns 0 if OK, != 0 on failure
313     \param zh session handle
314     \param user user name
315     \param pass password
316 */
317 YAZ_EXPORT
318 ZEBRA_RES zebra_auth(ZebraHandle zh, const char *user, const char *pass);
319
320 /** \brief Normalize zebra term for register (subject to change!)
321     \param zh session handle
322     \param reg_id register ID, 'w', 'p',..
323     \param input_str input string buffer
324     \param input_len input string length
325     \param output_str output string buffer
326     \param output_len output string length
327 */
328 YAZ_EXPORT
329 int zebra_string_norm(ZebraHandle zh, unsigned reg_id, const char *input_str, 
330                       int input_len, char *output_str, int output_len);
331
332 /** \brief Creates a database
333     \param zh session handle
334     \param db database to be created
335 */
336 YAZ_EXPORT
337 ZEBRA_RES zebra_create_database(ZebraHandle zh, const char *db);
338
339 /** \brief Deletes a database (drop)
340     \param zh session handle
341     \param db database to be deleted
342 */
343 YAZ_EXPORT
344 ZEBRA_RES zebra_drop_database(ZebraHandle zh, const char *db);
345
346 YAZ_EXPORT
347 ZEBRA_RES zebra_admin_shutdown(ZebraHandle zh);
348
349 YAZ_EXPORT
350 ZEBRA_RES zebra_admin_start(ZebraHandle zh);
351
352 YAZ_EXPORT
353 ZEBRA_RES zebra_shutdown(ZebraService zs);
354
355 YAZ_EXPORT
356 ZEBRA_RES zebra_admin_import_begin(ZebraHandle zh, const char *database,
357                                    const char *record_type);
358
359 YAZ_EXPORT 
360 ZEBRA_RES zebra_admin_import_segment(ZebraHandle zh,
361                                      Z_Segment *segment);
362
363 YAZ_EXPORT 
364 ZEBRA_RES zebra_admin_import_end(ZebraHandle zh);
365
366 YAZ_EXPORT 
367 ZEBRA_RES zebra_begin_trans(ZebraHandle zh, int rw
368     ) ZEBRA_GCC_ATTR((warn_unused_result));
369
370 YAZ_EXPORT
371 ZEBRA_RES zebra_end_trans(ZebraHandle zh
372     ) ZEBRA_GCC_ATTR((warn_unused_result));
373
374 YAZ_EXPORT
375 ZEBRA_RES zebra_end_transaction(ZebraHandle zh,
376                                 ZebraTransactionStatus *stat);
377
378 YAZ_EXPORT
379 ZEBRA_RES zebra_commit(ZebraHandle zh);
380
381 YAZ_EXPORT
382 ZEBRA_RES zebra_clean(ZebraHandle zh);
383
384 YAZ_EXPORT
385 ZEBRA_RES zebra_init(ZebraHandle zh);
386
387 YAZ_EXPORT
388 ZEBRA_RES zebra_compact(ZebraHandle zh);
389
390 YAZ_EXPORT 
391 ZEBRA_RES zebra_repository_update(ZebraHandle zh, const char *path);
392
393 YAZ_EXPORT 
394 ZEBRA_RES zebra_repository_delete(ZebraHandle zh, const char *path);
395
396 YAZ_EXPORT 
397 ZEBRA_RES zebra_repository_show(ZebraHandle zh, const char *path);
398
399 /** \brief Simple update record
400     \param zh session handle
401     \param buf record buffer
402     \param buf_size record buffer size
403
404     This function is a simple wrapper or zebra_update_record with
405     action=action_update (insert or replace) .
406 */
407 YAZ_EXPORT
408 YAZ_EXPORT 
409 ZEBRA_RES zebra_add_record(ZebraHandle zh, const char *buf, int buf_size);
410                                
411 /** \brief Updates record
412     \param zh session handle
413     \param action (insert,replace,delete or update (replace/insert)
414     \param recordType filter type (0 indicates default)
415     \param sysno system id (0 may be passed for no known id)
416     \param match match criteria (0 may be passed for no known criteria)
417     \param fname filename to be printed for logging (0 may be passed)
418     \param buf record buffer
419     \param buf_size record buffer size
420 */
421 YAZ_EXPORT
422 ZEBRA_RES zebra_update_record(ZebraHandle zh, 
423                               enum zebra_recctrl_action_t action,
424                               const char *recordType,
425                               zint *sysno, const char *match,
426                               const char *fname,
427                               const char *buf, int buf_size);
428
429 YAZ_EXPORT 
430 ZEBRA_RES zebra_sort(ZebraHandle zh, ODR stream,
431                      int num_input_setnames,
432                      const char **input_setnames,
433                      const char *output_setname,
434                      Z_SortKeySpecList *sort_sequence,
435                      int *sort_status
436     ) ZEBRA_GCC_ATTR((warn_unused_result));    
437
438 YAZ_EXPORT
439 ZEBRA_RES zebra_select_databases(ZebraHandle zh, int num_bases, 
440                                  const char **basenames
441     ) ZEBRA_GCC_ATTR((warn_unused_result));
442
443 YAZ_EXPORT
444 ZEBRA_RES zebra_select_database(ZebraHandle zh, const char *basename
445     ) ZEBRA_GCC_ATTR((warn_unused_result));
446
447 YAZ_EXPORT
448 void zebra_shadow_enable(ZebraHandle zh, int value);
449
450 YAZ_EXPORT
451 int zebra_register_statistics(ZebraHandle zh, int dumpdict);
452
453 YAZ_EXPORT
454 ZEBRA_RES zebra_record_encoding(ZebraHandle zh, const char *encoding);
455
456 YAZ_EXPORT
457 ZEBRA_RES zebra_octet_term_encoding(ZebraHandle zh, const char *encoding);
458
459 /* Resources */
460 YAZ_EXPORT
461 void zebra_set_resource(ZebraHandle zh, const char *name, const char *value);
462 YAZ_EXPORT
463 const char *zebra_get_resource(ZebraHandle zh, 
464                                const char *name, const char *defaultvalue);
465
466
467 YAZ_EXPORT
468 void zebra_pidfname(ZebraService zs, char *path);
469
470 typedef struct {
471     char *term;
472     char *db;
473     zint sysno;
474     int score;
475 } ZebraMetaRecord;
476
477 YAZ_EXPORT
478 ZebraMetaRecord *zebra_meta_records_create(ZebraHandle zh,
479                                            const char *name,
480                                            int num, zint *positions);
481
482
483 YAZ_EXPORT
484 ZebraMetaRecord *zebra_meta_records_create_range(ZebraHandle zh,
485                                                  const char *name, 
486                                                  zint start, int num);
487
488 YAZ_EXPORT
489 void zebra_meta_records_destroy(ZebraHandle zh, ZebraMetaRecord *records,
490                                 int num);
491
492 YAZ_EXPORT 
493 struct BFiles_struct *zebra_get_bfs(ZebraHandle zh);
494
495 YAZ_EXPORT
496 ZEBRA_RES zebra_set_limit(ZebraHandle zh, int complement_flag, zint *ids);
497
498 YAZ_EXPORT
499 ZEBRA_RES zebra_set_break_handler(ZebraHandle zh, 
500                                   int (*f)(void *client_data),
501                                   void *client_data);
502
503 YAZ_END_CDECL                                 
504
505 /** \mainpage Zebra
506  *
507  * \section intro_sec Introduction
508  *
509  * Zebra is a search engine for structure data, such as XML, MARC
510  * and others.
511  *
512  * API users should read the api.h for all the public definitions.
513  *
514  * The remaining sections briefly describe each of
515  * Zebra major modules/components.
516  *
517  * \section util Base Utilities
518  *
519  * The Zebra utilities (util.h) defines fundamental types and a few
520  * utilites for Zebra.
521  *
522  * \section res Resources
523  *
524  * The resources system (res.h) is a manager of configuration 
525  * resources. The resources can be viewed as a simple database.
526  * Resources can be read from a configurtion file, they can be
527  * read or written by an application. Resources can also be written,
528  * but that facility is not currently in use.
529  *
530  * \section bfile Bfiles
531  *
532  * The Bfiles (bfile.h) provides a portable interface to the
533  * local file system. It also provides a facility for safe updates
534  * (shadow updates). All file system access is handle by this module
535  * (except for trival reads of configuration files).
536  *
537  * \section dict Dictionary
538  *
539  * The Zebra dictionary (dict.h) maps a search term (key) to a value. The
540  * value is a reference to the list of records identifers in which
541  * the term occurs. Zebra uses an ISAM data structure for the list
542  * of term occurrences. The Dictionary uses \ref bfile.
543  *
544  * \section isam ISAM
545  *
546  * Zebra maintains an ISAM for each term where each ISAM is a list
547  * of record identifiers corresponding to the records in which the
548  * term occur. Unlike traditional ISAM systems, the Zebra ISAM
549  * is compressed. The ISAM system uses \ref bfile.
550  *
551  * Zebra has more than one ISAM system. The old and stable ISAM system
552  * is named isamc (see isamc.h). Another version isams is a write-once
553  * isam system that is quite compact - suitable for CD-ROMs (isams.h). 
554  * The newest ISAM system, isamb, is implemented as a B-Tree (see isamb.h).
555  *
556  * \section data1 Data-1
557  *
558  * The data1 (data1.h) module deals with structured documents. The module can
559  * can read, modify and write documents. The document structure was
560  * originally based on GRS-1 - a Z39.50 v3 structure that predates
561  * DOM. These days the data1 structure may describe XML/SGML as well.
562  * The data1, like DOM, is a tree structure. Each node in the tree
563  * can be of type element, text (cdata), preprocessing instruction,
564  * comment. Element nodes can point to attribute nodes.
565  *
566  * \section recctrl Record Control
567  *
568  * The record control module (recctrl.h) is responsible for
569  * managing the various record types ("classes" or filters).
570  *
571  * \section rset Result-Set
572  *
573  * The Result-Set module (rset.h) defines an interface that all
574  * Zebra Search Results must implement. Each operation (AND, OR, ..)
575  * correspond to an implementation of that interface.
576  *
577  * \section dfa DFA
578  *
579  * DFA (dfa.h) Deterministic Finite Automa is a regular expression engine.
580  * The module compiles a regular expression to a DFA. The DFA can then
581  * be used in various application to perform fast match against the
582  * origianl expression. The \ref Dict uses DFA to perform lookup
583  * using regular expressions.
584  */
585
586 #endif
587 /*
588  * Local variables:
589  * c-basic-offset: 4
590  * indent-tabs-mode: nil
591  * End:
592  * vim: shiftwidth=4 tabstop=8 expandtab
593  */
594