include/idzebra/api.h

   1 /* $Id: api.h,v 1.43 2007-01-16 15:01:15 adam Exp $
   2    Copyright (C) 1995-2007
   3    Index Data ApS
   4
   5 This file is part of the Zebra server.
   6
   7 Zebra is free software; you can redistribute it and/or modify it under
   8 the terms of the GNU General Public License as published by the Free
   9 Software Foundation; either version 2, or (at your option) any later
  10 version.
  11
  12 Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
  13 WARRANTY; without even the implied warranty of MERCHANTABILITY or
  14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15 for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with this program; if not, write to the Free Software
  19 Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
  20
  21 */
  22
  23 /** \file api.h
  24     \brief Zebra API
  25
  26     Return codes:
  27     Most functions has return type ZEBRA_RES, where ZEBRA_FAIL indicates
  28     failure; ZEBRA_OK indicates success.
  29 */
  30
  31 #ifndef IDZEBRA_API_H
  32 #define IDZEBRA_API_H
  33
  34 #include <yaz/odr.h>
  35 #include <yaz/oid.h>
  36 #include <yaz/proto.h>
  37 #include <idzebra/res.h>
  38 #include <idzebra/version.h>
  39
  40 YAZ_BEGIN_CDECL
  41
  42 typedef struct {
  43     zint processed;
  44     zint inserted;
  45     zint updated;
  46     zint deleted;
  47     long utime;
  48     long stime;
  49 } ZebraTransactionStatus;
  50
  51 /** Retrieval Record Descriptor */
  52 typedef struct {
  53     int errCode;         /* non-zero if error when fetching this */
  54     char *errString;     /* error string */
  55     int position;        /* position of record in result set (1,2,..) */
  56     char *buf;           /* record buffer (void pointer really) */
  57     int len;             /* length */
  58     oid_value format;    /* record syntax */
  59     char *base;
  60     zint sysno;
  61     int  score;
  62 } ZebraRetrievalRecord;
  63
  64 /** Scan Term Descriptor */
  65 typedef struct {
  66     zint occurrences;    /* scan term occurrences */
  67     char *term;          /* scan term string */
  68 } ZebraScanEntry;
  69
  70 /** \var ZebraHandle
  71     \brief a Zebra Handle - (session)
  72 */
  73 typedef struct zebra_session *ZebraHandle;
  74
  75 /** \var ZebraService
  76     \brief a Zebra Service handle
  77 */
  78 typedef struct zebra_service *ZebraService;
  79
  80 /** \brief Creates a Zebra Service.
  81     \param configName name of configuration file
  82
  83     This function is a simplified version of zebra_start_res.
  84 */
  85 YAZ_EXPORT
  86 ZebraService zebra_start(const char *configName
  87     ) ZEBRA_GCC_ATTR((warn_unused_result));
  88
  89 /** \brief Creates a Zebra service with resources.
  90     \param configName name of configuration file
  91     \param def_res default resources
  92     \param over_res overriding resources
  93
  94     This function typically called once in a program. A Zebra Service
  95     acts as a factory for Zebra session handles.
  96 */
  97 YAZ_EXPORT
  98 ZebraService zebra_start_res(const char *configName,
  99                              Res def_res, Res over_res
 100     ) ZEBRA_GCC_ATTR((warn_unused_result));
 101
 102 /** \brief stops a Zebra service.
 103     \param zs service handle
 104
 105     Frees resources used by the service.
 106 */
 107 YAZ_EXPORT
 108 ZEBRA_RES zebra_stop(ZebraService zs);
 109
 110 /** \brief Lists enabled Zebra filters
 111     \param zs service handle
 112     \param cd callback parameter (opaque)
 113     \param cb callback function
 114 */
 115 YAZ_EXPORT
 116 void zebra_filter_info(ZebraService zs, void *cd,
 117                        void (*cb)(void *cd, const char *name));
 118
 119
 120 /** \brief Creates a Zebra session handle within service.
 121     \param zs service handle.
 122     \param res resources to be used for the service (NULL for none)
 123
 124     There should be one handle for each thread doing something
 125     with zebra, be that searching or indexing. In simple apps
 126     one handle is sufficient
 127 */
 128 YAZ_EXPORT
 129 ZebraHandle zebra_open(ZebraService zs, Res res
 130     ) ZEBRA_GCC_ATTR((warn_unused_result));
 131
 132 /** \brief Destroys Zebra session handle.
 133     \param zh zebra session handle.
 134  */
 135 YAZ_EXPORT
 136 ZEBRA_RES zebra_close(ZebraHandle zh);
 137
 138 /** \brief Returns error code for last error
 139     \param zh zebra session handle.
 140 */
 141 YAZ_EXPORT
 142 int zebra_errCode(ZebraHandle zh);
 143
 144 /** \brief Returns error string for last error
 145     \param zh zebra session handle.
 146 */
 147 YAZ_EXPORT
 148 const char *zebra_errString(ZebraHandle zh);
 149
 150 /** \brief Returns additional info for last error
 151     \param zh zebra session handle.
 152 */
 153 YAZ_EXPORT
 154 char *zebra_errAdd(ZebraHandle zh);
 155
 156 /** \brief Returns error code and additional info for last error
 157     \param zh zebra session handle.
 158     \param code pointer to returned error code
 159     \param addinfo pointer to returned additional info
 160 */
 161 YAZ_EXPORT
 162 void zebra_result(ZebraHandle zh, int *code, char **addinfo);
 163
 164 /** \brief Set limit before Zebra does approx hit count
 165     \param zh session handle
 166     \param approx_limit the limit
 167
 168     Results will be approximiate if hit count is greater than the
 169     limit specified. By default there is a high-limit (no limit).
 170 */
 171 ZEBRA_RES zebra_set_approx_limit(ZebraHandle zh, zint approx_limit);
 172
 173 /** \brief Search using PQF Query String
 174     \param zh session handle
 175     \param pqf_query query
 176     \param setname name of resultset
 177     \param hits of hits is returned
 178 */
 179 YAZ_EXPORT
 180 ZEBRA_RES zebra_search_PQF(ZebraHandle zh, const char *pqf_query,
 181                            const char *setname, zint *hits);
 182
 183 /** \brief Search using RPN Query structure (from ASN.1)
 184     \param zh session handle
 185     \param o ODR handle
 186     \param query RPN query using YAZ structure
 187     \param setname name of resultset
 188     \param hits number of hits is returned
 189     \param estimated_hit_count whether hit count is an estimate
 190     \param partial_resultset whether result is only partially evaluated
 191 */
 192 YAZ_EXPORT
 193 ZEBRA_RES zebra_search_RPN_x(ZebraHandle zh, ODR o, Z_RPNQuery *query,
 194                            const char *setname, zint *hits,
 195                            int *estimated_hit_count,
 196                            int *partial_resultset);
 197
 198
 199 /** \brief Search using RPN Query structure (from ASN.1)
 200     \param zh session handle
 201     \param o ODR handle
 202     \param query RPN query using YAZ structure
 203     \param setname name of resultset
 204     \param hits number of hits is returned
 205 */
 206 YAZ_EXPORT
 207 ZEBRA_RES zebra_search_RPN(ZebraHandle zh, ODR o, Z_RPNQuery *query,
 208                               const char *setname, zint *hits);
 209
 210 /** \brief Retrieve records from result set (after search)
 211     \param zh session handle
 212     \param stream allocate records returned using this ODR
 213     \param setname name of result set to retrieve records from
 214     \param comp Z39.50 record composition
 215     \param input_format transfer syntax (OID)
 216     \param num_recs number of records to retrieve
 217     \param recs store records in this structure (size is num_recs)
 218 */
 219 YAZ_EXPORT
 220 ZEBRA_RES zebra_records_retrieve(ZebraHandle zh, ODR stream,
 221                                  const char *setname,
 222                                  Z_RecordComposition *comp,
 223                                  oid_value input_format,
 224                                  int num_recs,
 225                                  ZebraRetrievalRecord *recs);
 226 /** \brief Deletes one or more resultsets
 227     \param zh session handle
 228     \param function Z_DeleteResultSetRequest_{list,all}
 229     \param num_setnames number of result sets
 230     \param setnames result set names
 231     \param statuses status result
 232 */
 233 YAZ_EXPORT
 234 int zebra_deleteResultSet(ZebraHandle zh, int function,
 235                           int num_setnames, char **setnames,
 236                           int *statuses);
 237
 238
 239 /** \brief returns number of term info terms assocaited with result set
 240     \param zh session handle
 241     \param setname result set name
 242     \param num_terms number of terms returned in this integer
 243
 244     This function is used in conjunction with zebra_result_set_term_info.
 245     If operation was successful, ZEBRA_OK is returned; otherwise
 246     ZEBRA_FAIL is returned (typically non-existing setname)
 247 */
 248 YAZ_EXPORT
 249 ZEBRA_RES zebra_result_set_term_no(ZebraHandle zh, const char *setname,
 250                                    int *num_terms);
 251
 252 /** \brief returns information about a term assocated with a result set
 253     \param zh session handle
 254     \param setname result set name
 255     \param no the term we want to know about (0=first, 1=second,..)
 256     \param count the number of occurrences of this term, aka hits (output)
 257     \param approx about hits: 0=exact,1=approx (output)
 258     \param termbuf buffer for term string (intput, output)
 259     \param termlen size of termbuf (input=max, output=actual length)
 260     \param term_ref_id if non-NULL *term_ref_id holds term reference
 261
 262     Returns information about one search term associated with result set.
 263     Use zebra_result_set_term_no to read total number of terms associated
 264     with result set. If this function can not return information,
 265     due to no out of range or bad result set name, ZEBRA_FAIL is
 266     returned.
 267     The passed termbuf must be able to hold at least *termlen characters.
 268     Upon completion, *termlen holds actual length of search term.
 269 */
 270 YAZ_EXPORT
 271 ZEBRA_RES zebra_result_set_term_info(ZebraHandle zh, const char *setname,
 272                                      int no, zint *count, int *approx,
 273                                      char *termbuf, size_t *termlen,
 274                                      const char **term_ref_id);
 275
 276
 277 /** \brief performs Scan (Z39.50 style)
 278     \param zh session handle
 279     \param stream ODR handle for result
 280     \param zapt Attribute plus Term (start term)
 281     \param attributeset Attributeset for Attribute plus Term
 282     \param position input/output position
 283     \param num_entries number of terms requested / returned
 284     \param entries list of resulting terms (ODR allocated)
 285     \param is_partial upon return 1=partial, 0=complete
 286     \param setname limit scan by this set (NULL means no limit)
 287 */
 288 YAZ_EXPORT ZEBRA_RES zebra_scan(ZebraHandle zh, ODR stream,
 289                                 Z_AttributesPlusTerm *zapt,
 290                                 oid_value attributeset,
 291                                 int *position, int *num_entries,
 292                                 ZebraScanEntry **entries,
 293                                 int *is_partial,
 294                                 const char *setname);
 295
 296 /** \brief performs Scan (taking PQF string)
 297     \param zh session handle
 298     \param stream ODR handle for result
 299     \param query PQF scan query
 300     \param position input/output position
 301     \param num_entries number of terms requested / returned
 302     \param entries list of resulting terms (ODR allocated)
 303     \param is_partial upon return 1=partial, 0=complete
 304     \param setname limit scan by this set (NULL means no limit)
 305 */
 306 YAZ_EXPORT
 307 ZEBRA_RES zebra_scan_PQF(ZebraHandle zh, ODR stream, const char *query,
 308                          int *position, int *num_entries,
 309                          ZebraScanEntry **entries,
 310                          int *is_partial, const char *setname);
 311
 312 /** \brief authenticate user. Returns 0 if OK, != 0 on failure
 313     \param zh session handle
 314     \param user user name
 315     \param pass password
 316 */
 317 YAZ_EXPORT
 318 ZEBRA_RES zebra_auth(ZebraHandle zh, const char *user, const char *pass);
 319
 320 /** \brief Normalize zebra term for register (subject to change!)
 321     \param zh session handle
 322     \param reg_id register ID, 'w', 'p',..
 323     \param input_str input string buffer
 324     \param input_len input string length
 325     \param output_str output string buffer
 326     \param output_len output string length
 327 */
 328 YAZ_EXPORT
 329 int zebra_string_norm(ZebraHandle zh, unsigned reg_id, const char *input_str,
 330                       int input_len, char *output_str, int output_len);
 331
 332 /** \brief Creates a database
 333     \param zh session handle
 334     \param db database to be created
 335 */
 336 YAZ_EXPORT
 337 ZEBRA_RES zebra_create_database(ZebraHandle zh, const char *db);
 338
 339 /** \brief Deletes a database (drop)
 340     \param zh session handle
 341     \param db database to be deleted
 342 */
 343 YAZ_EXPORT
 344 ZEBRA_RES zebra_drop_database(ZebraHandle zh, const char *db);
 345
 346 YAZ_EXPORT
 347 ZEBRA_RES zebra_admin_shutdown(ZebraHandle zh);
 348
 349 YAZ_EXPORT
 350 ZEBRA_RES zebra_admin_start(ZebraHandle zh);
 351
 352 YAZ_EXPORT
 353 ZEBRA_RES zebra_shutdown(ZebraService zs);
 354
 355 YAZ_EXPORT
 356 ZEBRA_RES zebra_admin_import_begin(ZebraHandle zh, const char *database,
 357                                    const char *record_type);
 358
 359 YAZ_EXPORT
 360 ZEBRA_RES zebra_admin_import_segment(ZebraHandle zh,
 361                                      Z_Segment *segment);
 362
 363 YAZ_EXPORT
 364 ZEBRA_RES zebra_admin_import_end(ZebraHandle zh);
 365
 366 YAZ_EXPORT
 367 ZEBRA_RES zebra_admin_exchange_record(ZebraHandle zh,
 368                                       const char *rec_buf,
 369                                       size_t rec_len,
 370                                       const char *recid_buf, size_t recid_len,
 371                                       int action);
 372
 373 YAZ_EXPORT
 374 ZEBRA_RES zebra_begin_trans(ZebraHandle zh, int rw
 375     ) ZEBRA_GCC_ATTR((warn_unused_result));
 376
 377 YAZ_EXPORT
 378 ZEBRA_RES zebra_end_trans(ZebraHandle zh
 379     ) ZEBRA_GCC_ATTR((warn_unused_result));
 380
 381 YAZ_EXPORT
 382 ZEBRA_RES zebra_end_transaction(ZebraHandle zh,
 383                                 ZebraTransactionStatus *stat);
 384
 385 YAZ_EXPORT
 386 ZEBRA_RES zebra_commit(ZebraHandle zh);
 387
 388 YAZ_EXPORT
 389 ZEBRA_RES zebra_clean(ZebraHandle zh);
 390
 391 YAZ_EXPORT
 392 ZEBRA_RES zebra_init(ZebraHandle zh);
 393
 394 YAZ_EXPORT
 395 ZEBRA_RES zebra_compact(ZebraHandle zh);
 396
 397 YAZ_EXPORT
 398 ZEBRA_RES zebra_repository_update(ZebraHandle zh, const char *path);
 399
 400 YAZ_EXPORT
 401 ZEBRA_RES zebra_repository_delete(ZebraHandle zh, const char *path);
 402
 403 YAZ_EXPORT
 404 ZEBRA_RES zebra_repository_show(ZebraHandle zh, const char *path);
 405
 406 YAZ_EXPORT
 407 ZEBRA_RES zebra_add_record(ZebraHandle zh, const char *buf, int buf_size);
 408
 409 YAZ_EXPORT
 410 ZEBRA_RES zebra_insert_record(ZebraHandle zh,
 411                               const char *recordType,
 412                               zint *sysno, const char *match,
 413                               const char *fname,
 414                               const char *buf, int buf_size,
 415                               int force_update);
 416 YAZ_EXPORT
 417 ZEBRA_RES zebra_update_record(ZebraHandle zh,
 418                               const char *recordType,
 419                               zint *sysno, const char *match,
 420                               const char *fname,
 421                               const char *buf, int buf_size,
 422                               int force_update);
 423 YAZ_EXPORT
 424 ZEBRA_RES zebra_delete_record(ZebraHandle zh,
 425                               const char *recordType,
 426                               zint *sysno, const char *match,
 427                               const char *fname,
 428                               const char *buf, int buf_size,
 429                               int force_update);
 430
 431 YAZ_EXPORT
 432 ZEBRA_RES zebra_sort(ZebraHandle zh, ODR stream,
 433                      int num_input_setnames,
 434                      const char **input_setnames,
 435                      const char *output_setname,
 436                      Z_SortKeySpecList *sort_sequence,
 437                      int *sort_status
 438     ) ZEBRA_GCC_ATTR((warn_unused_result));
 439
 440 YAZ_EXPORT
 441 ZEBRA_RES zebra_select_databases(ZebraHandle zh, int num_bases,
 442                                  const char **basenames
 443     ) ZEBRA_GCC_ATTR((warn_unused_result));
 444
 445 YAZ_EXPORT
 446 ZEBRA_RES zebra_select_database(ZebraHandle zh, const char *basename
 447     ) ZEBRA_GCC_ATTR((warn_unused_result));
 448
 449 YAZ_EXPORT
 450 void zebra_shadow_enable(ZebraHandle zh, int value);
 451
 452 YAZ_EXPORT
 453 int zebra_register_statistics(ZebraHandle zh, int dumpdict);
 454
 455 YAZ_EXPORT
 456 ZEBRA_RES zebra_record_encoding(ZebraHandle zh, const char *encoding);
 457
 458 YAZ_EXPORT
 459 ZEBRA_RES zebra_octet_term_encoding(ZebraHandle zh, const char *encoding);
 460
 461 /* Resources */
 462 YAZ_EXPORT
 463 void zebra_set_resource(ZebraHandle zh, const char *name, const char *value);
 464 YAZ_EXPORT
 465 const char *zebra_get_resource(ZebraHandle zh,
 466                                const char *name, const char *defaultvalue);
 467
 468
 469 YAZ_EXPORT
 470 void zebra_pidfname(ZebraService zs, char *path);
 471
 472 typedef struct {
 473     char *term;
 474     char *db;
 475     zint sysno;
 476     int score;
 477 } ZebraMetaRecord;
 478
 479 YAZ_EXPORT
 480 ZebraMetaRecord *zebra_meta_records_create(ZebraHandle zh,
 481                                            const char *name,
 482                                            int num, zint *positions);
 483
 484
 485 YAZ_EXPORT
 486 ZebraMetaRecord *zebra_meta_records_create_range(ZebraHandle zh,
 487                                                  const char *name,
 488                                                  zint start, int num);
 489
 490 YAZ_EXPORT
 491 void zebra_meta_records_destroy(ZebraHandle zh, ZebraMetaRecord *records,
 492                                 int num);
 493
 494 YAZ_EXPORT
 495 struct BFiles_struct *zebra_get_bfs(ZebraHandle zh);
 496
 497 YAZ_EXPORT
 498 ZEBRA_RES zebra_set_limit(ZebraHandle zh, int complement_flag, zint *ids);
 499
 500 YAZ_END_CDECL
 501
 502 /** \mainpage Zebra
 503  *
 504  * \section intro_sec Introduction
 505  *
 506  * Zebra is a search engine for structure data, such as XML, MARC
 507  * and others.
 508  *
 509  * API users should read the api.h for all the public definitions.
 510  *
 511  * The remaining sections briefly describe each of
 512  * Zebra major modules/components.
 513  *
 514  * \section util Base Utilities
 515  *
 516  * The Zebra utilities (util.h) defines fundamental types and a few
 517  * utilites for Zebra.
 518  *
 519  * \section res Resources
 520  *
 521  * The resources system (res.h) is a manager of configuration
 522  * resources. The resources can be viewed as a simple database.
 523  * Resources can be read from a configurtion file, they can be
 524  * read or written by an application. Resources can also be written,
 525  * but that facility is not currently in use.
 526  *
 527  * \section bfile Bfiles
 528  *
 529  * The Bfiles (bfile.h) provides a portable interface to the
 530  * local file system. It also provides a facility for safe updates
 531  * (shadow updates). All file system access is handle by this module
 532  * (except for trival reads of configuration files).
 533  *
 534  * \section dict Dictionary
 535  *
 536  * The Zebra dictionary (dict.h) maps a search term (key) to a value. The
 537  * value is a reference to the list of records identifers in which
 538  * the term occurs. Zebra uses an ISAM data structure for the list
 539  * of term occurrences. The Dictionary uses \ref bfile.
 540  *
 541  * \section isam ISAM
 542  *
 543  * Zebra maintains an ISAM for each term where each ISAM is a list
 544  * of record identifiers corresponding to the records in which the
 545  * term occur. Unlike traditional ISAM systems, the Zebra ISAM
 546  * is compressed. The ISAM system uses \ref bfile.
 547  *
 548  * Zebra has more than one ISAM system. The old and stable ISAM system
 549  * is named isamc (see isamc.h). Another version isams is a write-once
 550  * isam system that is quite compact - suitable for CD-ROMs (isams.h).
 551  * The newest ISAM system, isamb, is implemented as a B-Tree (see isamb.h).
 552  *
 553  * \section data1 Data-1
 554  *
 555  * The data1 (data1.h) module deals with structured documents. The module can
 556  * can read, modify and write documents. The document structure was
 557  * originally based on GRS-1 - a Z39.50 v3 structure that predates
 558  * DOM. These days the data1 structure may describe XML/SGML as well.
 559  * The data1, like DOM, is a tree structure. Each node in the tree
 560  * can be of type element, text (cdata), preprocessing instruction,
 561  * comment. Element nodes can point to attribute nodes.
 562  *
 563  * \section recctrl Record Control
 564  *
 565  * The record control module (recctrl.h) is responsible for
 566  * managing the various record types ("classes" or filters).
 567  *
 568  * \section rset Result-Set
 569  *
 570  * The Result-Set module (rset.h) defines an interface that all
 571  * Zebra Search Results must implement. Each operation (AND, OR, ..)
 572  * correspond to an implementation of that interface.
 573  *
 574  * \section dfa DFA
 575  *
 576  * DFA (dfa.h) Deterministic Finite Automa is a regular expression engine.
 577  * The module compiles a regular expression to a DFA. The DFA can then
 578  * be used in various application to perform fast match against the
 579  * origianl expression. The \ref Dict uses DFA to perform lookup
 580  * using regular expressions.
 581  */
 582
 583 #endif
 584 /*
 585  * Local variables:
 586  * c-basic-offset: 4
 587  * indent-tabs-mode: nil
 588  * End:
 589  * vim: shiftwidth=4 tabstop=8 expandtab
 590  */
 591