include/yaz/tokenizer.h

   1 /* This file is part of the YAZ toolkit.
   2  * Copyright (C) 1995-2008 Index Data.
   3  * All rights reserved.
   4  * Redistribution and use in source and binary forms, with or without
   5  * modification, are permitted provided that the following conditions are met:
   6  *
   7  *     * Redistributions of source code must retain the above copyright
   8  *       notice, this list of conditions and the following disclaimer.
   9  *     * Redistributions in binary form must reproduce the above copyright
  10  *       notice, this list of conditions and the following disclaimer in the
  11  *       documentation and/or other materials provided with the distribution.
  12  *     * Neither the name of Index Data nor the names of its contributors
  13  *       may be used to endorse or promote products derived from this
  14  *       software without specific prior written permission.
  15  *
  16  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND ANY
  17  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  18  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  19  * DISCLAIMED. IN NO EVENT SHALL THE REGENTS AND CONTRIBUTORS BE LIABLE FOR ANY
  20  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  21  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  22  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  23  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  24  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  25  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  26  */
  27 /* $Id: tokenizer.h,v 1.2 2007-04-27 10:09:44 adam Exp $ */
  28
  29 /** \file tokenizer.h
  30     \brief Header with public definitions about YAZ' tokenizer
  31 */
  32
  33 #ifndef YAZ_TOKENIZER
  34 #define YAZ_TOKENIZER
  35 #include <yaz/nmem.h>
  36
  37 YAZ_BEGIN_CDECL
  38
  39 #define YAZ_TOK_EOF 0
  40 #define YAZ_TOK_ERROR (-1)
  41 #define YAZ_TOK_STRING (-2)
  42 #define YAZ_TOK_QSTRING (-3)
  43
  44 typedef struct yaz_tok_cfg *yaz_tok_cfg_t;
  45 typedef struct yaz_tok_parse *yaz_tok_parse_t;
  46
  47 typedef int (*yaz_tok_get_byte_t)(void **vp);
  48
  49 YAZ_EXPORT
  50 yaz_tok_cfg_t yaz_tok_cfg_create(void);
  51
  52 YAZ_EXPORT
  53 void yaz_tok_cfg_destroy(yaz_tok_cfg_t t);
  54
  55 YAZ_EXPORT
  56 void yaz_tok_cfg_single_tokens(yaz_tok_cfg_t t, const char *simple);
  57
  58 YAZ_EXPORT
  59 yaz_tok_parse_t yaz_tok_parse_buf(yaz_tok_cfg_t t, const char *buf);
  60
  61 YAZ_EXPORT
  62 yaz_tok_parse_t yaz_tok_parse_create(yaz_tok_cfg_t t, yaz_tok_get_byte_t h,
  63                                      void *vp);
  64
  65 YAZ_EXPORT
  66 void yaz_tok_parse_destroy(yaz_tok_parse_t tp);
  67
  68 YAZ_EXPORT
  69 int yaz_tok_move(yaz_tok_parse_t tp);
  70
  71 YAZ_EXPORT
  72 const char *yaz_tok_parse_string(yaz_tok_parse_t tp);
  73
  74 YAZ_END_CDECL
  75
  76 #endif
  77
  78 /*
  79  * Local variables:
  80  * c-basic-offset: 4
  81  * indent-tabs-mode: nil
  82  * End:
  83  * vim: shiftwidth=4 tabstop=8 expandtab
  84  */
  85