Perl filters now can optionally reach data via a virtual filehandle.
[idzebra-moved-to-github.git] / perl / IDZebra.i
1 %module "IDZebra"
2 %include typemaps.i                       // Load the typemaps librayr
3
4 %{
5 #include "zebraapi.h"
6 #include "zebra_api_ext.h"
7 #include "zebra_perl.h"
8 #include "data1.h"
9 #include "yaz/odr.h"
10 #include "yaz/cql.h"
11 %}
12
13 /* == Typemaps ============================================================= */
14
15 /* RetrievalRecordBuff is a special construct, to allow to map a char * buf
16    to non-null terminated perl string scalar value (SVpv). */
17 %typemap(out) RetrievalRecordBuf * {
18   $result = newSVpv($1->buf,$1->len);
19   sv_2mortal($result);
20   argvi++;
21 }
22
23 /* All char ** values are mapped in-out to array of strings. */
24 %typemap(in) char ** {
25         AV *tempav;
26         I32 len;
27         int i;
28         SV  **tv;
29         STRLEN na;
30         if (!SvROK($input))
31             croak("Argument $argnum is not a reference.");
32         if (SvTYPE(SvRV($input)) != SVt_PVAV)
33             croak("Argument $argnum is not an array.");
34         tempav = (AV*)SvRV($input);
35         len = av_len(tempav);
36         $1 = (char **) malloc((len+2)*sizeof(char *));
37         for (i = 0; i <= len; i++) {
38             tv = av_fetch(tempav, i, 0);        
39             $1[i] = (char *) SvPV(*tv,na);
40         }
41         $1[i] = NULL;
42 };
43
44 /* This cleans up the char ** array after the function call */
45 %typemap(freearg) char ** {
46         free($1);
47 }
48
49 /* Creates a new Perl array and places a NULL-terminated char ** into it */
50 %typemap(out) char ** {
51         AV *myav;
52         SV **svs;
53         int i = 0,len = 0;
54         /* Figure out how many elements we have */
55         while ($1[len])
56            len++;
57         svs = (SV **) malloc(len*sizeof(SV *));
58         for (i = 0; i < len ; i++) {
59             svs[i] = sv_newmortal();
60             sv_setpv((SV*)svs[i],$1[i]);
61         };
62         myav =  av_make(len,svs);
63         free(svs);
64         $result = newRV((SV*)myav);
65         sv_2mortal($result);
66         argvi++;
67 }
68
69 /* == Structures for shadow classes  ======================================= */
70
71 %include "zebra_perl.h"
72
73 typedef struct {
74   int processed;
75   int inserted;
76   int updated;
77   int deleted;
78   long utime;
79   long stime;
80 } ZebraTransactionStatus;
81
82
83 /* == Module initialization and cleanup (zebra_perl.c) ===================== */
84
85 void init (void);
86 void DESTROY (void);
87
88 /* == Logging facilities (yaz/log.h) ======================================= */
89
90 void logLevel (int level);
91 void logFile (const char *fname);
92 void logMsg  (int level, const char *message);
93
94 #define LOG_FATAL  0x0001
95 #define LOG_DEBUG  0x0002
96 #define LOG_WARN   0x0004
97 #define LOG_LOG    0x0008
98 #define LOG_ERRNO  0x0010     /* append strerror to message */
99 #define LOG_FILE   0x0020
100 #define LOG_APP    0x0040     /* For application level events */
101 #define LOG_MALLOC 0x0080     /* debugging mallocs */
102 #define LOG_ALL    0xff7f
103 #define LOG_DEFAULT_LEVEL (LOG_FATAL | LOG_ERRNO | LOG_LOG | LOG_WARN)
104
105 /* == ODR stuff (yaz/odr.h) ================================================ */
106
107 #define ODR_DECODE      0
108 #define ODR_ENCODE      1
109 #define ODR_PRINT       2
110 ODR odr_createmem(int direction);
111 void odr_reset(ODR o);
112 void odr_destroy(ODR o);
113 void *odr_malloc(ODR o, int size);
114
115
116 /* == Zebra session and service (index/zebraapi.c) ========================= */
117
118 %name(start)     
119 ZebraService zebra_start (const char *configName);
120
121 %name(open)      
122 ZebraHandle zebra_open (ZebraService zs);
123
124 %name(close)     
125 void zebra_close (ZebraHandle zh);
126
127 %name(stop)      
128 void zebra_stop (ZebraService zs);
129
130
131 /* == Error handling and reporting (index/zebraapi.c) ====================== */
132
133 /* last error code */
134 %name(errCode)   
135 int zebra_errCode (ZebraHandle zh); 
136
137 /* string representatio of above */
138 %name(errString) 
139 const char * zebra_errString (ZebraHandle zh); 
140
141 /* extra information associated with error */
142 %name(errAdd)    
143 char *  zebra_errAdd (ZebraHandle zh); 
144
145
146 /* == Record groups and database selection ================================= */
147
148 /* initialize a recordGroup (zebra_api_ext.c); */
149 void init_recordGroup (recordGroup *rg);
150
151 /* set up a recordGroup for a specific file extension from zebra.cfg 
152    (zebra_api_ext.c); */
153 void res_get_recordGroup (ZebraHandle zh, recordGroup *rg, 
154                           const char *ext); 
155 /* set current record group for update purposes (zebraapi.c) */
156 %name(set_group)           
157 void zebra_set_group (ZebraHandle zh, struct recordGroup *rg);
158
159 /* select database for update purposes (zebraapi.c) */
160 %name(select_database)     
161 int zebra_select_database (ZebraHandle zh, const char *basename);
162
163 /* select databases for record retrieval (zebraapi.c) */
164 %name(select_databases)    
165 int zebra_select_databases (ZebraHandle zh, int num_bases, 
166                              const char **basenames);
167
168
169 /* == Transactions, locking, shadow register =============================== */
170
171 /* begin transaction (add write lock) (zebraapi.c) */
172 %name(begin_trans)         
173 void zebra_begin_trans (ZebraHandle zh);
174
175 /* end transaction (remove write lock) (zebraapi.c) */
176 %name(end_trans)           
177 void zebra_end_transaction (ZebraHandle zh, ZebraTransactionStatus *stat); 
178
179 %name(trans_no)
180 int zebra_trans_no (ZebraHandle zh);
181
182 %name(begin_read)          
183 int zebra_begin_read (ZebraHandle zh);
184
185 void zts_test (ZebraTransactionStatus *stat);
186
187 /* end retrieval (remove read lock) (zebraapi.c) */
188 %name(end_read)            
189 void zebra_end_read (ZebraHandle zh);
190
191 /* commit changes from shadow (zebraapi.c) */
192 %name(commit)              
193 int  zebra_commit (ZebraHandle zh);
194
195 /* get shadow status (zebra_api_ext.c) */
196 %name(get_shadow_enable)   
197 int  zebra_get_shadow_enable (ZebraHandle zh);
198
199 /* set shadow status (zebra_api_ext.c) */
200 %name(set_shadow_enable)   
201 void zebra_set_shadow_enable (ZebraHandle zh, int value);
202
203
204 /* == Repository actions (zebraapi.c) ====================================== */
205
206 %name(init)                
207 int  zebra_init (ZebraHandle zh);
208
209 %name(compact)             
210 int  zebra_compact (ZebraHandle zh);
211
212 %name(repository_update)   
213 void zebra_repository_update (ZebraHandle zh);
214
215 %name(repository_delete)   
216 void zebra_repository_delete (ZebraHandle zh);
217
218 %name(repository_show)     
219 void zebra_repository_show (ZebraHandle zh); 
220
221
222 /* == Record update/delete (zebra_api_ext.c) =============================== */
223
224 /* If sysno is provided, then it's used to identify the reocord.
225    If not, and match_criteria is provided, then sysno is guessed
226    If not, and a record is provided, then sysno is got from there */
227
228 %name(update_record)       
229 int zebra_update_record (ZebraHandle zh, 
230                          recordGroup *rGroup, 
231                          const char *recordType,
232                          int sysno, 
233                          const char *match, 
234                          const char *fname,
235                          const char *buf, 
236                          int buf_size);
237      
238 %name(delete_record)       
239 int zebra_delete_record (ZebraHandle zh, 
240                          recordGroup *rGroup, 
241                          const char *recordType,
242                          int sysno, 
243                          const char *match, 
244                          const char *fname,
245                          const char *buf, 
246                          int buf_size);
247
248 /* == Search (zebra_api_ext.c) ============================================= */
249
250 %name(search_PQF) 
251 int zebra_search_PQF (ZebraHandle zh, 
252                       ODR odr_input, ODR odr_output, 
253                       const char *pqf_query,
254                       const char *setname);
255
256
257 /* == YAZ - query tools ==================================================== */
258
259
260 cql_transform_t cql_transform_open_fname(const char *fname);
261 void cql_transform_close(cql_transform_t ct);
262 int cql_transform_error(cql_transform_t ct, const char **addinfo);
263
264 %name(cql2pqf) 
265 int zebra_cql2pqf (cql_transform_t ct, 
266                    const char *query, char *res, int len);
267
268 /* == Retrieval (zebra_api_ext.c) ========================================== */
269
270 /* will get a 'retrieval obj' (simple enough to pass to perl), which can be 
271    used to get the individual records. Elementset, schema and format strings
272    are threated the same way yaz-client does. */
273 void records_retrieve(ZebraHandle zh,
274                       ODR stream,
275                       const char *setname,      // resultset name
276                       const char *a_eset,       // optional elementset
277                       const char *a_schema,     // optional schema
278                       const char *a_format,     // optional record syntax
279                       int from,                 // range, 1 based
280                       int to,
281                       RetrievalObj *res
282                       );
283
284 /* fetch a record from the retrieval object. pos is 1 based */
285 void record_retrieve(RetrievalObj *ro,
286                      ODR stream,
287                      RetrievalRecord *res,
288                      int pos);
289
290 /* == Sort ================================================================= */
291 int sort (ZebraHandle zh, 
292           ODR stream,
293           const char *sort_spec,
294           const char *output_setname,
295           const char **input_setnames
296           ); 
297
298 /* == Scan ================================================================= */
299 %name(scan_PQF) 
300 void zebra_scan_PQF (ZebraHandle zh,
301                      ScanObj *so,
302                      ODR stream,
303                      const char *pqf_query);
304
305 ScanEntry *getScanEntry(ScanObj *so, int pos);
306
307 /* Admin functionality */
308 /*
309 %name(admin_start)         void zebra_admin_start (ZebraHandle zh);
310 %name(admin_shutdown)      void zebra_admin_shutdown (ZebraHandle zh);
311 */
312
313
314 /* Delete Result Set(s) */
315 /*
316 int zebra_deleleResultSet(ZebraHandle zh, int function,
317                           int num_setnames, char **setnames,
318                           int *statuses);
319 */
320
321 /* do authentication */
322 /*
323 int zebra_auth (ZebraHandle zh, const char *user, const char *pass);
324
325 */
326
327
328 /*
329
330 void zebra_result (ZebraHandle zh, int *code, char **addinfo);
331 int zebra_resultSetTerms (ZebraHandle zh, const char *setname, 
332                           int no, int *count, 
333                           int *type, char *out, size_t *len);
334 */
335
336 /*
337 YAZ_EXPORT void zebra_admin_create (ZebraHandle zh, const char *db);
338
339 YAZ_EXPORT void zebra_admin_import_begin (ZebraHandle zh, const char *database);
340
341 YAZ_EXPORT void zebra_admin_import_segment (ZebraHandle zh,
342                                             Z_Segment *segment);
343
344 void zebra_admin_shutdown (ZebraHandle zh);
345 void zebra_admin_start (ZebraHandle zh);
346 void zebra_admin_import_end (ZebraHandle zh);
347
348
349 */
350
351
352 /* =========================================================================
353  * NMEM stuff
354  * ========================================================================= 
355 */
356
357 NMEM         nmem_create (void);
358 void         nmem_destroy (NMEM handle);
359
360 /* =========================================================================
361  * Data1 stuff
362  * ========================================================================= 
363 */
364
365 typedef enum data1_datatype
366 {
367     DATA1K_unknown,
368     DATA1K_structured,
369     DATA1K_string,
370     DATA1K_numeric,
371     DATA1K_bool,
372     DATA1K_oid,
373     DATA1K_generalizedtime,
374     DATA1K_intunit,
375     DATA1K_int,
376     DATA1K_octetstring,
377     DATA1K_null
378 } data1_datatype;
379
380 #define DATA1T_numeric 1
381 #define DATA1T_string 2
382 #define DATA1N_root 1 
383 #define DATA1N_tag  2       
384 #define DATA1N_data 3
385 #define DATA1N_variant 4
386 #define DATA1N_comment 5
387 #define DATA1N_preprocess 6
388 #define DATA1I_inctxt 1
389 #define DATA1I_incbin 2
390 #define DATA1I_text 3 
391 #define DATA1I_num 4
392 #define DATA1I_oid 5         
393 #define DATA1_LOCALDATA 12
394 #define DATA1_FLAG_XML  1
395
396 data1_handle data1_create (void);
397 data1_handle data1_createx (int flags);
398 void data1_destroy(data1_handle dh);
399
400 /* Data1 node */
401 data1_node *get_parent_tag(data1_handle dh, data1_node *n);
402 data1_node *data1_read_node(data1_handle dh, const char **buf,NMEM m);
403 data1_node *data1_read_nodex (data1_handle dh, NMEM m, int (*get_byte)(void *fh), void *fh, WRBUF wrbuf);
404 data1_node *data1_read_record(data1_handle dh, int (*rf)(void *, char *, size_t), void *fh, NMEM m);
405 data1_absyn *data1_read_absyn(data1_handle dh, const char *file, int file_must_exist);
406 data1_tag *data1_gettagbynum(data1_handle dh, data1_tagset *s, int type, int value);
407
408 data1_tagset *data1_empty_tagset (data1_handle dh);
409 data1_tagset *data1_read_tagset(data1_handle dh, const char *file, int type);
410 data1_element *data1_getelementbytagname(data1_handle dh,
411                                          data1_absyn *abs,
412                                          data1_element *parent,
413                                          const char *tagname);
414
415 Z_GenericRecord *data1_nodetogr(data1_handle dh, data1_node *n,
416                                 int select, ODR o,
417                                 int *len);
418
419 data1_tag *data1_gettagbyname(data1_handle dh, data1_tagset *s,
420                               const char *name);
421
422 void data1_free_tree(data1_handle dh, data1_node *t);
423
424 char *data1_nodetobuf(data1_handle dh, data1_node *n,
425                       int select, int *len);
426
427 data1_node *data1_mk_tag_data_wd(data1_handle dh,
428                                  data1_node *at,
429                                  const char *tagname, NMEM m);
430 data1_node *data1_mk_tag_data(data1_handle dh, data1_node *at,
431                               const char *tagname, NMEM m);
432 data1_datatype data1_maptype(data1_handle dh, char *t);
433 data1_varset *data1_read_varset(data1_handle dh, const char *file);
434 data1_vartype *data1_getvartypebyct(data1_handle dh,
435                                     data1_varset *set,
436                                     char *zclass, char *type);
437 Z_Espec1 *data1_read_espec1(data1_handle dh, const char *file);
438 int data1_doespec1(data1_handle dh, data1_node *n, Z_Espec1 *e);
439
440 data1_esetname *data1_getesetbyname(data1_handle dh, 
441                                     data1_absyn *a,
442                                     const char *name);
443 data1_element *data1_getelementbyname(data1_handle dh,
444                                                  data1_absyn *absyn,
445                                                  const char *name);
446 data1_node *data1_mk_node2(data1_handle dh, NMEM m,
447                                       int type, data1_node *parent);
448
449 data1_node *data1_mk_tag (data1_handle dh, NMEM nmem, 
450                                      const char *tag, const char **attr,
451                                      data1_node *at);
452 data1_node *data1_mk_tag_n (data1_handle dh, NMEM nmem,
453                                        const char *tag, size_t len,
454                                        const char **attr,
455                                        data1_node *at);
456 void data1_tag_add_attr (data1_handle dh, NMEM nmem,
457                                     data1_node *res, const char **attr);
458
459 data1_node *data1_mk_text_n (data1_handle dh, NMEM mem,
460                                         const char *buf, size_t len,
461                                         data1_node *parent);
462 data1_node *data1_mk_text_nf (data1_handle dh, NMEM mem,
463                                          const char *buf, size_t len,
464                                          data1_node *parent);
465 data1_node *data1_mk_text (data1_handle dh, NMEM mem,
466                                       const char *buf, data1_node *parent);
467
468 data1_node *data1_mk_comment_n (data1_handle dh, NMEM mem,
469                                            const char *buf, size_t len,
470                                            data1_node *parent);
471
472 data1_node *data1_mk_comment (data1_handle dh, NMEM mem,
473                                          const char *buf, data1_node *parent);
474
475 data1_node *data1_mk_preprocess (data1_handle dh, NMEM nmem,
476                                             const char *target,
477                                             const char **attr,
478                                             data1_node *at);
479
480 data1_node *data1_mk_root (data1_handle dh, NMEM nmem,
481                                       const char *name);
482 void data1_set_root(data1_handle dh, data1_node *res,
483                                NMEM nmem, const char *name);
484
485 data1_node *data1_mk_tag_data_int (data1_handle dh, data1_node *at,
486                                               const char *tag, int num,
487                                               NMEM nmem);
488 data1_node *data1_mk_tag_data_oid (data1_handle dh, data1_node *at,
489                                               const char *tag, Odr_oid *oid,
490                                               NMEM nmem);
491 data1_node *data1_mk_tag_data_text (data1_handle dh, data1_node *at,
492                                                const char *tag,
493                                                const char *str,
494                                                NMEM nmem);
495 data1_node *data1_mk_tag_data_text_uni (data1_handle dh,
496                                                    data1_node *at,
497                                                    const char *tag,
498                                                    const char *str,
499                                                    NMEM nmem);
500
501 data1_absyn *data1_get_absyn (data1_handle dh, const char *name);
502
503 data1_node *data1_search_tag (data1_handle dh, data1_node *n,
504                                          const char *tag);
505 data1_node *data1_mk_tag_uni (data1_handle dh, NMEM nmem, 
506                                          const char *tag, data1_node *at);
507 data1_attset *data1_get_attset (data1_handle dh, const char *name);
508 data1_maptab *data1_read_maptab(data1_handle dh, const char *file);
509 data1_node *data1_map_record(data1_handle dh, data1_node *n,
510                                         data1_maptab *map, NMEM m);
511 data1_marctab *data1_read_marctab (data1_handle dh,
512                                               const char *file);
513 char *data1_nodetomarc(data1_handle dh, data1_marctab *p,
514                                   data1_node *n, int selected, int *len);
515 char *data1_nodetoidsgml(data1_handle dh, data1_node *n,
516                                     int select, int *len);
517 Z_ExplainRecord *data1_nodetoexplain(data1_handle dh,
518                                                 data1_node *n, int select,
519                                                 ODR o);
520 Z_BriefBib *data1_nodetosummary(data1_handle dh, 
521                                            data1_node *n, int select,
522                                            ODR o);
523 char *data1_nodetosoif(data1_handle dh, data1_node *n, int select,
524                                   int *len);
525 WRBUF data1_get_wrbuf (data1_handle dp);
526 char **data1_get_read_buf (data1_handle dp, int **lenp);
527 char **data1_get_map_buf (data1_handle dp, int **lenp);
528 data1_absyn_cache *data1_absyn_cache_get (data1_handle dh);
529 data1_attset_cache *data1_attset_cache_get (data1_handle dh);
530 NMEM data1_nmem_get (data1_handle dh);
531
532 void data1_pr_tree (data1_handle dh, data1_node *n, FILE *out);
533 void data1_print_tree (data1_handle dh, data1_node *n);
534
535
536 char *data1_insert_string (data1_handle dh, data1_node *res,
537                                       NMEM m, const char *str);
538 char *data1_insert_string_n (data1_handle dh, data1_node *res,
539                                         NMEM m, const char *str, size_t len);
540 data1_node *data1_read_sgml (data1_handle dh, NMEM m,
541                                         const char *buf);
542 /*
543 data1_node *data1_read_xml (data1_handle dh,
544                                        int (*rf)(void *, char *, size_t),
545                                        void *fh, NMEM m);
546 */
547 void data1_absyn_trav (data1_handle dh, void *handle,
548                                   void (*fh)(data1_handle dh,
549                                              void *h, data1_absyn *a));
550
551 data1_attset *data1_attset_search_id (data1_handle dh, int id);
552
553 char *data1_getNodeValue(data1_node* node, char* pTagPath);
554 data1_node *data1_LookupNode(data1_node* node, char* pTagPath);
555 int data1_CountOccurences(data1_node* node, char* pTagPath);
556
557  
558 FILE *data1_path_fopen (data1_handle dh, const char *file,
559                                    const char *mode);
560 void data1_set_tabpath(data1_handle dh, const char *path);
561 void data1_set_tabroot (data1_handle dp, const char *p);
562 const char *data1_get_tabpath(data1_handle dh);
563 const char *data1_get_tabroot(data1_handle dh);
564
565
566
567 /* =========================================================================
568  * Filter stuff
569  * ========================================================================= 
570  */
571 int grs_perl_readf(struct perl_context *context, size_t len);
572 int grs_perl_readline(struct perl_context *context);
573 char grs_perl_getc(struct perl_context *context);
574 off_t grs_perl_seekf(struct perl_context *context, off_t offset);
575 off_t grs_perl_tellf(struct perl_context *context);
576 void grs_perl_endf(struct perl_context *context, off_t offset);
577
578 data1_handle *grs_perl_get_dh(struct perl_context *context);
579 NMEM *grs_perl_get_mem(struct perl_context *context);
580 void grs_perl_set_res(struct perl_context *context, data1_node *n);
581