aafef3cc8bb244a2c3534ab3ba0e59c7e3cd8bde
[yazpp-moved-to-github.git] / include / yaz++ / proxy.h
1 /*
2  * Copyright (c) 1998-2004, Index Data.
3  * See the file LICENSE for details.
4  * 
5  * $Id: proxy.h,v 1.41 2004-02-27 00:42:57 adam Exp $
6  */
7
8 #include <sys/time.h>
9 #include <yaz++/z-assoc.h>
10 #include <yaz++/z-query.h>
11 #include <yaz++/z-databases.h>
12 #include <yaz/cql.h>
13 #if HAVE_XSLT
14 #include <libxml/parser.h>
15 #include <libxml/tree.h>
16 #include <libxslt/xsltutils.h>
17 #include <libxslt/transform.h>
18 #endif
19
20 class Yaz_Proxy;
21
22 #define MAX_ZURL_PLEX 10
23
24 #define PROXY_LOG_APDU_CLIENT 1
25 #define PROXY_LOG_APDU_SERVER 2
26 #define PROXY_LOG_REQ_CLIENT 4
27 #define PROXY_LOG_REQ_SERVER 8
28
29 struct Yaz_RecordCache_Entry;
30
31 class YAZ_EXPORT Yaz_ProxyConfig {
32 public:
33     Yaz_ProxyConfig();
34     ~Yaz_ProxyConfig();
35     int read_xml(const char *fname);
36
37     int get_target_no(int no,
38                       const char **name,
39                       const char **url,
40                       int *limit_bw,
41                       int *limit_pdu,
42                       int *limit_req,
43                       int *target_idletime,
44                       int *client_idletime,
45                       int *max_clients,
46                       int *keepalive_limit_bw,
47                       int *keepalive_limit_pdu,
48                       int *pre_init,
49                       const char **cql2rpn);
50     
51     void get_generic_info(int *log_mask, int *max_clients);
52
53     void get_target_info(const char *name, const char **url,
54                          int *limit_bw, int *limit_pdu, int *limit_req,
55                          int *target_idletime, int *client_idletime,
56                          int *max_clients,
57                          int *keepalive_limit_bw, int *keepalive_limit_pdu,
58                          int *pre_init,
59                          const char **cql2rpn);
60
61     int check_query(ODR odr, const char *name, Z_Query *query, char **addinfo);
62     int check_syntax(ODR odr, const char *name,
63                      Odr_oid *syntax, Z_RecordComposition *comp,
64                      char **addinfo, char **stylesheet, char **schema);
65     char *get_explain(ODR odr, const char *name, const char *db,
66                       int *len);
67 private:
68     void operator=(const Yaz_ProxyConfig &conf);
69     int mycmp(const char *hay, const char *item, size_t len);
70 #if HAVE_XSLT
71     int check_schema(xmlNodePtr ptr, Z_RecordComposition *comp,
72                      const char *schema_identifier);
73     xmlDocPtr m_docPtr;
74     xmlNodePtr m_proxyPtr;
75     void return_target_info(xmlNodePtr ptr, const char **url,
76                             int *limit_bw, int *limit_pdu, int *limit_req,
77                             int *target_idletime, int *client_idletime,
78                             int *keepalive_limit_bw, int *keepalive_limit_pdu,
79                             int *pre_init, const char **cql2rpn);
80     void return_limit(xmlNodePtr ptr,
81                       int *limit_bw, int *limit_pdu, int *limit_req);
82     int check_type_1(ODR odr, xmlNodePtr ptr, Z_RPNQuery *query,
83                      char **addinfo);
84     xmlNodePtr find_target_node(const char *name, const char *db);
85     xmlNodePtr find_target_db(xmlNodePtr ptr, const char *db);
86     const char *get_text(xmlNodePtr ptr);
87     int check_type_1_attributes(ODR odr, xmlNodePtr ptr,
88                                 Z_AttributeList *attrs,
89                                 char **addinfo);
90     int check_type_1_structure(ODR odr, xmlNodePtr ptr, Z_RPNStructure *q,
91                                char **addinfo);
92 #endif
93     int m_copy;
94     int match_list(int v, const char *m);
95     int atoi_l(const char **cp);
96 };
97
98 class YAZ_EXPORT Yaz_RecordCache {
99  public:
100     Yaz_RecordCache ();
101     ~Yaz_RecordCache ();
102     void add (ODR o, Z_NamePlusRecordList *npr, int start, int hits);
103     
104     int lookup (ODR o, Z_NamePlusRecordList **npr, int start, int num,
105                 Odr_oid *syntax, Z_RecordComposition *comp);
106     void clear();
107
108     void copy_searchRequest(Z_SearchRequest *sr);
109     void copy_presentRequest(Z_PresentRequest *pr);
110     void set_max_size(int sz);
111  private:
112     NMEM m_mem;
113     Yaz_RecordCache_Entry *m_entries;
114     Z_SearchRequest *m_searchRequest;
115     Z_PresentRequest *m_presentRequest;
116     int match (Yaz_RecordCache_Entry *entry,
117                Odr_oid *syntax, int offset,
118                Z_RecordComposition *comp);
119     int m_max_size;
120 };
121
122 class YAZ_EXPORT Yaz_bw {
123  public:
124     Yaz_bw(int sz);
125     ~Yaz_bw();
126     void add_bytes(int m);
127     int get_total();
128  private:
129     long m_sec;   // time of most recent bucket
130     int *m_bucket;
131     int m_ptr;
132     int m_size;
133 };
134
135 /// Private class
136 class YAZ_EXPORT Yaz_ProxyClient : public Yaz_Z_Assoc {
137     friend class Yaz_Proxy;
138     Yaz_ProxyClient(IYaz_PDU_Observable *the_PDU_Observable,
139                     Yaz_Proxy *parent);
140     ~Yaz_ProxyClient();
141     void recv_GDU(Z_GDU *apdu, int len);
142     void recv_Z_PDU(Z_APDU *apdu, int len);
143     void recv_HTTP_response(Z_HTTP_Response *apdu, int len);
144     IYaz_PDU_Observer* sessionNotify
145         (IYaz_PDU_Observable *the_PDU_Observable, int fd);
146     void shutdown();
147     Yaz_Proxy *m_server;
148     void failNotify();
149     void timeoutNotify();
150     void connectNotify();
151     int send_to_target(Z_APDU *apdu);
152     const char *get_session_str();
153     char *m_cookie;
154     Yaz_ProxyClient *m_next;
155     Yaz_ProxyClient **m_prev;
156     int m_init_flag;
157     Yaz_Z_Query *m_last_query;
158     Yaz_Z_Databases m_last_databases;
159     char *m_last_resultSetId;
160     int m_last_ok;
161     int m_last_resultCount;
162     int m_sr_transform;
163     int m_seqno;
164     int m_waiting;
165     int m_resultSetStartPoint;
166     int m_bytes_sent;
167     int m_bytes_recv;
168     int m_pdu_recv;
169     ODR m_init_odr;
170     Z_APDU *m_initResponse;
171     Z_Options *m_initResponse_options;
172     Z_ProtocolVersion *m_initResponse_version;
173     int m_initResponse_preferredMessageSize;
174     int m_initResponse_maximumRecordSize;
175     Yaz_RecordCache m_cache;
176     void pre_init_client();
177     int m_target_idletime;
178     Yaz_Proxy *m_root;
179 };
180
181 class YAZ_EXPORT Yaz_cql2rpn {
182  public:
183     Yaz_cql2rpn();
184     ~Yaz_cql2rpn();
185     void set_pqf_file(const char *fname);
186     int query_transform(const char *cql, Z_RPNQuery **rpnquery, ODR o,
187                         char **addinfop);
188  private:
189     cql_transform_t m_transform;
190 };
191
192
193 /// Information Retrieval Proxy Server.
194 class YAZ_EXPORT Yaz_Proxy : public Yaz_Z_Assoc {
195  private:
196     char *get_cookie(Z_OtherInformation **otherInfo);
197     char *get_proxy(Z_OtherInformation **otherInfo);
198     Yaz_ProxyClient *get_client(Z_APDU *apdu, const char *cookie,
199                                 const char *proxy_host);
200     Z_APDU *result_set_optimize(Z_APDU *apdu);
201     void shutdown();
202     
203     Yaz_ProxyClient *m_client;
204     IYaz_PDU_Observable *m_PDU_Observable;
205     Yaz_ProxyClient *m_clientPool;
206     Yaz_Proxy *m_parent;
207     int m_seqno;
208     int m_max_clients;
209     int m_log_mask;
210     int m_keepalive_limit_bw;
211     int m_keepalive_limit_pdu;
212     int m_client_idletime;
213     int m_target_idletime;
214     char *m_proxyTarget;
215     char *m_default_target;
216     char *m_proxy_authentication;
217     long m_seed;
218     char *m_optimize;
219     int m_session_no;         // sequence for each client session
220     char m_session_str[30];  // session string (time:session_no)
221     Yaz_ProxyConfig *m_config;
222     char *m_config_fname;
223     int m_bytes_sent;
224     int m_bytes_recv;
225     int m_bw_max;
226     Yaz_bw m_bw_stat;
227     int m_pdu_max;
228     Yaz_bw m_pdu_stat;
229     Z_GDU *m_bw_hold_PDU;
230     int m_max_record_retrieve;
231     void handle_max_record_retrieve(Z_APDU *apdu);
232     void display_diagrecs(Z_DiagRec **pp, int num);
233     Z_Records *create_nonSurrogateDiagnostics(ODR o, int error,
234                                               const char *addinfo);
235
236     Z_APDU *handle_query_validation(Z_APDU *apdu);
237     Z_APDU *handle_query_transformation(Z_APDU *apdu);
238
239     Z_APDU *handle_syntax_validation(Z_APDU *apdu);
240     const char *load_balance(const char **url);
241     int m_reconfig_flag;
242     Yaz_ProxyConfig *check_reconfigure();
243     int m_request_no;
244     int m_invalid_session;
245     int m_marcxml_flag;
246     xsltStylesheetPtr m_stylesheet_xsp;
247     int m_stylesheet_offset;
248     Z_APDU *m_stylesheet_apdu;
249     Z_NamePlusRecordList *m_stylesheet_nprl;
250     char *m_schema;
251     void convert_to_marcxml(Z_NamePlusRecordList *p);
252     int convert_xsl(Z_NamePlusRecordList *p, Z_APDU *apdu);
253     void convert_xsl_delay();
254     Z_APDU *m_initRequest_apdu;
255     int m_initRequest_preferredMessageSize;
256     int m_initRequest_maximumRecordSize;
257     Z_Options *m_initRequest_options;
258     Z_ProtocolVersion *m_initRequest_version;
259     NMEM m_initRequest_mem;
260     Z_APDU *m_apdu_invalid_session;
261     NMEM m_mem_invalid_session;
262     int send_PDU_convert(Z_APDU *apdu);
263     ODR m_s2z_odr_init;
264     ODR m_s2z_odr_search;
265     int m_s2z_hit_count;
266     int m_s2z_packing;
267     char *m_s2z_database;
268     Z_APDU *m_s2z_init_apdu;
269     Z_APDU *m_s2z_search_apdu;
270     Z_APDU *m_s2z_present_apdu;
271     char *m_s2z_stylesheet;
272     char *m_soap_ns;
273     int send_to_srw_client_error(int error, const char *add);
274     int send_to_srw_client_ok(int hits, Z_Records *records, int start);
275     int send_http_response(int code);
276     int send_srw_response(Z_SRW_PDU *srw_pdu);
277     int send_srw_explain_response(Z_SRW_diagnostic *diagnostics,
278                                   int num_diagnostics);
279     int z_to_srw_diag(ODR o, Z_SRW_searchRetrieveResponse *srw_res,
280                       Z_DefaultDiagFormat *ddf);
281     int m_http_keepalive;
282     const char *m_http_version;
283     Yaz_cql2rpn m_cql2rpn;
284     struct timeval m_time_tv;
285     void logtime();
286     Z_ElementSetNames *mk_esn_from_schema(ODR o, const char *schema);
287     Z_ReferenceId *m_referenceId;
288     NMEM m_referenceId_mem;
289 #define NO_SPARE_SOLARIS_FD 10
290     int m_lo_fd[NO_SPARE_SOLARIS_FD];
291     void low_socket_open();
292     void low_socket_close();
293  public:
294     Yaz_Proxy(IYaz_PDU_Observable *the_PDU_Observable,
295               Yaz_Proxy *parent = 0);
296     ~Yaz_Proxy();
297     void inc_request_no();
298     void recv_GDU(Z_GDU *apdu, int len);
299     void handle_incoming_HTTP(Z_HTTP_Request *req);
300     void handle_incoming_Z_PDU(Z_APDU *apdu);
301     IYaz_PDU_Observer* sessionNotify
302         (IYaz_PDU_Observable *the_PDU_Observable, int fd);
303     void failNotify();
304     void timeoutNotify();
305     void connectNotify();
306     void markInvalid();
307     const char *option(const char *name, const char *value);
308     void set_default_target(const char *target);
309     void set_proxy_authentication (const char *auth);
310     char *get_proxy_target() { return m_proxyTarget; };
311     char *get_session_str() { return m_session_str; };
312     void set_max_clients(int m) { m_max_clients = m; };
313     void set_client_idletime (int t) { m_client_idletime = (t > 1) ? t : 600; };
314     void set_target_idletime (int t) { m_target_idletime = (t > 1) ? t : 600; };
315     int get_target_idletime () { return m_target_idletime; }
316     int set_config(const char *name);
317     void reconfig() { m_reconfig_flag = 1; }
318     int send_to_client(Z_APDU *apdu);
319     int server(const char *addr);
320     void pre_init();
321     int get_log_mask() { return m_log_mask; };
322     int handle_init_response_for_invalid_session(Z_APDU *apdu);
323 };
324