include/yaz++/proxy.h

   1 /*
   2  * Copyright (c) 1998-2004, Index Data.
   3  * See the file LICENSE for details.
   4  *
   5  * $Id: proxy.h,v 1.39 2004-02-10 15:02:19 adam Exp $
   6  */
   7
   8 #include <sys/time.h>
   9 #include <yaz++/z-assoc.h>
  10 #include <yaz++/z-query.h>
  11 #include <yaz++/z-databases.h>
  12 #include <yaz/cql.h>
  13 #if HAVE_XSLT
  14 #include <libxml/parser.h>
  15 #include <libxml/tree.h>
  16 #include <libxslt/xsltutils.h>
  17 #include <libxslt/transform.h>
  18 #endif
  19
  20 class Yaz_Proxy;
  21
  22 #define MAX_ZURL_PLEX 10
  23
  24 #define PROXY_LOG_APDU_CLIENT 1
  25 #define PROXY_LOG_APDU_SERVER 2
  26 #define PROXY_LOG_REQ_CLIENT 4
  27 #define PROXY_LOG_REQ_SERVER 8
  28
  29 struct Yaz_RecordCache_Entry;
  30
  31 class YAZ_EXPORT Yaz_ProxyConfig {
  32 public:
  33     Yaz_ProxyConfig();
  34     ~Yaz_ProxyConfig();
  35     int read_xml(const char *fname);
  36
  37     int get_target_no(int no,
  38                       const char **name,
  39                       const char **url,
  40                       int *limit_bw,
  41                       int *limit_pdu,
  42                       int *limit_req,
  43                       int *target_idletime,
  44                       int *client_idletime,
  45                       int *max_clients,
  46                       int *keepalive_limit_bw,
  47                       int *keepalive_limit_pdu,
  48                       int *pre_init,
  49                       const char **cql2rpn);
  50
  51     void get_generic_info(int *log_mask, int *max_clients);
  52
  53     void get_target_info(const char *name, const char **url,
  54                          int *limit_bw, int *limit_pdu, int *limit_req,
  55                          int *target_idletime, int *client_idletime,
  56                          int *max_clients,
  57                          int *keepalive_limit_bw, int *keepalive_limit_pdu,
  58                          int *pre_init,
  59                          const char **cql2rpn);
  60
  61     int check_query(ODR odr, const char *name, Z_Query *query, char **addinfo);
  62     int check_syntax(ODR odr, const char *name,
  63                      Odr_oid *syntax, Z_RecordComposition *comp,
  64                      char **addinfo, char **stylesheet, char **schema);
  65     char *get_explain(ODR odr, const char *name, const char *db,
  66                       int *len);
  67 private:
  68     void operator=(const Yaz_ProxyConfig &conf);
  69     int mycmp(const char *hay, const char *item, size_t len);
  70 #if HAVE_XSLT
  71     int check_schema(xmlNodePtr ptr, Z_RecordComposition *comp,
  72                      const char *schema_identifier);
  73     xmlDocPtr m_docPtr;
  74     xmlNodePtr m_proxyPtr;
  75     void return_target_info(xmlNodePtr ptr, const char **url,
  76                             int *limit_bw, int *limit_pdu, int *limit_req,
  77                             int *target_idletime, int *client_idletime,
  78                             int *keepalive_limit_bw, int *keepalive_limit_pdu,
  79                             int *pre_init, const char **cql2rpn);
  80     void return_limit(xmlNodePtr ptr,
  81                       int *limit_bw, int *limit_pdu, int *limit_req);
  82     int check_type_1(ODR odr, xmlNodePtr ptr, Z_RPNQuery *query,
  83                      char **addinfo);
  84     xmlNodePtr find_target_node(const char *name, const char *db);
  85     xmlNodePtr find_target_db(xmlNodePtr ptr, const char *db);
  86     const char *get_text(xmlNodePtr ptr);
  87     int check_type_1_attributes(ODR odr, xmlNodePtr ptr,
  88                                 Z_AttributeList *attrs,
  89                                 char **addinfo);
  90     int check_type_1_structure(ODR odr, xmlNodePtr ptr, Z_RPNStructure *q,
  91                                char **addinfo);
  92 #endif
  93     int m_copy;
  94     int match_list(int v, const char *m);
  95     int atoi_l(const char **cp);
  96
  97 };
  98
  99 class YAZ_EXPORT Yaz_RecordCache {
 100  public:
 101     Yaz_RecordCache ();
 102     ~Yaz_RecordCache ();
 103     void add (ODR o, Z_NamePlusRecordList *npr, int start, int hits);
 104
 105     int lookup (ODR o, Z_NamePlusRecordList **npr, int start, int num,
 106                 Odr_oid *syntax, Z_RecordComposition *comp);
 107     void clear();
 108
 109     void copy_searchRequest(Z_SearchRequest *sr);
 110     void copy_presentRequest(Z_PresentRequest *pr);
 111     void set_max_size(int sz);
 112  private:
 113     NMEM m_mem;
 114     Yaz_RecordCache_Entry *m_entries;
 115     Z_SearchRequest *m_searchRequest;
 116     Z_PresentRequest *m_presentRequest;
 117     int match (Yaz_RecordCache_Entry *entry,
 118                Odr_oid *syntax, int offset,
 119                Z_RecordComposition *comp);
 120     int m_max_size;
 121 };
 122
 123 class YAZ_EXPORT Yaz_bw {
 124  public:
 125     Yaz_bw(int sz);
 126     ~Yaz_bw();
 127     void add_bytes(int m);
 128     int get_total();
 129  private:
 130     long m_sec;   // time of most recent bucket
 131     int *m_bucket;
 132     int m_ptr;
 133     int m_size;
 134 };
 135
 136 /// Private class
 137 class YAZ_EXPORT Yaz_ProxyClient : public Yaz_Z_Assoc {
 138     friend class Yaz_Proxy;
 139     Yaz_ProxyClient(IYaz_PDU_Observable *the_PDU_Observable,
 140                     Yaz_Proxy *parent);
 141     ~Yaz_ProxyClient();
 142     void recv_GDU(Z_GDU *apdu, int len);
 143     void recv_Z_PDU(Z_APDU *apdu, int len);
 144     void recv_HTTP_response(Z_HTTP_Response *apdu, int len);
 145     IYaz_PDU_Observer* sessionNotify
 146         (IYaz_PDU_Observable *the_PDU_Observable, int fd);
 147     void shutdown();
 148     Yaz_Proxy *m_server;
 149     void failNotify();
 150     void timeoutNotify();
 151     void connectNotify();
 152     int send_to_target(Z_APDU *apdu);
 153     const char *get_session_str();
 154     char *m_cookie;
 155     Yaz_ProxyClient *m_next;
 156     Yaz_ProxyClient **m_prev;
 157     int m_init_flag;
 158     Yaz_Z_Query *m_last_query;
 159     Yaz_Z_Databases m_last_databases;
 160     char *m_last_resultSetId;
 161     int m_last_ok;
 162     int m_last_resultCount;
 163     int m_sr_transform;
 164     int m_seqno;
 165     int m_waiting;
 166     int m_resultSetStartPoint;
 167     int m_bytes_sent;
 168     int m_bytes_recv;
 169     int m_pdu_recv;
 170     ODR m_init_odr;
 171     Z_APDU *m_initResponse;
 172     Z_Options *m_initResponse_options;
 173     Z_ProtocolVersion *m_initResponse_version;
 174     Yaz_RecordCache m_cache;
 175     void pre_init_client();
 176     int m_target_idletime;
 177     Yaz_Proxy *m_root;
 178 };
 179
 180 class YAZ_EXPORT Yaz_cql2rpn {
 181  public:
 182     Yaz_cql2rpn();
 183     ~Yaz_cql2rpn();
 184     void set_pqf_file(const char *fname);
 185     int query_transform(const char *cql, Z_RPNQuery **rpnquery, ODR o,
 186                         char **addinfop);
 187  private:
 188     cql_transform_t m_transform;
 189 };
 190
 191
 192 /// Information Retrieval Proxy Server.
 193 class YAZ_EXPORT Yaz_Proxy : public Yaz_Z_Assoc {
 194  private:
 195     char *get_cookie(Z_OtherInformation **otherInfo);
 196     char *get_proxy(Z_OtherInformation **otherInfo);
 197     Yaz_ProxyClient *get_client(Z_APDU *apdu, const char *cookie,
 198                                 const char *proxy_host);
 199     Z_APDU *result_set_optimize(Z_APDU *apdu);
 200     void shutdown();
 201
 202     Yaz_ProxyClient *m_client;
 203     IYaz_PDU_Observable *m_PDU_Observable;
 204     Yaz_ProxyClient *m_clientPool;
 205     Yaz_Proxy *m_parent;
 206     int m_seqno;
 207     int m_max_clients;
 208     int m_log_mask;
 209     int m_keepalive_limit_bw;
 210     int m_keepalive_limit_pdu;
 211     int m_client_idletime;
 212     int m_target_idletime;
 213     char *m_proxyTarget;
 214     char *m_default_target;
 215     char *m_proxy_authentication;
 216     long m_seed;
 217     char *m_optimize;
 218     int m_session_no;         // sequence for each client session
 219     char m_session_str[30];  // session string (time:session_no)
 220     Yaz_ProxyConfig *m_config;
 221     char *m_config_fname;
 222     int m_bytes_sent;
 223     int m_bytes_recv;
 224     int m_bw_max;
 225     Yaz_bw m_bw_stat;
 226     int m_pdu_max;
 227     Yaz_bw m_pdu_stat;
 228     Z_GDU *m_bw_hold_PDU;
 229     int m_max_record_retrieve;
 230     void handle_max_record_retrieve(Z_APDU *apdu);
 231     void display_diagrecs(Z_DiagRec **pp, int num);
 232     Z_Records *create_nonSurrogateDiagnostics(ODR o, int error,
 233                                               const char *addinfo);
 234
 235     Z_APDU *handle_query_validation(Z_APDU *apdu);
 236     Z_APDU *handle_query_transformation(Z_APDU *apdu);
 237
 238     Z_APDU *handle_syntax_validation(Z_APDU *apdu);
 239     const char *load_balance(const char **url);
 240     int m_reconfig_flag;
 241     Yaz_ProxyConfig *check_reconfigure();
 242     int m_request_no;
 243     int m_invalid_session;
 244     int m_marcxml_flag;
 245     xsltStylesheetPtr m_stylesheet_xsp;
 246     int m_stylesheet_offset;
 247     Z_APDU *m_stylesheet_apdu;
 248     Z_NamePlusRecordList *m_stylesheet_nprl;
 249     char *m_schema;
 250     void convert_to_marcxml(Z_NamePlusRecordList *p);
 251     int convert_xsl(Z_NamePlusRecordList *p, Z_APDU *apdu);
 252     void convert_xsl_delay();
 253     Z_APDU *m_initRequest_apdu;
 254     Z_Options *m_initRequest_options;
 255     Z_ProtocolVersion *m_initRequest_version;
 256     NMEM m_initRequest_mem;
 257     Z_APDU *m_apdu_invalid_session;
 258     NMEM m_mem_invalid_session;
 259     int send_PDU_convert(Z_APDU *apdu);
 260     ODR m_s2z_odr_init;
 261     ODR m_s2z_odr_search;
 262     int m_s2z_hit_count;
 263     int m_s2z_packing;
 264     char *m_s2z_database;
 265     Z_APDU *m_s2z_init_apdu;
 266     Z_APDU *m_s2z_search_apdu;
 267     Z_APDU *m_s2z_present_apdu;
 268     char *m_s2z_stylesheet;
 269     char *m_soap_ns;
 270     int send_to_srw_client_error(int error, const char *add);
 271     int send_to_srw_client_ok(int hits, Z_Records *records, int start);
 272     int send_http_response(int code);
 273     int send_srw_response(Z_SRW_PDU *srw_pdu);
 274     int send_srw_explain_response(Z_SRW_diagnostic *diagnostics,
 275                                   int num_diagnostics);
 276     int z_to_srw_diag(ODR o, Z_SRW_searchRetrieveResponse *srw_res,
 277                       Z_DefaultDiagFormat *ddf);
 278     int m_http_keepalive;
 279     const char *m_http_version;
 280     Yaz_cql2rpn m_cql2rpn;
 281     struct timeval m_time_tv;
 282     void logtime();
 283     Z_ElementSetNames *mk_esn_from_schema(ODR o, const char *schema);
 284     Z_ReferenceId *m_referenceId;
 285     NMEM m_referenceId_mem;
 286  public:
 287     Yaz_Proxy(IYaz_PDU_Observable *the_PDU_Observable,
 288               Yaz_Proxy *parent = 0);
 289     ~Yaz_Proxy();
 290     void inc_request_no();
 291     void recv_GDU(Z_GDU *apdu, int len);
 292     void handle_incoming_HTTP(Z_HTTP_Request *req);
 293     void handle_incoming_Z_PDU(Z_APDU *apdu);
 294     IYaz_PDU_Observer* sessionNotify
 295         (IYaz_PDU_Observable *the_PDU_Observable, int fd);
 296     void failNotify();
 297     void timeoutNotify();
 298     void connectNotify();
 299     void markInvalid();
 300     const char *option(const char *name, const char *value);
 301     void set_default_target(const char *target);
 302     void set_proxy_authentication (const char *auth);
 303     char *get_proxy_target() { return m_proxyTarget; };
 304     char *get_session_str() { return m_session_str; };
 305     void set_max_clients(int m) { m_max_clients = m; };
 306     void set_client_idletime (int t) { m_client_idletime = (t > 1) ? t : 600; };
 307     void set_target_idletime (int t) { m_target_idletime = (t > 1) ? t : 600; };
 308     int get_target_idletime () { return m_target_idletime; }
 309     int set_config(const char *name);
 310     void reconfig() { m_reconfig_flag = 1; }
 311     int send_to_client(Z_APDU *apdu);
 312     int server(const char *addr);
 313     void pre_init();
 314     int get_log_mask() { return m_log_mask; };
 315     int handle_init_response_for_invalid_session(Z_APDU *apdu);
 316 };
 317