src/filter_z3950_client.cpp

   1 /* This file is part of Metaproxy.
   2    Copyright (C) 2005-2008 Index Data
   3
   4 Metaproxy is free software; you can redistribute it and/or modify it under
   5 the terms of the GNU General Public License as published by the Free
   6 Software Foundation; either version 2, or (at your option) any later
   7 version.
   8
   9 Metaproxy is distributed in the hope that it will be useful, but WITHOUT ANY
  10 WARRANTY; without even the implied warranty of MERCHANTABILITY or
  11 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  12 for more details.
  13
  14 You should have received a copy of the GNU General Public License
  15 along with this program; if not, write to the Free Software
  16 Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
  17 */
  18
  19 #include "config.hpp"
  20
  21 #include "filter.hpp"
  22 #include "package.hpp"
  23 #include "util.hpp"
  24 #include "filter_z3950_client.hpp"
  25
  26 #include <map>
  27 #include <stdexcept>
  28 #include <list>
  29 #include <iostream>
  30
  31 #include <boost/thread/mutex.hpp>
  32 #include <boost/thread/condition.hpp>
  33 #include <boost/thread/xtime.hpp>
  34
  35 #include <yaz/zgdu.h>
  36 #include <yaz/log.h>
  37 #include <yaz/otherinfo.h>
  38 #include <yaz/diagbib1.h>
  39
  40 #include <yazpp/socket-manager.h>
  41 #include <yazpp/pdu-assoc.h>
  42 #include <yazpp/z-assoc.h>
  43
  44 namespace mp = metaproxy_1;
  45 namespace yf = mp::filter;
  46
  47 namespace metaproxy_1 {
  48     namespace filter {
  49         class Z3950Client::Assoc : public yazpp_1::Z_Assoc{
  50             friend class Rep;
  51             Assoc(yazpp_1::SocketManager *socket_manager,
  52                   yazpp_1::IPDU_Observable *PDU_Observable,
  53                   std::string host, int timeout);
  54             ~Assoc();
  55             void connectNotify();
  56             void failNotify();
  57             void timeoutNotify();
  58             void recv_GDU(Z_GDU *gdu, int len);
  59             yazpp_1::IPDU_Observer* sessionNotify(
  60                 yazpp_1::IPDU_Observable *the_PDU_Observable,
  61                 int fd);
  62
  63             yazpp_1::SocketManager *m_socket_manager;
  64             yazpp_1::IPDU_Observable *m_PDU_Observable;
  65             Package *m_package;
  66             bool m_in_use;
  67             bool m_waiting;
  68             bool m_destroyed;
  69             bool m_connected;
  70             int m_queue_len;
  71             int m_time_elapsed;
  72             int m_time_max;
  73             std::string m_host;
  74         };
  75
  76         class Z3950Client::Rep {
  77         public:
  78             // number of seconds to wait before we give up request
  79             int m_timeout_sec;
  80             int m_max_sockets;
  81             std::string m_default_target;
  82             std::string m_force_target;
  83             boost::mutex m_mutex;
  84             boost::condition m_cond_session_ready;
  85             std::map<mp::Session,Z3950Client::Assoc *> m_clients;
  86             Z3950Client::Assoc *get_assoc(Package &package);
  87             void send_and_receive(Package &package,
  88                                   yf::Z3950Client::Assoc *c);
  89             void release_assoc(Package &package);
  90         };
  91     }
  92 }
  93
  94 using namespace mp;
  95
  96 yf::Z3950Client::Assoc::Assoc(yazpp_1::SocketManager *socket_manager,
  97                               yazpp_1::IPDU_Observable *PDU_Observable,
  98                               std::string host, int timeout_sec)
  99     :  Z_Assoc(PDU_Observable),
 100        m_socket_manager(socket_manager), m_PDU_Observable(PDU_Observable),
 101        m_package(0), m_in_use(true), m_waiting(false),
 102        m_destroyed(false), m_connected(false), m_queue_len(1),
 103        m_time_elapsed(0), m_time_max(timeout_sec),
 104        m_host(host)
 105 {
 106     // std::cout << "create assoc " << this << "\n";
 107 }
 108
 109 yf::Z3950Client::Assoc::~Assoc()
 110 {
 111     // std::cout << "destroy assoc " << this << "\n";
 112 }
 113
 114 void yf::Z3950Client::Assoc::connectNotify()
 115 {
 116     m_waiting = false;
 117
 118     m_connected = true;
 119 }
 120
 121 void yf::Z3950Client::Assoc::failNotify()
 122 {
 123     m_waiting = false;
 124
 125     mp::odr odr;
 126
 127     if (m_package)
 128     {
 129         Z_GDU *gdu = m_package->request().get();
 130         Z_APDU *apdu = 0;
 131         if (gdu && gdu->which == Z_GDU_Z3950)
 132             apdu = gdu->u.z3950;
 133
 134         m_package->response() = odr.create_close(apdu, Z_Close_peerAbort, 0);
 135         m_package->session().close();
 136     }
 137 }
 138
 139 void yf::Z3950Client::Assoc::timeoutNotify()
 140 {
 141     m_time_elapsed++;
 142     if (m_time_elapsed >= m_time_max)
 143     {
 144         m_waiting = false;
 145
 146         mp::odr odr;
 147
 148         if (m_package)
 149         {
 150             Z_GDU *gdu = m_package->request().get();
 151             Z_APDU *apdu = 0;
 152             if (gdu && gdu->which == Z_GDU_Z3950)
 153                 apdu = gdu->u.z3950;
 154
 155             if (m_connected)
 156                 m_package->response() =
 157                     odr.create_close(apdu, Z_Close_lackOfActivity, 0);
 158             else
 159                 m_package->response() =
 160                     odr.create_close(apdu, Z_Close_peerAbort, 0);
 161
 162             m_package->session().close();
 163         }
 164     }
 165 }
 166
 167 void yf::Z3950Client::Assoc::recv_GDU(Z_GDU *gdu, int len)
 168 {
 169     m_waiting = false;
 170
 171     if (m_package)
 172         m_package->response() = gdu;
 173 }
 174
 175 yazpp_1::IPDU_Observer *yf::Z3950Client::Assoc::sessionNotify(
 176     yazpp_1::IPDU_Observable *the_PDU_Observable,
 177     int fd)
 178 {
 179     return 0;
 180 }
 181
 182
 183 yf::Z3950Client::Z3950Client() :  m_p(new yf::Z3950Client::Rep)
 184 {
 185     m_p->m_timeout_sec = 30;
 186     m_p->m_max_sockets = 0;
 187 }
 188
 189 yf::Z3950Client::~Z3950Client() {
 190 }
 191
 192 yf::Z3950Client::Assoc *yf::Z3950Client::Rep::get_assoc(Package &package)
 193 {
 194     // only one thread messes with the clients list at a time
 195     boost::mutex::scoped_lock lock(m_mutex);
 196
 197     std::map<mp::Session,yf::Z3950Client::Assoc *>::iterator it;
 198
 199     Z_GDU *gdu = package.request().get();
 200     // only deal with Z39.50
 201     if (!gdu || gdu->which != Z_GDU_Z3950)
 202     {
 203         package.move();
 204         return 0;
 205     }
 206     it = m_clients.find(package.session());
 207     if (it != m_clients.end())
 208     {
 209         it->second->m_queue_len++;
 210         while(true)
 211         {
 212 #if 0
 213             // double init .. NOT working yet
 214             if (gdu && gdu->which == Z_GDU_Z3950 &&
 215                 gdu->u.z3950->which == Z_APDU_initRequest)
 216             {
 217                 yazpp_1::SocketManager *s = it->second->m_socket_manager;
 218                 delete it->second;  // destroy Z_Assoc
 219                 delete s;    // then manager
 220                 m_clients.erase(it);
 221                 break;
 222             }
 223 #endif
 224             if (!it->second->m_in_use)
 225             {
 226                 it->second->m_in_use = true;
 227                 return it->second;
 228             }
 229             m_cond_session_ready.wait(lock);
 230         }
 231     }
 232     // new Z39.50 session ..
 233     Z_APDU *apdu = gdu->u.z3950;
 234     // check that it is init. If not, close
 235     if (apdu->which != Z_APDU_initRequest)
 236     {
 237         mp::odr odr;
 238
 239         package.response() = odr.create_close(apdu,
 240                                               Z_Close_protocolError,
 241                                               "First PDU was not an "
 242                                               "Initialize Request");
 243         package.session().close();
 244         return 0;
 245     }
 246     std::string target = m_force_target;
 247     if (!target.length())
 248     {
 249         target = m_default_target;
 250         std::list<std::string> vhosts;
 251         mp::util::remove_vhost_otherinfo(&apdu->u.initRequest->otherInfo,
 252                                          vhosts);
 253         size_t no_vhosts = vhosts.size();
 254         if (no_vhosts == 1)
 255         {
 256             std::list<std::string>::const_iterator v_it = vhosts.begin();
 257             target = *v_it;
 258         }
 259         else if (no_vhosts == 0)
 260         {
 261             if (!target.length())
 262             {
 263                 // no default target. So we don't know where to connect
 264                 mp::odr odr;
 265                 package.response() = odr.create_initResponse(
 266                     apdu,
 267                     YAZ_BIB1_INIT_NEGOTIATION_OPTION_REQUIRED,
 268                     "z3950_client: No virtal host given");
 269
 270                 package.session().close();
 271                 return 0;
 272             }
 273         }
 274         else if (no_vhosts > 1)
 275         {
 276             mp::odr odr;
 277             package.response() = odr.create_initResponse(
 278                 apdu,
 279                 YAZ_BIB1_COMBI_OF_SPECIFIED_DATABASES_UNSUPP,
 280                 "z3950_client: Can not cope with multiple vhosts");
 281             package.session().close();
 282             return 0;
 283         }
 284     }
 285
 286     std::list<std::string> dblist;
 287     std::string host;
 288     mp::util::split_zurl(target, host, dblist);
 289
 290     if (dblist.size())
 291     {
 292         ; // z3950_client: Databases in vhost ignored
 293     }
 294
 295     while (m_max_sockets)
 296     {
 297         int number = 0;
 298         it = m_clients.begin();
 299         for (; it != m_clients.end(); it++)
 300         {
 301             yf::Z3950Client::Assoc *as = it->second;
 302             if (!strcmp(as->get_hostname(), host.c_str()))
 303                 number++;
 304         }
 305         if (number < m_max_sockets)
 306             break;
 307         boost::xtime xt;
 308         xtime_get(&xt, boost::TIME_UTC);
 309
 310         xt.sec += 15;
 311         if (!m_cond_session_ready.timed_wait(lock, xt))
 312         {
 313             mp::odr odr;
 314
 315             package.response() = odr.create_initResponse(
 316                 apdu, YAZ_BIB1_TEMPORARY_SYSTEM_ERROR, "max sessions");
 317             package.session().close();
 318             return 0;
 319         }
 320     }
 321
 322     yazpp_1::SocketManager *sm = new yazpp_1::SocketManager;
 323     yazpp_1::PDU_Assoc *pdu_as = new yazpp_1::PDU_Assoc(sm);
 324     yf::Z3950Client::Assoc *as = new yf::Z3950Client::Assoc(sm, pdu_as,
 325                                                             host.c_str(),
 326                                                             m_timeout_sec);
 327     m_clients[package.session()] = as;
 328     return as;
 329 }
 330
 331 void yf::Z3950Client::Rep::send_and_receive(Package &package,
 332                                             yf::Z3950Client::Assoc *c)
 333 {
 334     Z_GDU *gdu = package.request().get();
 335
 336     if (c->m_destroyed)
 337         return;
 338
 339     if (!gdu || gdu->which != Z_GDU_Z3950)
 340         return;
 341
 342     c->m_time_elapsed = 0;
 343     c->m_package = &package;
 344     c->m_waiting = true;
 345     if (!c->m_connected)
 346     {
 347         c->client(c->m_host.c_str());
 348         c->timeout(1);  // so timeoutNotify gets called once per second
 349
 350         while (!c->m_destroyed && c->m_waiting
 351                && c->m_socket_manager->processEvent() > 0)
 352             ;
 353     }
 354     if (!c->m_connected)
 355     {
 356         return;
 357     }
 358
 359     // prepare response
 360     c->m_time_elapsed = 0;
 361     c->m_waiting = true;
 362
 363     // relay the package  ..
 364     int len;
 365     c->send_GDU(gdu, &len);
 366
 367     switch(gdu->u.z3950->which)
 368     {
 369     case Z_APDU_triggerResourceControlRequest:
 370         // request only..
 371         break;
 372     default:
 373         // for the rest: wait for a response PDU
 374         while (!c->m_destroyed && c->m_waiting
 375                && c->m_socket_manager->processEvent() > 0)
 376             ;
 377         break;
 378     }
 379 }
 380
 381 void yf::Z3950Client::Rep::release_assoc(Package &package)
 382 {
 383     boost::mutex::scoped_lock lock(m_mutex);
 384     std::map<mp::Session,yf::Z3950Client::Assoc *>::iterator it;
 385
 386     it = m_clients.find(package.session());
 387     if (it != m_clients.end())
 388     {
 389         Z_GDU *gdu = package.request().get();
 390         if (gdu && gdu->which == Z_GDU_Z3950)
 391         {   // only Z39.50 packages lock in get_assoc.. release it
 392             it->second->m_in_use = false;
 393             it->second->m_queue_len--;
 394         }
 395
 396         if (package.session().is_closed())
 397         {
 398             // destroy hint (send_and_receive)
 399             it->second->m_destroyed = true;
 400
 401             // wait until no one is waiting for it.
 402             while (it->second->m_queue_len)
 403                 m_cond_session_ready.wait(lock);
 404
 405             // the Z_Assoc and PDU_Assoc must be destroyed before
 406             // the socket manager.. so pull that out.. first..
 407             yazpp_1::SocketManager *s = it->second->m_socket_manager;
 408             delete it->second;  // destroy Z_Assoc
 409             delete s;    // then manager
 410             m_clients.erase(it);
 411         }
 412         m_cond_session_ready.notify_all();
 413     }
 414 }
 415
 416 void yf::Z3950Client::process(Package &package) const
 417 {
 418     yf::Z3950Client::Assoc *c = m_p->get_assoc(package);
 419     if (c)
 420     {
 421         m_p->send_and_receive(package, c);
 422     }
 423     m_p->release_assoc(package);
 424 }
 425
 426 void yf::Z3950Client::configure(const xmlNode *ptr, bool test_only)
 427 {
 428     for (ptr = ptr->children; ptr; ptr = ptr->next)
 429     {
 430         if (ptr->type != XML_ELEMENT_NODE)
 431             continue;
 432         if (!strcmp((const char *) ptr->name, "timeout"))
 433         {
 434             m_p->m_timeout_sec = mp::xml::get_int(ptr->children, 30);
 435         }
 436         else if (!strcmp((const char *) ptr->name, "default_target"))
 437         {
 438             m_p->m_default_target = mp::xml::get_text(ptr);
 439         }
 440         else if (!strcmp((const char *) ptr->name, "force_target"))
 441         {
 442             m_p->m_force_target = mp::xml::get_text(ptr);
 443         }
 444         else if (!strcmp((const char *) ptr->name, "max-sockets"))
 445         {
 446             m_p->m_max_sockets = mp::xml::get_int(ptr->children, 0);
 447         }
 448         else
 449         {
 450             throw mp::filter::FilterException("Bad element "
 451                                                + std::string((const char *)
 452                                                              ptr->name));
 453         }
 454     }
 455 }
 456
 457 static mp::filter::Base* filter_creator()
 458 {
 459     return new mp::filter::Z3950Client;
 460 }
 461
 462 extern "C" {
 463     struct metaproxy_1_filter_struct metaproxy_1_filter_z3950_client = {
 464         0,
 465         "z3950_client",
 466         filter_creator
 467     };
 468 }
 469
 470 /*
 471  * Local variables:
 472  * c-basic-offset: 4
 473  * indent-tabs-mode: nil
 474  * c-file-style: "stroustrup"
 475  * End:
 476  * vim: shiftwidth=4 tabstop=8 expandtab
 477  */