Add path to configure method of filter.
[metaproxy-moved-to-github.git] / src / filter_z3950_client.cpp
index 9cbea57..0dcadcb 100644 (file)
@@ -1,7 +1,5 @@
-/* $Id: filter_z3950_client.cpp,v 1.32 2008-02-20 15:07:52 adam Exp $
-   Copyright (c) 2005-2007, Index Data.
-
-This file is part of Metaproxy.
+/* This file is part of Metaproxy.
+   Copyright (C) 2005-2011 Index Data
 
 Metaproxy is free software; you can redistribute it and/or modify it under
 the terms of the GNU General Public License as published by the Free
@@ -14,22 +12,15 @@ FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
 for more details.
 
 You should have received a copy of the GNU General Public License
-along with Metaproxy; see the file LICENSE.  If not, write to the
-Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
-02111-1307, USA.
- */
-/* $Id: filter_z3950_client.cpp,v 1.32 2008-02-20 15:07:52 adam Exp $
-   Copyright (c) 2005-2007, Index Data.
-
-   See the LICENSE file for details
- */
+along with this program; if not, write to the Free Software
+Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
+*/
 
 #include "config.hpp"
 
-#include "filter.hpp"
-#include "package.hpp"
-#include "util.hpp"
 #include "filter_z3950_client.hpp"
+#include <metaproxy/package.hpp>
+#include <metaproxy/util.hpp>
 
 #include <map>
 #include <stdexcept>
@@ -38,6 +29,7 @@ Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
 
 #include <boost/thread/mutex.hpp>
 #include <boost/thread/condition.hpp>
+#include <boost/thread/xtime.hpp>
 
 #include <yaz/zgdu.h>
 #include <yaz/log.h>
@@ -74,9 +66,11 @@ namespace metaproxy_1 {
             bool m_waiting;
             bool m_destroyed;
             bool m_connected;
+            bool m_has_closed;
             int m_queue_len;
             int m_time_elapsed;
             int m_time_max;
+            int m_time_connect_max;
             std::string m_host;
         };
 
@@ -84,6 +78,8 @@ namespace metaproxy_1 {
         public:
             // number of seconds to wait before we give up request
             int m_timeout_sec;
+            int m_max_sockets;
+            bool m_force_close;
             std::string m_default_target;
             std::string m_force_target;
             boost::mutex m_mutex;
@@ -105,8 +101,9 @@ yf::Z3950Client::Assoc::Assoc(yazpp_1::SocketManager *socket_manager,
     :  Z_Assoc(PDU_Observable),
        m_socket_manager(socket_manager), m_PDU_Observable(PDU_Observable),
        m_package(0), m_in_use(true), m_waiting(false), 
-       m_destroyed(false), m_connected(false), m_queue_len(1),
-       m_time_elapsed(0), m_time_max(timeout_sec), 
+       m_destroyed(false), m_connected(false), m_has_closed(false),
+       m_queue_len(1),
+       m_time_elapsed(0), m_time_max(timeout_sec),  m_time_connect_max(10),
        m_host(host)
 {
     // std::cout << "create assoc " << this << "\n";
@@ -145,7 +142,8 @@ void yf::Z3950Client::Assoc::failNotify()
 void yf::Z3950Client::Assoc::timeoutNotify()
 {
     m_time_elapsed++;
-    if (m_time_elapsed >= m_time_max)
+    if ((m_connected && m_time_elapsed >= m_time_max)
+        || (!m_connected && m_time_elapsed >= m_time_connect_max))
     {
         m_waiting = false;
 
@@ -189,6 +187,8 @@ yazpp_1::IPDU_Observer *yf::Z3950Client::Assoc::sessionNotify(
 yf::Z3950Client::Z3950Client() :  m_p(new yf::Z3950Client::Rep)
 {
     m_p->m_timeout_sec = 30;
+    m_p->m_max_sockets = 0;
+    m_p->m_force_close = false;
 }
 
 yf::Z3950Client::~Z3950Client() {
@@ -202,17 +202,18 @@ yf::Z3950Client::Assoc *yf::Z3950Client::Rep::get_assoc(Package &package)
     std::map<mp::Session,yf::Z3950Client::Assoc *>::iterator it;
     
     Z_GDU *gdu = package.request().get();
-    // only deal with Z39.50
-    if (!gdu || gdu->which != Z_GDU_Z3950)
-    {
-        package.move();
-        return 0;
-    }
+    
+    int max_sockets = package.origin().get_max_sockets();
+    if (max_sockets == 0)
+        max_sockets = m_max_sockets;
+    
+    std::string host;
+
     it = m_clients.find(package.session());
     if (it != m_clients.end())
     {
         it->second->m_queue_len++;
-        while(true)
+        while (true)
         {
 #if 0
             // double init .. NOT working yet
@@ -234,6 +235,11 @@ yf::Z3950Client::Assoc *yf::Z3950Client::Rep::get_assoc(Package &package)
             m_cond_session_ready.wait(lock);
         }
     }
+    if (!gdu || gdu->which != Z_GDU_Z3950)
+    {
+        package.move();
+        return 0;
+    }
     // new Z39.50 session ..
     Z_APDU *apdu = gdu->u.z3950;
     // check that it is init. If not, close
@@ -254,7 +260,7 @@ yf::Z3950Client::Assoc *yf::Z3950Client::Rep::get_assoc(Package &package)
         target = m_default_target;
         std::list<std::string> vhosts;
         mp::util::remove_vhost_otherinfo(&apdu->u.initRequest->otherInfo,
-                                         vhosts);
+                                             vhosts);
         size_t no_vhosts = vhosts.size();
         if (no_vhosts == 1)
         {
@@ -270,7 +276,7 @@ yf::Z3950Client::Assoc *yf::Z3950Client::Rep::get_assoc(Package &package)
                 package.response() = odr.create_initResponse(
                     apdu,
                     YAZ_BIB1_INIT_NEGOTIATION_OPTION_REQUIRED,
-                    "z3950_client: No virtal host given");
+                    "z3950_client: No vhost given");
                 
                 package.session().close();
                 return 0;
@@ -287,14 +293,59 @@ yf::Z3950Client::Assoc *yf::Z3950Client::Rep::get_assoc(Package &package)
             return 0;
         }
     }
+    
     std::list<std::string> dblist;
-    std::string host;
     mp::util::split_zurl(target, host, dblist);
     
     if (dblist.size())
     {
         ; // z3950_client: Databases in vhost ignored
     }
+    
+    // see if we have reached max number of clients (max-sockets)
+
+    while (max_sockets)
+    {
+        int no_not_in_use = 0;
+        int number = 0;
+        it = m_clients.begin();
+        for (; it != m_clients.end(); it++)
+        {
+            yf::Z3950Client::Assoc *as = it->second;
+            if (!strcmp(as->m_host.c_str(), host.c_str()))
+            {
+                number++;
+                if (!as->m_in_use)
+                    no_not_in_use++;
+            }
+        }
+        yaz_log(YLOG_LOG, "Found %d/%d connections for %s", number, max_sockets,
+                host.c_str());
+        if (number < max_sockets)
+            break;
+        if (no_not_in_use == 0) // all in use..
+        {
+            mp::odr odr;
+            
+            package.response() = odr.create_initResponse(
+                apdu, YAZ_BIB1_TEMPORARY_SYSTEM_ERROR, "max sessions");
+            package.session().close();
+            return 0;
+        }
+        boost::xtime xt;
+        xtime_get(&xt, boost::TIME_UTC);
+        
+        xt.sec += 15;
+        if (!m_cond_session_ready.timed_wait(lock, xt))
+        {
+            mp::odr odr;
+            
+            package.response() = odr.create_initResponse(
+                apdu, YAZ_BIB1_TEMPORARY_SYSTEM_ERROR, "max sessions");
+            package.session().close();
+            return 0;
+        }
+    }
 
     yazpp_1::SocketManager *sm = new yazpp_1::SocketManager;
     yazpp_1::PDU_Assoc *pdu_as = new yazpp_1::PDU_Assoc(sm);
@@ -308,16 +359,30 @@ yf::Z3950Client::Assoc *yf::Z3950Client::Rep::get_assoc(Package &package)
 void yf::Z3950Client::Rep::send_and_receive(Package &package,
                                             yf::Z3950Client::Assoc *c)
 {
-    Z_GDU *gdu = package.request().get();
-
     if (c->m_destroyed)
         return;
 
+    c->m_package = &package;
+
+    if (package.session().is_closed() && c->m_connected && !c->m_has_closed
+        && m_force_close)
+    {
+        mp::odr odr;
+            
+        package.request() = odr.create_close(
+            0, Z_Close_finished, "z3950_client");
+        c->m_package = 0; // don't inspect response
+    }
+    Z_GDU *gdu = package.request().get();
+
     if (!gdu || gdu->which != Z_GDU_Z3950)
         return;
 
+    if (gdu->u.z3950->which == Z_APDU_close)
+        c->m_has_closed = true;
+
+    // prepare connect
     c->m_time_elapsed = 0;
-    c->m_package = &package;
     c->m_waiting = true;
     if (!c->m_connected)
     {
@@ -341,7 +406,7 @@ void yf::Z3950Client::Rep::send_and_receive(Package &package,
     int len;
     c->send_GDU(gdu, &len);
 
-    switch(gdu->u.z3950->which)
+    switch (gdu->u.z3950->which)
     {
     case Z_APDU_triggerResourceControlRequest:
         // request only..
@@ -363,28 +428,20 @@ void yf::Z3950Client::Rep::release_assoc(Package &package)
     it = m_clients.find(package.session());
     if (it != m_clients.end())
     {
-        Z_GDU *gdu = package.request().get();
-        if (gdu && gdu->which == Z_GDU_Z3950)
-        {   // only Z39.50 packages lock in get_assoc.. release it
-            it->second->m_in_use = false;
-            it->second->m_queue_len--;
-        }
+        it->second->m_in_use = false;
+        it->second->m_queue_len--;
 
         if (package.session().is_closed())
         {
             // destroy hint (send_and_receive)
             it->second->m_destroyed = true;
-            
-            // wait until no one is waiting for it.
-            while (it->second->m_queue_len)
-                m_cond_session_ready.wait(lock);
-            
-            // the Z_Assoc and PDU_Assoc must be destroyed before
-            // the socket manager.. so pull that out.. first..
-            yazpp_1::SocketManager *s = it->second->m_socket_manager;
-            delete it->second;  // destroy Z_Assoc
-            delete s;    // then manager
-            m_clients.erase(it);
+            if (it->second->m_queue_len == 0)
+            {
+                yazpp_1::SocketManager *s = it->second->m_socket_manager;
+                delete it->second;  // destroy Z_Assoc
+                delete s;    // then manager
+                m_clients.erase(it);
+            }
         }
         m_cond_session_ready.notify_all();
     }
@@ -396,11 +453,12 @@ void yf::Z3950Client::process(Package &package) const
     if (c)
     {
         m_p->send_and_receive(package, c);
+        m_p->release_assoc(package);
     }
-    m_p->release_assoc(package);
 }
 
-void yf::Z3950Client::configure(const xmlNode *ptr, bool test_only)
+void yf::Z3950Client::configure(const xmlNode *ptr, bool test_only,
+                                const char *path)
 {
     for (ptr = ptr->children; ptr; ptr = ptr->next)
     {
@@ -408,7 +466,7 @@ void yf::Z3950Client::configure(const xmlNode *ptr, bool test_only)
             continue;
         if (!strcmp((const char *) ptr->name, "timeout"))
         {
-            m_p->m_timeout_sec = mp::xml::get_int(ptr->children, 30);
+            m_p->m_timeout_sec = mp::xml::get_int(ptr, 30);
         }
         else if (!strcmp((const char *) ptr->name, "default_target"))
         {
@@ -418,6 +476,14 @@ void yf::Z3950Client::configure(const xmlNode *ptr, bool test_only)
         {
             m_p->m_force_target = mp::xml::get_text(ptr);
         }
+        else if (!strcmp((const char *) ptr->name, "max-sockets"))
+        {
+            m_p->m_max_sockets = mp::xml::get_int(ptr, 0);
+        }
+        else if (!strcmp((const char *) ptr->name, "force_close"))
+        {
+            m_p->m_force_close = mp::xml::get_bool(ptr, 0);
+        }
         else
         {
             throw mp::filter::FilterException("Bad element " 
@@ -443,8 +509,9 @@ extern "C" {
 /*
  * Local variables:
  * c-basic-offset: 4
+ * c-file-style: "Stroustrup"
  * indent-tabs-mode: nil
- * c-file-style: "stroustrup"
  * End:
  * vim: shiftwidth=4 tabstop=8 expandtab
  */
+