PackageLogger control by SRU opt x-log-anable
[metaproxy-moved-to-github.git] / src / filter_frontend_net.cpp
index 28a55a4..7457fae 100644 (file)
@@ -1,20 +1,33 @@
-/* $Id: filter_frontend_net.cpp,v 1.20 2006-08-30 09:56:41 marc Exp $
-   Copyright (c) 2005-2006, Index Data.
+/* This file is part of Metaproxy.
+   Copyright (C) 2005-2011 Index Data
 
-   See the LICENSE file for details
- */
+Metaproxy is free software; you can redistribute it and/or modify it under
+the terms of the GNU General Public License as published by the Free
+Software Foundation; either version 2, or (at your option) any later
+version.
+
+Metaproxy is distributed in the hope that it will be useful, but WITHOUT ANY
+WARRANTY; without even the implied warranty of MERCHANTABILITY or
+FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+for more details.
+
+You should have received a copy of the GNU General Public License
+along with this program; if not, write to the Free Software
+Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
+*/
 
 #include "config.hpp"
 
-#include "util.hpp"
+#include <metaproxy/util.hpp>
 #include "pipe.hpp"
-#include "filter.hpp"
-#include "package.hpp"
+#include <metaproxy/filter.hpp>
+#include <metaproxy/package.hpp>
 #include "thread_pool_observer.hpp"
 #include "filter_frontend_net.hpp"
 #include <yazpp/z-assoc.h>
 #include <yazpp/pdu-assoc.h>
 #include <yazpp/socket-manager.h>
+#include <yazpp/limit-connect.h>
 #include <yaz/log.h>
 
 #include <iostream>
 namespace mp = metaproxy_1;
 
 namespace metaproxy_1 {
+    class My_Timer_Thread;
+    class ZAssocServer;
     namespace filter {
+        class FrontendNet::Port {
+            friend class Rep;
+            friend class FrontendNet;
+            std::string port;
+            std::string route;
+        };
         class FrontendNet::Rep {
             friend class FrontendNet;
             int m_no_threads;
-            std::vector<std::string> m_ports;
+            std::vector<Port> m_ports;
             int m_listen_duration;
+            int m_session_timeout;
+            int m_connect_max;
+            yazpp_1::SocketManager mySocketManager;
+            ZAssocServer **az;
         };
     }
     class My_Timer_Thread : public yazpp_1::ISocketObserver {
@@ -45,8 +70,10 @@ namespace metaproxy_1 {
         ~ZAssocChild();
         ZAssocChild(yazpp_1::IPDU_Observable *the_PDU_Observable,
                           mp::ThreadPoolSocketObserver *m_thread_pool_observer,
-                          const mp::Package *package);
+                    const mp::Package *package,
+                    std::string route);
         int m_no_requests;
+        std::string m_route;
     private:
         yazpp_1::IPDU_Observer* sessionNotify(
             yazpp_1::IPDU_Observable *the_PDU_Observable,
@@ -66,22 +93,23 @@ namespace metaproxy_1 {
     class ThreadPoolPackage : public mp::IThreadPoolMsg {
     public:
         ThreadPoolPackage(mp::Package *package, mp::ZAssocChild *ses) :
-            m_session(ses), m_package(package) { };
+            m_assoc_child(ses), m_package(package) { };
         ~ThreadPoolPackage();
         IThreadPoolMsg *handle();
         void result();
         
     private:
-        mp::ZAssocChild *m_session;
+        mp::ZAssocChild *m_assoc_child;
         mp::Package *m_package;
         
     };
     class ZAssocServer : public yazpp_1::Z_Assoc {
     public:
         ~ZAssocServer();
-        ZAssocServer(yazpp_1::IPDU_Observable *PDU_Observable,
-                     mp::ThreadPoolSocketObserver *m_thread_pool_observer,
-                     const mp::Package *package);
+        ZAssocServer(yazpp_1::IPDU_Observable *PDU_Observable, int timeout,
+                     int connect_max, std::string route);
+        void set_package(const mp::Package *package);
+        void set_thread_pool(ThreadPoolSocketObserver *m_thread_pool_observer);
     private:
         yazpp_1::IPDU_Observer* sessionNotify(
             yazpp_1::IPDU_Observable *the_PDU_Observable,
@@ -94,6 +122,10 @@ namespace metaproxy_1 {
     private:
         mp::ThreadPoolSocketObserver *m_thread_pool_observer;
         const mp::Package *m_package;
+        int m_session_timeout;
+        int m_connect_max;
+        yazpp_1::LimitConnect limit_connect;
+        std::string m_route;
     };
 }
 
@@ -104,14 +136,14 @@ mp::ThreadPoolPackage::~ThreadPoolPackage()
 
 void mp::ThreadPoolPackage::result()
 {
-    m_session->m_no_requests--;
+    m_assoc_child->m_no_requests--;
 
     yazpp_1::GDU *gdu = &m_package->response();
 
     if (gdu->get())
     {
        int len;
-       m_session->send_GDU(gdu->get(), &len);
+       m_assoc_child->send_GDU(gdu->get(), &len);
     }
     else if (!m_package->session().is_closed())
     {
@@ -128,33 +160,50 @@ void mp::ThreadPoolPackage::result()
                 z_gdu->u.z3950, Z_Close_systemProblem, 
                 "unhandled Z39.50 request");
 
-            m_session->send_Z_PDU(apdu_response, &len);
-            m_package->session().close();
+            m_assoc_child->send_Z_PDU(apdu_response, &len);
+        }
+        else if (z_gdu && z_gdu->which == Z_GDU_HTTP_Request)
+        {
+            // For HTTP, respond with Server Error
+            int len;
+            mp::odr odr;
+            Z_GDU *zgdu_res 
+                = odr.create_HTTP_Response(m_package->session(), 
+                                           z_gdu->u.HTTP_Request, 500);
+            m_assoc_child->send_GDU(zgdu_res, &len);
         }
+        m_package->session().close();
     }
 
-    if (m_session->m_no_requests == 0 && m_package->session().is_closed())
-       delete m_session;
+    if (m_assoc_child->m_no_requests == 0 && m_package->session().is_closed())
+    {
+        m_assoc_child->close();
+    }
     delete this;
 }
 
 mp::IThreadPoolMsg *mp::ThreadPoolPackage::handle() 
 {
-    m_package->move();
+    m_package->move(m_assoc_child->m_route);
     return this;
 }
 
 
 mp::ZAssocChild::ZAssocChild(yazpp_1::IPDU_Observable *PDU_Observable,
                                     mp::ThreadPoolSocketObserver *my_thread_pool,
-                                    const mp::Package *package)
+                             const mp::Package *package,
+                             std::string route)
     :  Z_Assoc(PDU_Observable)
 {
     m_thread_pool_observer = my_thread_pool;
     m_no_requests = 0;
     m_delete_flag = false;
     m_package = package;
-    // TODO why is m_origin not set here someplace ?? MC ??
+    m_route = route;
+    const char *peername = PDU_Observable->getpeername();
+    if (!peername)
+        peername = "unknown";
+    m_origin.set_tcpip_address(std::string(peername), m_session.id());
 }
 
 
@@ -175,7 +224,7 @@ void mp::ZAssocChild::recv_GDU(Z_GDU *z_pdu, int len)
     mp::Package *p = new mp::Package(m_session, m_origin);
 
     mp::ThreadPoolPackage *tp = new mp::ThreadPoolPackage(p, this);
-    p->copy_filter(*m_package);
+    p->copy_route(*m_package);
     p->request() = yazpp_1::GDU(z_pdu);
     m_thread_pool_observer->put(tp);  
 }
@@ -184,7 +233,11 @@ void mp::ZAssocChild::failNotify()
 {
     // TODO: send Package to signal "close"
     if (m_session.is_closed())
+    {
+        if (m_no_requests == 0)
+            delete this;
        return;
+    }
     m_no_requests++;
 
     m_session.close();
@@ -192,7 +245,7 @@ void mp::ZAssocChild::failNotify()
     mp::Package *p = new mp::Package(m_session, m_origin);
 
     mp::ThreadPoolPackage *tp = new mp::ThreadPoolPackage(p, this);
-    p->copy_filter(*m_package);
+    p->copy_route(*m_package);
     m_thread_pool_observer->put(tp);  
 }
 
@@ -207,21 +260,42 @@ void mp::ZAssocChild::connectNotify()
 }
 
 mp::ZAssocServer::ZAssocServer(yazpp_1::IPDU_Observable *PDU_Observable,
-                          mp::ThreadPoolSocketObserver *thread_pool_observer,
-                          const mp::Package *package)
-    :  Z_Assoc(PDU_Observable)
+                               int timeout, int connect_max,
+                               std::string route)
+    :  Z_Assoc(PDU_Observable), m_session_timeout(timeout),
+       m_connect_max(connect_max), m_route(route)
+{
+    m_package = 0;
+}
+
+
+void mp::ZAssocServer::set_package(const mp::Package *package)
 {
-    m_thread_pool_observer = thread_pool_observer;
     m_package = package;
+}
 
+void mp::ZAssocServer::set_thread_pool(ThreadPoolSocketObserver *observer)
+{
+    m_thread_pool_observer = observer;
 }
 
 yazpp_1::IPDU_Observer *mp::ZAssocServer::sessionNotify(yazpp_1::IPDU_Observable
                                                 *the_PDU_Observable, int fd)
 {
+
+    const char *peername = the_PDU_Observable->getpeername();
+    if (peername)
+    {
+        limit_connect.add_connect(peername);
+        limit_connect.cleanup(false);
+        int con_sz = limit_connect.get_total(peername);
+        if (m_connect_max && con_sz > m_connect_max)
+            return 0;
+    }
     mp::ZAssocChild *my =
        new mp::ZAssocChild(the_PDU_Observable, m_thread_pool_observer,
-                             m_package);
+                            m_package, m_route);
+    my->timeout(m_session_timeout);
     return my;
 }
 
@@ -249,10 +323,20 @@ mp::filter::FrontendNet::FrontendNet() : m_p(new Rep)
 {
     m_p->m_no_threads = 5;
     m_p->m_listen_duration = 0;
+    m_p->m_session_timeout = 300; // 5 minutes
+    m_p->m_connect_max = 0;
+    m_p->az = 0;
 }
 
 mp::filter::FrontendNet::~FrontendNet()
 {
+    if (m_p->az)
+    {
+        size_t i;
+        for (i = 0; i<m_p->m_ports.size(); i++)
+            delete m_p->az[i];
+        delete [] m_p->az;
+    }
 }
 
 bool mp::My_Timer_Thread::timeout()
@@ -277,56 +361,52 @@ void mp::My_Timer_Thread::socketNotify(int event)
 
 void mp::filter::FrontendNet::process(Package &package) const
 {
-    if (m_p->m_ports.size() == 0)
+    if (m_p->az == 0)
         return;
-
-    yazpp_1::SocketManager mySocketManager;
-
+    size_t i;
     My_Timer_Thread *tt = 0;
-    if (m_p->m_listen_duration)
-       tt = new My_Timer_Thread(&mySocketManager, m_p->m_listen_duration);
-
-    ThreadPoolSocketObserver threadPool(&mySocketManager, m_p->m_no_threads);
 
-    mp::ZAssocServer **az = new mp::ZAssocServer *[m_p->m_ports.size()];
+    if (m_p->m_listen_duration)
+        tt = new My_Timer_Thread(&m_p->mySocketManager,
+                                 m_p->m_listen_duration);
+    
+    ThreadPoolSocketObserver tp(&m_p->mySocketManager, m_p->m_no_threads);
 
-    // Create mp::ZAssocServer for each port
-    size_t i;
     for (i = 0; i<m_p->m_ports.size(); i++)
     {
-       // create a PDU assoc object (one per mp::ZAssocServer)
-       yazpp_1::PDU_Assoc *as = new yazpp_1::PDU_Assoc(&mySocketManager);
-
-       // create ZAssoc with PDU Assoc
-       az[i] = new mp::ZAssocServer(as, &threadPool, &package);
-       az[i]->server(m_p->m_ports[i].c_str());
+       m_p->az[i]->set_package(&package);
+       m_p->az[i]->set_thread_pool(&tp);
     }
-    while (mySocketManager.processEvent() > 0)
+    while (m_p->mySocketManager.processEvent() > 0)
     {
        if (tt && tt->timeout())
            break;
     }
-    for (i = 0; i<m_p->m_ports.size(); i++)
-       delete az[i];
-
-    delete [] az;
     delete tt;
 }
 
-void mp::filter::FrontendNet::configure(const xmlNode * ptr)
+void mp::filter::FrontendNet::configure(const xmlNode * ptr, bool test_only,
+                                        const char *path)
 {
     if (!ptr || !ptr->children)
     {
         throw mp::filter::FilterException("No ports for Frontend");
     }
-    std::vector<std::string> ports;
+    std::vector<Port> ports;
     for (ptr = ptr->children; ptr; ptr = ptr->next)
     {
         if (ptr->type != XML_ELEMENT_NODE)
             continue;
         if (!strcmp((const char *) ptr->name, "port"))
         {
-            std::string port = mp::xml::get_text(ptr);
+            Port port;
+            const struct _xmlAttr *attr;
+            for (attr = ptr->properties; attr; attr = attr->next)
+            {
+                if (!strcmp((const char *) attr->name, "route"))
+                    port.route = mp::xml::get_text(attr);
+            }
+            port.port = mp::xml::get_text(ptr);
             ports.push_back(port);
             
         }
@@ -339,6 +419,19 @@ void mp::filter::FrontendNet::configure(const xmlNode * ptr)
                                                    + threads_str);
             m_p->m_no_threads = threads;
         }
+        else if (!strcmp((const char *) ptr->name, "timeout"))
+        {
+            std::string timeout_str = mp::xml::get_text(ptr);
+            int timeout = atoi(timeout_str.c_str());
+            if (timeout < 1)
+                throw mp::filter::FilterException("Bad value for timeout: " 
+                                                   + timeout_str);
+            m_p->m_session_timeout = timeout;
+        }
+        else if (!strcmp((const char *) ptr->name, "connect-max"))
+        {
+            m_p->m_connect_max = mp::xml::get_int(ptr, 0);
+        }
         else
         {
             throw mp::filter::FilterException("Bad element " 
@@ -346,17 +439,57 @@ void mp::filter::FrontendNet::configure(const xmlNode * ptr)
                                                              ptr->name));
         }
     }
-    m_p->m_ports = ports;
+    if (test_only)
+        return;
+    set_ports(ports);
 }
 
-std::vector<std::string> &mp::filter::FrontendNet::ports()
+void mp::filter::FrontendNet::set_ports(std::vector<std::string> &ports)
 {
-    return m_p->m_ports;
+    std::vector<Port> nports;
+    size_t i;
+
+    for (i = 0; i < ports.size(); i++)
+    {
+        Port nport;
+
+        nport.port = ports[i];
+
+        nports.push_back(nport);
+    }
+    set_ports(nports);
 }
 
-int &mp::filter::FrontendNet::listen_duration()
+
+void mp::filter::FrontendNet::set_ports(std::vector<Port> &ports)
 {
-    return m_p->m_listen_duration;
+    m_p->m_ports = ports;
+    
+    m_p->az = new mp::ZAssocServer *[m_p->m_ports.size()];
+    
+    // Create mp::ZAssocServer for each port
+    size_t i;
+    for (i = 0; i<m_p->m_ports.size(); i++)
+    {
+        // create a PDU assoc object (one per mp::ZAssocServer)
+        yazpp_1::PDU_Assoc *as = new yazpp_1::PDU_Assoc(&m_p->mySocketManager);
+        
+        // create ZAssoc with PDU Assoc
+        m_p->az[i] = new mp::ZAssocServer(as, 
+                                          m_p->m_session_timeout,
+                                          m_p->m_connect_max,
+                                          m_p->m_ports[i].route);
+        if (m_p->az[i]->server(m_p->m_ports[i].port.c_str()))
+        {
+            throw mp::filter::FilterException("Unable to bind to address " 
+                                              + std::string(m_p->m_ports[i].port));
+        }
+    }
+}
+
+void mp::filter::FrontendNet::set_listen_duration(int d)
+{
+    m_p->m_listen_duration = d;
 }
 
 static mp::filter::Base* filter_creator()
@@ -375,8 +508,9 @@ extern "C" {
 /*
  * Local variables:
  * c-basic-offset: 4
+ * c-file-style: "Stroustrup"
  * indent-tabs-mode: nil
- * c-file-style: "stroustrup"
  * End:
  * vim: shiftwidth=4 tabstop=8 expandtab
  */
+