Fixes for GNU threads (not working yet).
[yaz-moved-to-github.git] / server / statserv.c
index 9e3d0ef..60fc8d3 100644 (file)
@@ -1,5 +1,5 @@
 /*
- * Copyright (c) 1995-2000, Index Data
+ * Copyright (c) 1995-2001, Index Data
  * See the file LICENSE for details.
  * Sebastian Hammer, Adam Dickmeiss
  *
@@ -7,7 +7,39 @@
  *   Chas Woodfield, Fretwell Downing Informatics.
  *
  * $Log: statserv.c,v $
- * Revision 1.65  2000-09-04 08:58:15  adam
+ * Revision 1.75  2001-10-04 00:37:58  adam
+ * Fixes for GNU threads (not working yet).
+ *
+ * Revision 1.74  2001/10/03 23:55:18  adam
+ * GNU threads support.
+ *
+ * Revision 1.73  2001/06/28 09:27:06  adam
+ * Number of started sessions logged.
+ *
+ * Revision 1.72  2001/03/25 21:55:13  adam
+ * Added odr_intdup. Ztest server returns TaskPackage for ItemUpdate.
+ *
+ * Revision 1.71  2001/03/21 12:43:36  adam
+ * Implemented cs_create_host. Better error reporting for SSL comstack.
+ *
+ * Revision 1.70  2001/02/01 08:52:26  adam
+ * Fixed bug regarding inetd mode.
+ *
+ * Revision 1.69  2000/12/01 17:56:41  adam
+ * on WIN32 function statserv_closedown closes socket(s) to provoke close.
+ *
+ * Revision 1.68  2000/11/29 14:22:47  adam
+ * Implemented XML/SGML attributes for data1 so that d1_read reads them
+ * and d1_write generates proper attributes for XML/SGML records. Added
+ * register locking for threaded version.
+ *
+ * Revision 1.67  2000/11/23 10:58:32  adam
+ * SSL comstack support. Separate POSIX thread support library.
+ *
+ * Revision 1.66  2000/10/06 12:00:28  adam
+ * Fixed Handle leak for WIN32.
+ *
+ * Revision 1.65  2000/09/04 08:58:15  adam
  * Added prefix yaz_ for most logging utility functions.
  *
  * Revision 1.64  2000/04/05 07:39:55  adam
 #include <direct.h>
 #include "service.h"
 #else
+
+#ifdef _REENTRANT
 #if HAVE_PTHREAD_H
 #include <pthread.h>
+#elif HAVE_PTH_H
+#include <pth.h>
+#endif
 #endif
+
 #include <unistd.h>
 #include <pwd.h>
 #endif
@@ -384,6 +422,7 @@ void statserv_remove(IOCHAN pIOChannel)
     }
 }
 
+/* WIN32 statserv_closedown */
 void statserv_closedown()
 {
     /* Shouldn't do anything if we are not initialized */
@@ -409,6 +448,7 @@ void statserv_closedown()
             {
                 /* Just destroy the IOCHAN, that should do the trick */
                 iochan_destroy(pCurrentThread->pIOChannel);
+                closesocket(pCurrentThread->pIOChannel->fd);
 
                 /* Keep a running count of our handles */
                 iHandles++;
@@ -438,6 +478,7 @@ void statserv_closedown()
         /* Now we can really do something */
         if (iHandles > 0)
         {
+            logf (LOG_LOG, "waiting for %d to die", iHandles);
             /* This will now wait, until all the threads close */
             WaitForMultipleObjects(iHandles, pThreadHandles, TRUE, INFINITE);
 
@@ -452,17 +493,18 @@ void statserv_closedown()
     }
 }
 
-int __stdcall event_loop_thread (IOCHAN iochan)
+void event_loop_thread (IOCHAN iochan)
 {
-    return event_loop (&iochan);
+    event_loop (&iochan);
 }
 
-static void listener(IOCHAN h, int event)
+/* WIN32 listener */
+static void listener(IOCHAN h, int event)   
 {
     COMSTACK line = (COMSTACK) iochan_getdata(h);
     association *newas;
     int res;
-    HANDLE NewHandle;
+    HANDLE newHandle;
 
     if (event == EVENT_INPUT)
     {
@@ -479,15 +521,14 @@ static void listener(IOCHAN h, int event)
     }
     else if (event == EVENT_OUTPUT)
     {
-       COMSTACK new_line;
+       COMSTACK new_line = cs_accept(line);
        IOCHAN new_chan;
        char *a = NULL;
-        DWORD ThreadId;
 
-       if (!(new_line = cs_accept(line)))
+       if (!new_line)
        {
            yaz_log(LOG_FATAL, "Accept failed.");
-           iochan_setflags(h, EVENT_INPUT | EVENT_EXCEPT); /* reset listener */
+           iochan_setflags(h, EVENT_INPUT | EVENT_EXCEPT);
            return;
        }
        yaz_log(LOG_DEBUG, "Accept ok");
@@ -507,23 +548,18 @@ static void listener(IOCHAN h, int event)
             iochan_destroy(h);
             return;
        }
+       newas->cs_get_mask = EVENT_INPUT;
+       newas->cs_put_mask = 0;
+       newas->cs_accept_mask = 0;
+
        yaz_log(LOG_DEBUG, "Setting timeout %d", control_block.idle_timeout);
        iochan_setdata(new_chan, newas);
        iochan_settimeout(new_chan, control_block.idle_timeout * 60);
-#ifndef WIN32
-       yaz_log(LOG_DEBUG, "Determining client address");
-       a = cs_addrstr(new_line);
-       yaz_log(LOG_LOG, "Accepted connection from %s", a ? a : "[Unknown]");
-#endif
+
        /* Now what we need todo is create a new thread with this iochan as
           the parameter */
-       /* if (CreateThread(NULL, 0, (LPTHREAD_START_ROUTINE)event_loop_thread,
-          new_chan, 0, &ThreadId) == NULL) */
-       /* Somehow, somewhere we need to store this thread id, otherwise we
-          won't be able to close cleanly */
-        NewHandle = (HANDLE)_beginthreadex(NULL, 0, event_loop_thread,
-                                          new_chan, 0, &ThreadId);
-        if (NewHandle == (HANDLE)-1)
+        newHandle = (HANDLE) _beginthread(event_loop_thread, 0, new_chan);
+        if (newHandle == (HANDLE) -1)
        {
            
            yaz_log(LOG_FATAL|LOG_ERRNO, "Failed to create new thread.");
@@ -531,9 +567,9 @@ static void listener(IOCHAN h, int event)
             return;
        }
         /* We successfully created the thread, so add it to the list */
-        statserv_add(NewHandle, new_chan);
+        statserv_add(newHandle, new_chan);
 
-        yaz_log(LOG_DEBUG, "Created new thread, iochan %p", new_chan);
+        yaz_log(LOG_DEBUG, "Created new thread, id = %ld iochan %p",(long) newHandle, new_chan);
         iochan_setflags(h, EVENT_INPUT | EVENT_EXCEPT); /* reset listener */
     }
     else
@@ -544,7 +580,7 @@ static void listener(IOCHAN h, int event)
     }
 }
 
-#else /* WIN32 */
+#else /* ! WIN32 */
 
 /* To save having an #ifdef in event_loop we need to define this empty function */
 void statserv_remove(IOCHAN pIOChannel)
@@ -569,7 +605,9 @@ void sigterm(int sig)
 }
 
 static void *new_session (void *vp);
+static int no_sessions = 0;
 
+/* UNIX listener */
 static void listener(IOCHAN h, int event)
 {
     COMSTACK line = (COMSTACK) iochan_getdata(h);
@@ -583,6 +621,7 @@ static void listener(IOCHAN h, int event)
        {
            int res;
 
+            ++no_sessions;
            if (pipe(hand) < 0)
            {
                yaz_log(LOG_FATAL|LOG_ERRNO, "pipe");
@@ -651,9 +690,9 @@ static void listener(IOCHAN h, int event)
     /* in dynamic mode, only the child ever comes down here */
     else if (event == EVENT_OUTPUT)
     {
-       COMSTACK new_line;
+       COMSTACK new_line = cs_accept(line);
 
-       if (!(new_line = cs_accept(line)))
+       if (!new_line)
        {
            yaz_log(LOG_FATAL, "Accept failed.");
            iochan_setflags(h, EVENT_INPUT | EVENT_EXCEPT); /* reset listener */
@@ -675,8 +714,11 @@ static void listener(IOCHAN h, int event)
            close(hand[1]);
        }
        else
+       {
            iochan_setflags(h, EVENT_INPUT | EVENT_EXCEPT); /* reset listener */
-
+           ++no_sessions;
+       }
+#ifdef _REENTRANT
 #if HAVE_PTHREAD_H
        if (control_block.threads)
        {
@@ -686,6 +728,26 @@ static void listener(IOCHAN h, int event)
        }
        else
            new_session(new_line);
+#elif HAVE_PTH_H
+       if (control_block.threads)
+       {
+           pth_attr_t attr;
+           pth_t child_thread;
+
+            attr = pth_attr_new ();
+            pth_attr_set (attr, PTH_ATTR_JOINABLE, FALSE);
+            pth_attr_set (attr, PTH_ATTR_STACK_SIZE, 32*1024);
+            pth_attr_set (attr, PTH_ATTR_NAME, "session");
+            yaz_log (LOG_LOG, "pth_spawn");
+           child_thread = pth_spawn (attr, new_session, new_line);
+#if 0
+            pth_attr_destroy (attr);
+#endif
+       }
+       else
+           new_session(new_line);
+#endif
+
 #else
        new_session(new_line);
 #endif
@@ -704,8 +766,23 @@ static void *new_session (void *vp)
     association *newas;
     IOCHAN new_chan;
     COMSTACK new_line = (COMSTACK) vp;
-    if (!(new_chan = iochan_create(cs_fileno(new_line), ir_session,
-                                  EVENT_INPUT)))
+
+    unsigned cs_get_mask, cs_accept_mask, mask =  
+       ((new_line->io_pending & CS_WANT_WRITE) ? EVENT_OUTPUT : 0) |
+       ((new_line->io_pending & CS_WANT_READ) ? EVENT_INPUT : 0);
+
+    if (mask)    
+    {
+       cs_accept_mask = mask;  /* accept didn't complete */
+       cs_get_mask = 0;
+    }
+    else
+    {
+       cs_accept_mask = 0;     /* accept completed.  */
+       cs_get_mask = mask = EVENT_INPUT;
+    }
+
+    if (!(new_chan = iochan_create(cs_fileno(new_line), ir_session, mask)))
     {
        yaz_log(LOG_FATAL, "Failed to create iochan");
        return 0;
@@ -715,10 +792,14 @@ static void *new_session (void *vp)
        yaz_log(LOG_FATAL, "Failed to create new assoc.");
        return 0;
     }
+    newas->cs_accept_mask = cs_accept_mask;
+    newas->cs_get_mask = cs_get_mask;
+
     iochan_setdata(new_chan, newas);
     iochan_settimeout(new_chan, control_block.idle_timeout * 60);
     a = cs_addrstr(new_line);
-    yaz_log(LOG_LOG, "Accepted connection from %s", a ? a : "[Unknown]");
+    yaz_log(LOG_LOG, "Starting session %d from %s", no_sessions, a ? a : "[Unknown]");
+    
     if (control_block.threads)
     {
        event_loop(&new_chan);
@@ -750,6 +831,7 @@ static void inetd_connection(int what)
                 iochan_settimeout(chan, control_block.idle_timeout * 60);
                 addr = cs_addrstr(line);
                 yaz_log(LOG_LOG, "Inetd association from %s", addr ? addr : "[UNKNOWN]");
+               assoc->cs_get_mask = EVENT_INPUT;
             }
             else
             {
@@ -775,46 +857,24 @@ static void inetd_connection(int what)
 static void add_listener(char *where, int what)
 {
     COMSTACK l;
-    CS_TYPE type;
-    char mode[100], addr[100];
     void *ap;
     IOCHAN lst = NULL;
+    const char *mode;
 
-    if (!where || sscanf(where, "%[^:]:%s", mode, addr) != 2)
-    {
-       yaz_log (LOG_WARN, "%s: Address format: ('tcp'|'osi')':'<address>", me);
-       return;
-    }
-    if (!strcmp(mode, "tcp"))
-       type = tcpip_type;
-    else if (!strcmp(mode, "osi"))
-    {
-#ifdef USE_XTIMOSI
-       type = mosi_type;
-#else
-       yaz_log (LOG_WARN, "OSI Transport not allowed by configuration.");
-       return;
-#endif
-    }
+    if (control_block.dynamic)
+       mode = "dynamic";
+    else if (control_block.threads)
+       mode = "threaded";
     else
+       mode = "static";
+
+    yaz_log(LOG_LOG, "Adding %s %s listener on %s", mode,
+           what == PROTO_SR ? "SR" : "Z3950", where);
+
+    l = cs_create_host(where, 0, &ap);
+    if (!l)
     {
-       yaz_log (LOG_WARN, "You must specify either 'osi:' or 'tcp:'");
-       return;
-    }
-    yaz_log(LOG_LOG, "Adding %s %s listener on %s",
-           control_block.dynamic ? "dynamic" : 
-           (control_block.threads ? "threaded" : "static"),
-       what == PROTO_SR ? "SR" : "Z3950", where);
-    if (!(l = cs_create(type, 0, what)))
-    {
-       yaz_log(LOG_FATAL|LOG_ERRNO, "Failed to create listener");
-       return;
-    }
-    ap = cs_straddr (l, addr);
-    if (!ap)
-    {
-       fprintf(stderr, "Address resolution failed.\n");
-       cs_close (l);
+       yaz_log(LOG_FATAL|LOG_ERRNO, "Failed to listen on %s", where);
        return;
     }
     if (cs_bind(l, ap, CS_SERVER) < 0)
@@ -869,7 +929,7 @@ int statserv_start(int argc, char **argv)
     /* We need to initialize the thread list */
     ThreadList_Initialize();
 #endif /* WIN32 */
-
+    
 #ifdef WIN32
     if ((me = strrchr (argv[0], '\\')))
        me++;
@@ -880,7 +940,7 @@ int statserv_start(int argc, char **argv)
 #endif
     if (control_block.options_func(argc, argv))
         return(1);
-
+    
     if (control_block.bend_start)
         (*control_block.bend_start)(&control_block);
 #ifdef WIN32
@@ -893,18 +953,16 @@ int statserv_start(int argc, char **argv)
        logf (LOG_LOG, "Starting server %s pid=%d", me, getpid());
 #if 0
        sigset_t sigs_to_block;
-
+       
        sigemptyset(&sigs_to_block);
        sigaddset (&sigs_to_block, SIGTERM);
        pthread_sigmask (SIG_BLOCK, &sigs_to_block, 0);
-       pthread_create (&
-
-
+       /* missing... */
 #endif
        if (control_block.dynamic)
            signal(SIGCHLD, catchchld);
     }
-    
+    signal (SIGPIPE, SIG_IGN);
     signal (SIGTERM, sigterm);
     if (*control_block.setuid)
     {
@@ -964,7 +1022,7 @@ int check_options(int argc, char **argv)
            control_block.dynamic = 0;
            break;
        case 'T':
-#if HAVE_PTHREAD_H
+#if _REENTRANT
            control_block.dynamic = 0;
            control_block.threads = 1;
 #else