Fixes for GNU threads (not working yet).
[yaz-moved-to-github.git] / server / statserv.c
index 965d5d3..60fc8d3 100644 (file)
@@ -1,13 +1,57 @@
 /*
- * Copyright (c) 1995-1999, Index Data
+ * Copyright (c) 1995-2001, Index Data
  * See the file LICENSE for details.
  * Sebastian Hammer, Adam Dickmeiss
  *
  * NT server based on threads by
- *   Chas Woodfield, Fretwell Downing Datasystems.
+ *   Chas Woodfield, Fretwell Downing Informatics.
  *
  * $Log: statserv.c,v $
- * Revision 1.61  2000-03-15 12:59:49  adam
+ * Revision 1.75  2001-10-04 00:37:58  adam
+ * Fixes for GNU threads (not working yet).
+ *
+ * Revision 1.74  2001/10/03 23:55:18  adam
+ * GNU threads support.
+ *
+ * Revision 1.73  2001/06/28 09:27:06  adam
+ * Number of started sessions logged.
+ *
+ * Revision 1.72  2001/03/25 21:55:13  adam
+ * Added odr_intdup. Ztest server returns TaskPackage for ItemUpdate.
+ *
+ * Revision 1.71  2001/03/21 12:43:36  adam
+ * Implemented cs_create_host. Better error reporting for SSL comstack.
+ *
+ * Revision 1.70  2001/02/01 08:52:26  adam
+ * Fixed bug regarding inetd mode.
+ *
+ * Revision 1.69  2000/12/01 17:56:41  adam
+ * on WIN32 function statserv_closedown closes socket(s) to provoke close.
+ *
+ * Revision 1.68  2000/11/29 14:22:47  adam
+ * Implemented XML/SGML attributes for data1 so that d1_read reads them
+ * and d1_write generates proper attributes for XML/SGML records. Added
+ * register locking for threaded version.
+ *
+ * Revision 1.67  2000/11/23 10:58:32  adam
+ * SSL comstack support. Separate POSIX thread support library.
+ *
+ * Revision 1.66  2000/10/06 12:00:28  adam
+ * Fixed Handle leak for WIN32.
+ *
+ * Revision 1.65  2000/09/04 08:58:15  adam
+ * Added prefix yaz_ for most logging utility functions.
+ *
+ * Revision 1.64  2000/04/05 07:39:55  adam
+ * Added shared library support (libtool).
+ *
+ * Revision 1.63  2000/03/20 19:06:25  adam
+ * Added Segment request for fronend server. Work on admin for client.
+ *
+ * Revision 1.62  2000/03/17 12:47:02  adam
+ * Minor changes to admin client.
+ *
+ * Revision 1.61  2000/03/15 12:59:49  adam
  * Added handle member to statserv_control.
  *
  * Revision 1.60  2000/03/14 09:06:11  adam
 #include <direct.h>
 #include "service.h"
 #else
+
+#ifdef _REENTRANT
 #if HAVE_PTHREAD_H
 #include <pthread.h>
+#elif HAVE_PTH_H
+#include <pth.h>
+#endif
 #endif
+
 #include <unistd.h>
 #include <pwd.h>
 #endif
@@ -269,7 +319,8 @@ statserv_options_block control_block = {
     "",
     0,                          /* default value for inet deamon */
     0,                          /* handle (for service, etc) */
-
+    0,                          /* bend_init handle */
+    0                           /* bend_close handle */
 #ifdef WIN32
     ,"Z39.50 Server",           /* NT Service Name */
     "Server",                   /* NT application Name */
@@ -371,6 +422,7 @@ void statserv_remove(IOCHAN pIOChannel)
     }
 }
 
+/* WIN32 statserv_closedown */
 void statserv_closedown()
 {
     /* Shouldn't do anything if we are not initialized */
@@ -396,6 +448,7 @@ void statserv_closedown()
             {
                 /* Just destroy the IOCHAN, that should do the trick */
                 iochan_destroy(pCurrentThread->pIOChannel);
+                closesocket(pCurrentThread->pIOChannel->fd);
 
                 /* Keep a running count of our handles */
                 iHandles++;
@@ -425,6 +478,7 @@ void statserv_closedown()
         /* Now we can really do something */
         if (iHandles > 0)
         {
+            logf (LOG_LOG, "waiting for %d to die", iHandles);
             /* This will now wait, until all the threads close */
             WaitForMultipleObjects(iHandles, pThreadHandles, TRUE, INFINITE);
 
@@ -439,17 +493,18 @@ void statserv_closedown()
     }
 }
 
-int __stdcall event_loop_thread (IOCHAN iochan)
+void event_loop_thread (IOCHAN iochan)
 {
-    return event_loop (&iochan);
+    event_loop (&iochan);
 }
 
-static void listener(IOCHAN h, int event)
+/* WIN32 listener */
+static void listener(IOCHAN h, int event)   
 {
     COMSTACK line = (COMSTACK) iochan_getdata(h);
     association *newas;
     int res;
-    HANDLE NewHandle;
+    HANDLE newHandle;
 
     if (event == EVENT_INPUT)
     {
@@ -466,15 +521,14 @@ static void listener(IOCHAN h, int event)
     }
     else if (event == EVENT_OUTPUT)
     {
-       COMSTACK new_line;
+       COMSTACK new_line = cs_accept(line);
        IOCHAN new_chan;
        char *a = NULL;
-        DWORD ThreadId;
 
-       if (!(new_line = cs_accept(line)))
+       if (!new_line)
        {
            yaz_log(LOG_FATAL, "Accept failed.");
-           iochan_setflags(h, EVENT_INPUT | EVENT_EXCEPT); /* reset listener */
+           iochan_setflags(h, EVENT_INPUT | EVENT_EXCEPT);
            return;
        }
        yaz_log(LOG_DEBUG, "Accept ok");
@@ -494,23 +548,18 @@ static void listener(IOCHAN h, int event)
             iochan_destroy(h);
             return;
        }
+       newas->cs_get_mask = EVENT_INPUT;
+       newas->cs_put_mask = 0;
+       newas->cs_accept_mask = 0;
+
        yaz_log(LOG_DEBUG, "Setting timeout %d", control_block.idle_timeout);
        iochan_setdata(new_chan, newas);
        iochan_settimeout(new_chan, control_block.idle_timeout * 60);
-#ifndef WIN32
-       yaz_log(LOG_DEBUG, "Determining client address");
-       a = cs_addrstr(new_line);
-       yaz_log(LOG_LOG, "Accepted connection from %s", a ? a : "[Unknown]");
-#endif
+
        /* Now what we need todo is create a new thread with this iochan as
           the parameter */
-       /* if (CreateThread(NULL, 0, (LPTHREAD_START_ROUTINE)event_loop_thread,
-          new_chan, 0, &ThreadId) == NULL) */
-       /* Somehow, somewhere we need to store this thread id, otherwise we
-          won't be able to close cleanly */
-        NewHandle = (HANDLE)_beginthreadex(NULL, 0, event_loop_thread,
-                                          new_chan, 0, &ThreadId);
-        if (NewHandle == (HANDLE)-1)
+        newHandle = (HANDLE) _beginthread(event_loop_thread, 0, new_chan);
+        if (newHandle == (HANDLE) -1)
        {
            
            yaz_log(LOG_FATAL|LOG_ERRNO, "Failed to create new thread.");
@@ -518,9 +567,9 @@ static void listener(IOCHAN h, int event)
             return;
        }
         /* We successfully created the thread, so add it to the list */
-        statserv_add(NewHandle, new_chan);
+        statserv_add(newHandle, new_chan);
 
-        yaz_log(LOG_DEBUG, "Created new thread, iochan %p", new_chan);
+        yaz_log(LOG_DEBUG, "Created new thread, id = %ld iochan %p",(long) newHandle, new_chan);
         iochan_setflags(h, EVENT_INPUT | EVENT_EXCEPT); /* reset listener */
     }
     else
@@ -531,7 +580,7 @@ static void listener(IOCHAN h, int event)
     }
 }
 
-#else /* WIN32 */
+#else /* ! WIN32 */
 
 /* To save having an #ifdef in event_loop we need to define this empty function */
 void statserv_remove(IOCHAN pIOChannel)
@@ -541,12 +590,24 @@ void statserv_remove(IOCHAN pIOChannel)
 void statserv_closedown()
 {
     IOCHAN p;
+
+    if (control_block.bend_stop)
+        (*control_block.bend_stop)(&control_block);
+
     for (p = pListener; p; p = p->next)
         iochan_destroy(p);
 }
 
+void sigterm(int sig)
+{
+    statserv_closedown();
+    exit (0);
+}
+
 static void *new_session (void *vp);
+static int no_sessions = 0;
 
+/* UNIX listener */
 static void listener(IOCHAN h, int event)
 {
     COMSTACK line = (COMSTACK) iochan_getdata(h);
@@ -560,6 +621,7 @@ static void listener(IOCHAN h, int event)
        {
            int res;
 
+            ++no_sessions;
            if (pipe(hand) < 0)
            {
                yaz_log(LOG_FATAL|LOG_ERRNO, "pipe");
@@ -589,7 +651,7 @@ static void listener(IOCHAN h, int event)
                    }
                }
                sprintf(nbuf, "%s(%d)", me, getpid());
-               log_init(control_block.loglevel, nbuf, 0);
+               yaz_log_init(control_block.loglevel, nbuf, 0);
            }
            else /* parent */
            {
@@ -628,9 +690,9 @@ static void listener(IOCHAN h, int event)
     /* in dynamic mode, only the child ever comes down here */
     else if (event == EVENT_OUTPUT)
     {
-       COMSTACK new_line;
+       COMSTACK new_line = cs_accept(line);
 
-       if (!(new_line = cs_accept(line)))
+       if (!new_line)
        {
            yaz_log(LOG_FATAL, "Accept failed.");
            iochan_setflags(h, EVENT_INPUT | EVENT_EXCEPT); /* reset listener */
@@ -652,8 +714,11 @@ static void listener(IOCHAN h, int event)
            close(hand[1]);
        }
        else
+       {
            iochan_setflags(h, EVENT_INPUT | EVENT_EXCEPT); /* reset listener */
-
+           ++no_sessions;
+       }
+#ifdef _REENTRANT
 #if HAVE_PTHREAD_H
        if (control_block.threads)
        {
@@ -663,6 +728,26 @@ static void listener(IOCHAN h, int event)
        }
        else
            new_session(new_line);
+#elif HAVE_PTH_H
+       if (control_block.threads)
+       {
+           pth_attr_t attr;
+           pth_t child_thread;
+
+            attr = pth_attr_new ();
+            pth_attr_set (attr, PTH_ATTR_JOINABLE, FALSE);
+            pth_attr_set (attr, PTH_ATTR_STACK_SIZE, 32*1024);
+            pth_attr_set (attr, PTH_ATTR_NAME, "session");
+            yaz_log (LOG_LOG, "pth_spawn");
+           child_thread = pth_spawn (attr, new_session, new_line);
+#if 0
+            pth_attr_destroy (attr);
+#endif
+       }
+       else
+           new_session(new_line);
+#endif
+
 #else
        new_session(new_line);
 #endif
@@ -681,8 +766,23 @@ static void *new_session (void *vp)
     association *newas;
     IOCHAN new_chan;
     COMSTACK new_line = (COMSTACK) vp;
-    if (!(new_chan = iochan_create(cs_fileno(new_line), ir_session,
-                                  EVENT_INPUT)))
+
+    unsigned cs_get_mask, cs_accept_mask, mask =  
+       ((new_line->io_pending & CS_WANT_WRITE) ? EVENT_OUTPUT : 0) |
+       ((new_line->io_pending & CS_WANT_READ) ? EVENT_INPUT : 0);
+
+    if (mask)    
+    {
+       cs_accept_mask = mask;  /* accept didn't complete */
+       cs_get_mask = 0;
+    }
+    else
+    {
+       cs_accept_mask = 0;     /* accept completed.  */
+       cs_get_mask = mask = EVENT_INPUT;
+    }
+
+    if (!(new_chan = iochan_create(cs_fileno(new_line), ir_session, mask)))
     {
        yaz_log(LOG_FATAL, "Failed to create iochan");
        return 0;
@@ -692,10 +792,14 @@ static void *new_session (void *vp)
        yaz_log(LOG_FATAL, "Failed to create new assoc.");
        return 0;
     }
+    newas->cs_accept_mask = cs_accept_mask;
+    newas->cs_get_mask = cs_get_mask;
+
     iochan_setdata(new_chan, newas);
     iochan_settimeout(new_chan, control_block.idle_timeout * 60);
     a = cs_addrstr(new_line);
-    yaz_log(LOG_LOG, "Accepted connection from %s", a ? a : "[Unknown]");
+    yaz_log(LOG_LOG, "Starting session %d from %s", no_sessions, a ? a : "[Unknown]");
+    
     if (control_block.threads)
     {
        event_loop(&new_chan);
@@ -727,6 +831,7 @@ static void inetd_connection(int what)
                 iochan_settimeout(chan, control_block.idle_timeout * 60);
                 addr = cs_addrstr(line);
                 yaz_log(LOG_LOG, "Inetd association from %s", addr ? addr : "[UNKNOWN]");
+               assoc->cs_get_mask = EVENT_INPUT;
             }
             else
             {
@@ -752,46 +857,24 @@ static void inetd_connection(int what)
 static void add_listener(char *where, int what)
 {
     COMSTACK l;
-    CS_TYPE type;
-    char mode[100], addr[100];
     void *ap;
     IOCHAN lst = NULL;
+    const char *mode;
 
-    if (!where || sscanf(where, "%[^:]:%s", mode, addr) != 2)
-    {
-       yaz_log (LOG_WARN, "%s: Address format: ('tcp'|'osi')':'<address>", me);
-       return;
-    }
-    if (!strcmp(mode, "tcp"))
-       type = tcpip_type;
-    else if (!strcmp(mode, "osi"))
-    {
-#ifdef USE_XTIMOSI
-       type = mosi_type;
-#else
-       yaz_log (LOG_WARN, "OSI Transport not allowed by configuration.");
-       return;
-#endif
-    }
+    if (control_block.dynamic)
+       mode = "dynamic";
+    else if (control_block.threads)
+       mode = "threaded";
     else
+       mode = "static";
+
+    yaz_log(LOG_LOG, "Adding %s %s listener on %s", mode,
+           what == PROTO_SR ? "SR" : "Z3950", where);
+
+    l = cs_create_host(where, 0, &ap);
+    if (!l)
     {
-       yaz_log (LOG_WARN, "You must specify either 'osi:' or 'tcp:'");
-       return;
-    }
-    yaz_log(LOG_LOG, "Adding %s %s listener on %s",
-           control_block.dynamic ? "dynamic" : 
-           (control_block.threads ? "threaded" : "static"),
-       what == PROTO_SR ? "SR" : "Z3950", where);
-    if (!(l = cs_create(type, 0, what)))
-    {
-       yaz_log(LOG_FATAL|LOG_ERRNO, "Failed to create listener");
-       return;
-    }
-    ap = cs_straddr (l, addr);
-    if (!ap)
-    {
-       fprintf(stderr, "Address resolution failed.\n");
-       cs_close (l);
+       yaz_log(LOG_FATAL|LOG_ERRNO, "Failed to listen on %s", where);
        return;
     }
     if (cs_bind(l, ap, CS_SERVER) < 0)
@@ -846,7 +929,7 @@ int statserv_start(int argc, char **argv)
     /* We need to initialize the thread list */
     ThreadList_Initialize();
 #endif /* WIN32 */
-
+    
 #ifdef WIN32
     if ((me = strrchr (argv[0], '\\')))
        me++;
@@ -857,17 +940,30 @@ int statserv_start(int argc, char **argv)
 #endif
     if (control_block.options_func(argc, argv))
         return(1);
-
+    
     if (control_block.bend_start)
         (*control_block.bend_start)(&control_block);
-#ifndef WIN32
+#ifdef WIN32
+    logf (LOG_LOG, "Starting server %s", me);
+#else
     if (control_block.inetd)
        inetd_connection(control_block.default_proto);
     else
     {
+       logf (LOG_LOG, "Starting server %s pid=%d", me, getpid());
+#if 0
+       sigset_t sigs_to_block;
+       
+       sigemptyset(&sigs_to_block);
+       sigaddset (&sigs_to_block, SIGTERM);
+       pthread_sigmask (SIG_BLOCK, &sigs_to_block, 0);
+       /* missing... */
+#endif
        if (control_block.dynamic)
            signal(SIGCHLD, catchchld);
     }
+    signal (SIGPIPE, SIG_IGN);
+    signal (SIGTERM, sigterm);
     if (*control_block.setuid)
     {
        struct passwd *pw;
@@ -926,7 +1022,7 @@ int check_options(int argc, char **argv)
            control_block.dynamic = 0;
            break;
        case 'T':
-#if HAVE_PTHREAD_H
+#if _REENTRANT
            control_block.dynamic = 0;
            control_block.threads = 1;
 #else
@@ -936,11 +1032,11 @@ int check_options(int argc, char **argv)
            break;
        case 'l':
            strcpy(control_block.logfile, arg ? arg : "");
-           log_init(control_block.loglevel, me, control_block.logfile);
+           yaz_log_init(control_block.loglevel, me, control_block.logfile);
            break;
        case 'v':
-           control_block.loglevel = log_mask_str(arg);
-           log_init(control_block.loglevel, me, control_block.logfile);
+           control_block.loglevel = yaz_log_mask_str(arg);
+           yaz_log_init(control_block.loglevel, me, control_block.logfile);
            break;
        case 'a':
            strcpy(control_block.apdufile, arg ? arg : "");
@@ -1006,10 +1102,17 @@ static Args ArgDetails;
 /* list of service dependencies - "dep1\0dep2\0\0" */
 #define SZDEPENDENCIES       ""
 
-int statserv_main(int argc, char **argv)
+int statserv_main(int argc, char **argv,
+                 bend_initresult *(*bend_init)(bend_initrequest *r),
+                 void (*bend_close)(void *handle))
 {
     statserv_options_block *cb = statserv_getcontrol();
     
+    cb->bend_init = bend_init;
+    cb->bend_close = bend_close;
+
+    statserv_setcontrol(cb);
+
     /* Lets setup the Arg structure */
     ArgDetails.argc = argc;
     ArgDetails.argv = argv;
@@ -1042,9 +1145,18 @@ void StopAppService(void *pHandle)
     statserv_closedown();
 }
 #else
-int statserv_main(int argc, char **argv)
+int statserv_main(int argc, char **argv,
+                 bend_initresult *(*bend_init)(bend_initrequest *r),
+                 void (*bend_close)(void *handle))
 {
-    int ret = statserv_start (argc, argv);
+    int ret;
+    statserv_options_block *cb = statserv_getcontrol();
+    
+    cb->bend_init = bend_init;
+    cb->bend_close = bend_close;
+
+    statserv_setcontrol(cb);
+    ret = statserv_start (argc, argv);
     statserv_closedown ();
     return ret;
 }