Fix left/right switch of truncation flag
[yaz-moved-to-github.git] / src / statserv.c
1 /* This file is part of the YAZ toolkit.
2  * Copyright (C) 1995-2011 Index Data
3  * See the file LICENSE for details.
4  */
5
6 /**
7  * \file statserv.c
8  * \brief Implements GFS logic
9  */
10
11 #if HAVE_CONFIG_H
12 #include <config.h>
13 #endif
14
15 #include <stdio.h>
16 #include <stdlib.h>
17 #include <string.h>
18 #include <ctype.h>
19
20 #ifdef WIN32
21 #include <process.h>
22 #include <winsock.h>
23 #include <direct.h>
24 #endif
25
26 #include <yaz/sc.h>
27
28 #if HAVE_SYS_TYPES_H
29 #include <sys/types.h>
30 #endif
31 #if HAVE_SYS_WAIT_H
32 #include <sys/wait.h>
33 #endif
34 #if HAVE_UNISTD_H
35 #include <unistd.h>
36 #endif
37 #if HAVE_PWD_H
38 #include <pwd.h>
39 #endif
40
41 #if YAZ_HAVE_XML2
42 #include <libxml/parser.h>
43 #include <libxml/tree.h>
44 #include <libxml/xinclude.h>
45 #endif
46
47 #if YAZ_POSIX_THREADS
48 #include <pthread.h>
49 #endif
50
51 #include <fcntl.h>
52 #include <signal.h>
53 #include <errno.h>
54
55 #include <yaz/comstack.h>
56 #include <yaz/tcpip.h>
57 #include <yaz/options.h>
58 #include <yaz/errno.h>
59 #ifdef USE_XTIMOSI
60 #include <yaz/xmosi.h>
61 #endif
62 #include <yaz/log.h>
63 #include "eventl.h"
64 #include "session.h"
65 #include <yaz/statserv.h>
66 #include <yaz/daemon.h>
67
68 static IOCHAN pListener = NULL;
69
70 static char gfs_root_dir[FILENAME_MAX+1];
71 static struct gfs_server *gfs_server_list = 0;
72 static struct gfs_listen *gfs_listen_list = 0;
73 static NMEM gfs_nmem = 0;
74
75 static char *me = "statserver"; /* log prefix */
76 static char *programname="statserver"; /* full program name */
77 #ifdef WIN32
78 DWORD current_control_tls;
79 static int init_control_tls = 0;
80 #elif YAZ_POSIX_THREADS
81 static pthread_key_t current_control_tls;
82 static int init_control_tls = 0;
83 #else
84 static statserv_options_block *current_control_block = 0;
85 #endif
86
87 /*
88  * default behavior.
89  */
90 #define STAT_DEFAULT_LOG_LEVEL "server,session,request"
91
92 int check_options(int argc, char **argv);
93 statserv_options_block control_block = {
94     1,                          /* dynamic mode */
95     0,                          /* threaded mode */
96     0,                          /* one shot (single session) */
97     "",                         /* no PDUs */
98     "",                         /* diagnostic output to stderr */
99     "tcp:@:9999",               /* default listener port */
100     PROTO_Z3950,                /* default application protocol */
101     900,                        /* idle timeout (seconds) */
102     1024*1024,                  /* maximum PDU size (approx.) to allow */
103     "default-config",           /* configuration name to pass to backend */
104     "",                         /* set user id */
105     0,                          /* bend_start handler */
106     0,                          /* bend_stop handler */
107     check_options,              /* Default routine, for checking the run-time arguments */
108     check_ip_tcpd,
109     "",
110     0,                          /* default value for inet deamon */
111     0,                          /* handle (for service, etc) */
112     0,                          /* bend_init handle */
113     0,                          /* bend_close handle */
114 #ifdef WIN32
115     "Z39.50 Server",            /* NT Service Name */
116     "Server",                   /* NT application Name */
117     "",                         /* NT Service Dependencies */
118     "Z39.50 Server",            /* NT Service Display Name */
119 #endif /* WIN32 */
120     0,                          /* SOAP handlers */
121     "",                         /* PID fname */
122     0,                          /* background daemon */
123     "",                         /* SSL certificate filename */
124     "",                         /* XML config filename */
125     1                           /* keepalive */
126 };
127
128 static int max_sessions = 0;
129
130 static int logbits_set = 0;
131 static int log_session = 0; /* one-line logs for session */
132 static int log_sessiondetail = 0; /* more detailed stuff */
133 static int log_server = 0;
134
135 /** get_logbits sets global loglevel bits */
136 static void get_logbits(int force)
137 { /* needs to be called after parsing cmd-line args that can set loglevels!*/
138     if (force || !logbits_set)
139     {
140         logbits_set = 1;
141         log_session = yaz_log_module_level("session");
142         log_sessiondetail = yaz_log_module_level("sessiondetail");
143         log_server = yaz_log_module_level("server");
144     }
145 }
146
147
148 static int add_listener(char *where, int listen_id);
149
150 #if YAZ_HAVE_XML2
151 static xmlDocPtr xml_config_doc = 0;
152 #endif
153
154 #if YAZ_HAVE_XML2
155 static xmlNodePtr xml_config_get_root(void)
156 {
157     xmlNodePtr ptr = 0;
158     if (xml_config_doc)
159     {
160         ptr = xmlDocGetRootElement(xml_config_doc);
161         if (!ptr || ptr->type != XML_ELEMENT_NODE ||
162             strcmp((const char *) ptr->name, "yazgfs"))
163         {
164             yaz_log(YLOG_WARN, "Bad/missing root element for config %s",
165                     control_block.xml_config);
166             return 0;
167         
168         }
169     }
170     return ptr;
171 }
172 #endif
173
174 #if YAZ_HAVE_XML2
175 static char *nmem_dup_xml_content(NMEM n, xmlNodePtr ptr)
176 {
177     unsigned char *cp;
178     xmlNodePtr p;
179     int len = 1;  /* start with 1, because of trailing 0 */
180     unsigned char *str;
181     int first = 1; /* whitespace lead flag .. */
182     /* determine length */
183     for (p = ptr; p; p = p->next)
184     {
185         if (p->type == XML_TEXT_NODE)
186             len += xmlStrlen(p->content);
187     }
188     /* now allocate for the string */
189     str = (unsigned char *) nmem_malloc(n, len);
190     *str = '\0'; /* so we can use strcat */
191     for (p = ptr; p; p = p->next)
192     {
193         if (p->type == XML_TEXT_NODE)
194         {
195             cp = p->content;
196             if (first)
197             {
198                 while(*cp && isspace(*cp))
199                     cp++;
200                 if (*cp)
201                     first = 0;  /* reset if we got non-whitespace out */
202             }
203             strcat((char *)str, (const char *)cp); /* append */
204         }
205     }
206     /* remove trailing whitespace */
207     cp = strlen((const char *)str) + str;
208     while (cp != str && isspace(cp[-1]))
209         cp--;
210     *cp = '\0';
211     /* return resulting string */
212     return (char *) str;
213 }
214 #endif
215
216 #if YAZ_HAVE_XML2
217 static struct gfs_server * gfs_server_new(void)
218 {
219     struct gfs_server *n = (struct gfs_server *)
220         nmem_malloc(gfs_nmem, sizeof(*n));
221     memcpy(&n->cb, &control_block, sizeof(control_block));
222     n->next = 0;
223     n->host = 0;
224     n->listen_ref = 0;
225     n->cql_transform = 0;
226     n->ccl_transform = 0;
227     n->server_node_ptr = 0;
228     n->directory = 0;
229     n->docpath = 0;
230     n->stylesheet = 0;
231     n->retrieval = yaz_retrieval_create();
232     return n;
233 }
234 #endif
235
236 #if YAZ_HAVE_XML2
237 static struct gfs_listen * gfs_listen_new(const char *id, 
238                                           const char *address)
239 {
240     struct gfs_listen *n = (struct gfs_listen *)
241         nmem_malloc(gfs_nmem, sizeof(*n));
242     if (id)
243         n->id = nmem_strdup(gfs_nmem, id);
244     else
245         n->id = 0;
246     n->next = 0;
247     n->address = nmem_strdup(gfs_nmem, address);
248     return n;
249 }
250 #endif
251
252 static void gfs_server_chdir(struct gfs_server *gfs)
253 {
254     if (gfs_root_dir[0])
255     {
256         if (chdir(gfs_root_dir))
257             yaz_log(YLOG_WARN|YLOG_ERRNO, "chdir %s", gfs_root_dir);
258     }
259     if (gfs->directory)
260     {
261         if (chdir(gfs->directory))
262             yaz_log(YLOG_WARN|YLOG_ERRNO, "chdir %s",
263                     gfs->directory);
264     }
265 }
266
267 int control_association(association *assoc, const char *host, int force_open)
268 {
269     char vhost[128], *cp;
270     if (host)
271     {
272         strncpy(vhost, host, 127);
273         vhost[127] = '\0';
274         cp = strchr(vhost, ':');
275         if (cp)
276             *cp = '\0';
277         host = vhost;
278     }
279     assoc->server = 0;
280     if (control_block.xml_config[0])
281     {
282         struct gfs_server *gfs;
283         for (gfs = gfs_server_list; gfs; gfs = gfs->next)
284         {
285             int listen_match = 0;
286             int host_match = 0;
287             if ( !gfs->host || (host && gfs->host && !strcmp(host, gfs->host)))
288                 host_match = 1;
289             if (!gfs->listen_ref ||
290                 gfs->listen_ref == assoc->client_chan->chan_id)
291                 listen_match = 1;
292             if (listen_match && host_match)
293             {
294                 if (force_open ||
295                     (assoc->last_control != &gfs->cb && assoc->backend))
296                 {
297                     statserv_setcontrol(assoc->last_control);
298                     if (assoc->backend && assoc->init)
299                     {
300                         gfs_server_chdir(gfs);
301                         (assoc->last_control->bend_close)(assoc->backend);
302                     }
303                     assoc->backend = 0;
304                     xfree(assoc->init);
305                     assoc->init = 0;
306                 }
307                 assoc->server = gfs;
308                 assoc->last_control = &gfs->cb;
309                 statserv_setcontrol(&gfs->cb);
310                 
311                 gfs_server_chdir(gfs);
312                 break;
313             }
314         }
315         if (!gfs)
316         {
317             statserv_setcontrol(0);
318             assoc->last_control = 0;
319             return 0;
320         }
321     }
322     else
323     {
324         statserv_setcontrol(&control_block);
325         assoc->last_control = &control_block;
326     }
327     yaz_log(YLOG_DEBUG, "server select: config=%s", 
328             assoc->last_control->configname);
329
330     assoc->maximumRecordSize = assoc->last_control->maxrecordsize;
331     assoc->preferredMessageSize = assoc->last_control->maxrecordsize;
332     cs_set_max_recv_bytes(assoc->client_link, assoc->maximumRecordSize);
333     return 1;
334 }
335
336 #if YAZ_HAVE_XML2
337 static void xml_config_read(void)
338 {
339     struct gfs_server **gfsp = &gfs_server_list;
340     struct gfs_listen **gfslp = &gfs_listen_list;
341     xmlNodePtr ptr = xml_config_get_root();
342
343     if (!ptr)
344         return;
345     for (ptr = ptr->children; ptr; ptr = ptr->next)
346     {
347         struct _xmlAttr *attr;
348         if (ptr->type != XML_ELEMENT_NODE)
349             continue;
350         attr = ptr->properties;
351         if (!strcmp((const char *) ptr->name, "listen"))
352         {
353             /*
354               <listen id="listenerid">tcp:@:9999</listen>
355             */
356             const char *id = 0;
357             const char *address =
358                 nmem_dup_xml_content(gfs_nmem, ptr->children);
359             for ( ; attr; attr = attr->next)
360                 if (!xmlStrcmp(attr->name, BAD_CAST "id")
361                     && attr->children && attr->children->type == XML_TEXT_NODE)
362                     id = nmem_dup_xml_content(gfs_nmem, attr->children);
363             if (address)
364             {
365                 *gfslp = gfs_listen_new(id, address);
366                 gfslp = &(*gfslp)->next;
367                 *gfslp = 0; /* make listener list consistent for search */
368             }
369         }
370         else if (!strcmp((const char *) ptr->name, "server"))
371         {
372             xmlNodePtr ptr_server = ptr;
373             xmlNodePtr ptr;
374             const char *listenref = 0;
375             const char *id = 0;
376             struct gfs_server *gfs;
377
378             for ( ; attr; attr = attr->next)
379                 if (!xmlStrcmp(attr->name, BAD_CAST "listenref") 
380                     && attr->children && attr->children->type == XML_TEXT_NODE)
381                     listenref = nmem_dup_xml_content(gfs_nmem, attr->children);
382                 else if (!xmlStrcmp(attr->name, BAD_CAST "id")
383                          && attr->children
384                          && attr->children->type == XML_TEXT_NODE)
385                     id = nmem_dup_xml_content(gfs_nmem, attr->children);
386                 else
387                     yaz_log(YLOG_WARN, "Unknown attribute '%s' for server",
388                             attr->name);
389             gfs = *gfsp = gfs_server_new();
390             gfs->server_node_ptr = ptr_server;
391             if (listenref)
392             {
393                 int id_no;
394                 struct gfs_listen *gl = gfs_listen_list;
395                 for (id_no = 1; gl; gl = gl->next, id_no++)
396                     if (gl->id && !strcmp(gl->id, listenref))
397                     {
398                         gfs->listen_ref = id_no;
399                         break;
400                     }
401                 if (!gl)
402                     yaz_log(YLOG_WARN, "Non-existent listenref '%s' in server "
403                             "config element", listenref);
404             }
405             for (ptr = ptr_server->children; ptr; ptr = ptr->next)
406             {
407                 if (ptr->type != XML_ELEMENT_NODE)
408                     continue;
409                 if (!strcmp((const char *) ptr->name, "host"))
410                 {
411                     gfs->host = nmem_dup_xml_content(gfs_nmem,
412                                                      ptr->children);
413                 }
414                 else if (!strcmp((const char *) ptr->name, "config"))
415                 {
416                     strcpy(gfs->cb.configname,
417                            nmem_dup_xml_content(gfs_nmem, ptr->children));
418                 }
419                 else if (!strcmp((const char *) ptr->name, "cql2rpn"))
420                 {
421                     gfs->cql_transform = cql_transform_open_fname(
422                         nmem_dup_xml_content(gfs_nmem, ptr->children)
423                         );
424                 }
425                 else if (!strcmp((const char *) ptr->name, "ccl2rpn"))
426                 {
427                     char *name;
428                     FILE *f;
429
430                     name = nmem_dup_xml_content(gfs_nmem, ptr->children);
431                     if ((f = fopen(name, "r")) == 0) {
432                         yaz_log(YLOG_FATAL, "can't open CCL file '%s'", name);
433                         exit(1);
434                     }
435                     gfs->ccl_transform = ccl_qual_mk();
436                     ccl_qual_file (gfs->ccl_transform, f);
437                     fclose(f);
438                 }
439                 else if (!strcmp((const char *) ptr->name, "directory"))
440                 {
441                     gfs->directory = 
442                         nmem_dup_xml_content(gfs_nmem, ptr->children);
443                 }
444                 else if (!strcmp((const char *) ptr->name, "docpath"))
445                 {
446                     gfs->docpath = 
447                         nmem_dup_xml_content(gfs_nmem, ptr->children);
448                 }
449                 else if (!strcmp((const char *) ptr->name, "maximumrecordsize"))
450                 {
451                     gfs->cb.maxrecordsize = atoi(
452                         nmem_dup_xml_content(gfs_nmem, ptr->children));
453                 }
454                 else if (!strcmp((const char *) ptr->name, "stylesheet"))
455                 {
456                     char *s = nmem_dup_xml_content(gfs_nmem, ptr->children);
457                     gfs->stylesheet = (char *)
458                         nmem_malloc(gfs_nmem, strlen(s) + 2);
459                     sprintf(gfs->stylesheet, "/%s", s);
460                 }
461                 else if (!strcmp((const char *) ptr->name, "explain"))
462                 {
463                     ; /* being processed separately */
464                 }
465                 else if (!strcmp((const char *) ptr->name, "retrievalinfo"))
466                 {
467                     if (yaz_retrieval_configure(gfs->retrieval, ptr))
468                     {       
469                         yaz_log(YLOG_FATAL, "%s in config %s",
470                                 yaz_retrieval_get_error(gfs->retrieval),
471                                 control_block.xml_config);
472                         exit(1);
473                     }
474                 }
475                 else
476                 {
477                     yaz_log(YLOG_FATAL, "Unknown element '%s' in config %s",
478                             ptr->name, control_block.xml_config);
479                     exit(1);
480                 }
481             }
482             gfsp = &(*gfsp)->next;
483         }
484     }
485     *gfsp = 0;
486 }
487 #endif
488
489 static void xml_config_open(void)
490 {
491     if (!getcwd(gfs_root_dir, FILENAME_MAX))
492     {
493         yaz_log(YLOG_WARN|YLOG_ERRNO, "getcwd failed");
494         gfs_root_dir[0] = '\0';
495     }
496 #ifdef WIN32
497     init_control_tls = 1;
498     current_control_tls = TlsAlloc();
499 #elif YAZ_POSIX_THREADS
500     init_control_tls = 1;
501     pthread_key_create(&current_control_tls, 0);
502 #endif
503     
504     gfs_nmem = nmem_create();
505 #if YAZ_HAVE_XML2
506     if (control_block.xml_config[0] == '\0')
507         return;
508
509     if (!xml_config_doc)
510     {
511         xml_config_doc = xmlParseFile(control_block.xml_config);
512         if (!xml_config_doc)
513         {
514             yaz_log(YLOG_FATAL, "Could not parse %s", control_block.xml_config);
515             exit(1);
516         }
517         else
518         {
519             int noSubstitutions = xmlXIncludeProcess(xml_config_doc);
520             if (noSubstitutions == -1)
521             {
522                 yaz_log(YLOG_WARN, "XInclude processing failed for config %s",
523                         control_block.xml_config);
524                 exit(1);
525             }
526         }
527     }
528     xml_config_read();
529 #endif
530 }
531
532 static void xml_config_close(void)
533 {
534 #if YAZ_HAVE_XML2
535     if (xml_config_doc)
536     {
537         xmlFreeDoc(xml_config_doc);
538         xml_config_doc = 0;
539     }
540 #endif
541     gfs_server_list = 0;
542     nmem_destroy(gfs_nmem);
543 #ifdef WIN32
544     if (init_control_tls)
545         TlsFree(current_control_tls);
546 #elif YAZ_POSIX_THREADS
547     if (init_control_tls)
548         pthread_key_delete(current_control_tls);
549 #endif
550 }
551
552 static void xml_config_add_listeners(void)
553 {
554     struct gfs_listen *gfs = gfs_listen_list;
555     int id_no;
556
557     for (id_no = 1; gfs; gfs = gfs->next, id_no++)
558     {
559         if (gfs->address)
560             add_listener(gfs->address, id_no);
561     }
562 }
563
564 static void xml_config_bend_start(void)
565 {
566     if (control_block.xml_config[0])
567     {
568         struct gfs_server *gfs = gfs_server_list;
569         for (; gfs; gfs = gfs->next)
570         {
571             yaz_log(YLOG_DEBUG, "xml_config_bend_start config=%s",
572                     gfs->cb.configname);
573             statserv_setcontrol(&gfs->cb);
574             if (control_block.bend_start)
575             {
576                 gfs_server_chdir(gfs);
577                 (control_block.bend_start)(&gfs->cb);
578             }
579         }
580     }
581     else
582     {
583         yaz_log(YLOG_DEBUG, "xml_config_bend_start default config");
584         statserv_setcontrol(&control_block);
585         if (control_block.bend_start)
586             (*control_block.bend_start)(&control_block);
587     }
588 }
589
590 static void xml_config_bend_stop(void)
591 {
592     if (control_block.xml_config[0])
593     {
594         struct gfs_server *gfs = gfs_server_list;
595         for (; gfs; gfs = gfs->next)
596         {
597             yaz_log(YLOG_DEBUG, "xml_config_bend_stop config=%s",
598                     gfs->cb.configname);
599             statserv_setcontrol(&gfs->cb);
600             if (control_block.bend_stop)
601                 (control_block.bend_stop)(&gfs->cb);
602         }
603     }
604     else
605     {
606         yaz_log(YLOG_DEBUG, "xml_config_bend_stop default config");
607         statserv_setcontrol(&control_block);
608         if (control_block.bend_stop)
609             (*control_block.bend_stop)(&control_block);
610     }
611 }
612
613 /*
614  * handle incoming connect requests.
615  * The dynamic mode is a bit tricky mostly because we want to avoid
616  * doing all of the listening and accepting in the parent - it's
617  * safer that way.
618  */
619 #ifdef WIN32
620
621 typedef struct _ThreadList ThreadList;
622
623 struct _ThreadList
624 {
625     HANDLE hThread;
626     IOCHAN pIOChannel;
627     ThreadList *pNext;
628 };
629
630 static ThreadList *pFirstThread;
631 static CRITICAL_SECTION Thread_CritSect;
632 static BOOL bInitialized = FALSE;
633
634 static void ThreadList_Initialize()
635 {
636     /* Initialize the critical Sections */
637     InitializeCriticalSection(&Thread_CritSect);
638
639     /* Set the first thraed */
640     pFirstThread = NULL;
641
642     /* we have been initialized */
643     bInitialized = TRUE;
644 }
645
646 static void statserv_add(HANDLE hThread, IOCHAN pIOChannel)
647 {
648     /* Only one thread can go through this section at a time */
649     EnterCriticalSection(&Thread_CritSect);
650
651     {
652         /* Lets create our new object */
653         ThreadList *pNewThread = (ThreadList *)malloc(sizeof(ThreadList));
654         pNewThread->hThread = hThread;
655         pNewThread->pIOChannel = pIOChannel;
656         pNewThread->pNext = pFirstThread;
657         pFirstThread = pNewThread;
658
659         /* Lets let somebody else create a new object now */
660         LeaveCriticalSection(&Thread_CritSect);
661     }
662 }
663
664 void statserv_remove(IOCHAN pIOChannel)
665 {
666     /* Only one thread can go through this section at a time */
667     EnterCriticalSection(&Thread_CritSect);
668
669     {
670         ThreadList *pCurrentThread = pFirstThread;
671         ThreadList *pNextThread;
672         ThreadList *pPrevThread =NULL;
673
674         /* Step through all the threads */
675         for (; pCurrentThread != NULL; pCurrentThread = pNextThread)
676         {
677             /* We only need to compare on the IO Channel */
678             if (pCurrentThread->pIOChannel == pIOChannel)
679             {
680                 /* We have found the thread we want to delete */
681                 /* First of all reset the next pointers */
682                 if (pPrevThread == NULL)
683                     pFirstThread = pCurrentThread->pNext;
684                 else
685                     pPrevThread->pNext = pCurrentThread->pNext;
686
687                 /* All we need todo now is delete the memory */
688                 free(pCurrentThread);
689
690                 /* No need to look at any more threads */
691                 pNextThread = NULL;
692             }
693             else
694             {
695                 /* We need to look at another thread */
696                 pNextThread = pCurrentThread->pNext;
697                 pPrevThread = pCurrentThread;
698             }
699         }
700
701         /* Lets let somebody else remove an object now */
702         LeaveCriticalSection(&Thread_CritSect);
703     }
704 }
705
706 /* WIN32 statserv_closedown */
707 static void statserv_closedown()
708 {
709     /* Shouldn't do anything if we are not initialized */
710     if (bInitialized)
711     {
712         int iHandles = 0;
713         HANDLE *pThreadHandles = NULL;
714
715         /* We need to stop threads adding and removing while we */
716         /* start the closedown process */
717         EnterCriticalSection(&Thread_CritSect);
718
719         {
720             /* We have exclusive access to the thread stuff now */
721             /* Y didn't i use a semaphore - Oh well never mind */
722             ThreadList *pCurrentThread = pFirstThread;
723
724             /* Before we do anything else, we need to shutdown the listener */
725             if (pListener != NULL)
726                 iochan_destroy(pListener);
727
728             for (; pCurrentThread != NULL; pCurrentThread = pCurrentThread->pNext)
729             {
730                 /* Just destroy the IOCHAN, that should do the trick */
731                 iochan_destroy(pCurrentThread->pIOChannel);
732                 closesocket(pCurrentThread->pIOChannel->fd);
733
734                 /* Keep a running count of our handles */
735                 iHandles++;
736             }
737
738             if (iHandles > 0)
739             {
740                 HANDLE *pCurrentHandle ;
741
742                 /* Allocate the thread handle array */
743                 pThreadHandles = (HANDLE *)malloc(sizeof(HANDLE) * iHandles);
744                 pCurrentHandle = pThreadHandles; 
745
746                 for (pCurrentThread = pFirstThread;
747                      pCurrentThread != NULL;
748                      pCurrentThread = pCurrentThread->pNext, pCurrentHandle++)
749                 {
750                     /* Just the handle */
751                     *pCurrentHandle = pCurrentThread->hThread;
752                 }
753             }
754
755             /* We can now leave the critical section */
756             LeaveCriticalSection(&Thread_CritSect);
757         }
758
759         /* Now we can really do something */
760         if (iHandles > 0)
761         {
762             yaz_log(log_server, "waiting for %d to die", iHandles);
763             /* This will now wait, until all the threads close */
764             WaitForMultipleObjects(iHandles, pThreadHandles, TRUE, INFINITE);
765
766             /* Free the memory we allocated for the handle array */
767             free(pThreadHandles);
768         }
769
770         xml_config_bend_stop();
771         /* No longer require the critical section, since all threads are dead */
772         DeleteCriticalSection(&Thread_CritSect);
773     }
774     xml_config_close();
775 }
776
777 void __cdecl event_loop_thread(IOCHAN iochan)
778 {
779     iochan_event_loop(&iochan);
780 }
781
782 /* WIN32 listener */
783 static void listener(IOCHAN h, int event)   
784 {
785     COMSTACK line = (COMSTACK) iochan_getdata(h);
786     IOCHAN parent_chan = line->user;
787     association *newas;
788     int res;
789     HANDLE newHandle;
790
791     if (event == EVENT_INPUT)
792     {
793         COMSTACK new_line;
794         IOCHAN new_chan;
795
796         if ((res = cs_listen(line, 0, 0)) < 0)
797         {
798             yaz_log(YLOG_FATAL|YLOG_ERRNO, "cs_listen failed");
799             return;
800         }
801         else if (res == 1)
802             return; /* incomplete */
803         yaz_log(YLOG_DEBUG, "listen ok");
804         new_line = cs_accept(line);
805         if (!new_line)
806         {
807             yaz_log(YLOG_FATAL, "Accept failed.");
808             return;
809         }
810         yaz_log(YLOG_DEBUG, "Accept ok");
811
812         if (!(new_chan = iochan_create(cs_fileno(new_line), ir_session,
813                                        EVENT_INPUT, parent_chan->chan_id)))
814         {
815             yaz_log(YLOG_FATAL, "Failed to create iochan");
816             iochan_destroy(h);
817             return;
818         }
819
820         yaz_log(YLOG_DEBUG, "Creating association");
821         if (!(newas = create_association(new_chan, new_line,
822                                          control_block.apdufile)))
823         {
824             yaz_log(YLOG_FATAL, "Failed to create new assoc.");
825             iochan_destroy(h);
826             return;
827         }
828         newas->cs_get_mask = EVENT_INPUT;
829         newas->cs_put_mask = 0;
830         newas->cs_accept_mask = 0;
831
832         yaz_log(YLOG_DEBUG, "Setting timeout %d", control_block.idle_timeout);
833         iochan_setdata(new_chan, newas);
834         iochan_settimeout(new_chan, 60);
835
836         /* Now what we need todo is create a new thread with this iochan as
837            the parameter */
838         newHandle = (HANDLE) _beginthread(event_loop_thread, 0, new_chan);
839         if (newHandle == (HANDLE) -1)
840         {
841             
842             yaz_log(YLOG_FATAL|YLOG_ERRNO, "Failed to create new thread.");
843             iochan_destroy(h);
844             return;
845         }
846         /* We successfully created the thread, so add it to the list */
847         statserv_add(newHandle, new_chan);
848
849         yaz_log(YLOG_DEBUG, "Created new thread, id = %ld iochan %p",(long) newHandle, new_chan);
850         iochan_setflags(h, EVENT_INPUT | EVENT_EXCEPT); /* reset listener */
851     }
852     else
853     {
854         yaz_log(YLOG_FATAL, "Bad event on listener.");
855         iochan_destroy(h);
856         return;
857     }
858 }
859
860 #else /* ! WIN32 */
861
862 /* To save having an #ifdef in event_loop we need to
863    define this empty function 
864 */
865 void statserv_remove(IOCHAN pIOChannel)
866 {
867 }
868
869 static void statserv_closedown(void)
870 {
871     IOCHAN p;
872
873     xml_config_bend_stop();
874     for (p = pListener; p; p = p->next)
875     {
876         iochan_destroy(p);
877     }
878     xml_config_close();
879 }
880
881 static void *new_session(void *vp);
882 static int no_sessions = 0;
883
884 /* UNIX listener */
885 static void listener(IOCHAN h, int event)
886 {
887     COMSTACK line = (COMSTACK) iochan_getdata(h);
888     int res;
889
890     if (event == EVENT_INPUT)
891     {
892         COMSTACK new_line;
893         if ((res = cs_listen_check(line, 0, 0, control_block.check_ip,
894                                    control_block.daemon_name)) < 0)
895         {
896             yaz_log(YLOG_WARN|YLOG_ERRNO, "cs_listen failed");
897             return;
898         }
899         else if (res == 1)
900         {
901             yaz_log(YLOG_WARN, "cs_listen incomplete");
902             return;
903         }
904         new_line = cs_accept(line);
905         if (!new_line)
906         {
907             yaz_log(YLOG_FATAL, "Accept failed.");
908             iochan_setflags(h, EVENT_INPUT | EVENT_EXCEPT); /* reset listener */
909             return;
910         }
911
912         yaz_log(log_sessiondetail, "Connect from %s", cs_addrstr(new_line));
913
914         no_sessions++;
915         if (control_block.dynamic)
916         {
917             if ((res = fork()) < 0)
918             {
919                 yaz_log(YLOG_FATAL|YLOG_ERRNO, "fork");
920                 iochan_destroy(h);
921                 return;
922             }
923             else if (res == 0) /* child */
924             {
925                 char nbuf[100];
926                 IOCHAN pp;
927
928                 for (pp = pListener; pp; pp = iochan_getnext(pp))
929                 {
930                     COMSTACK l = (COMSTACK)iochan_getdata(pp);
931                     cs_close(l);
932                     iochan_destroy(pp);
933                 }
934                 sprintf(nbuf, "%s(%d)", me, no_sessions);
935                 yaz_log_init_prefix(nbuf);
936                 /* ensure that bend_stop is not called when each child exits -
937                    only for the main process ..  */
938                 control_block.bend_stop = 0;
939             }
940             else /* parent */
941             {
942                 cs_close(new_line);
943                 return;
944             }
945         }
946
947         if (control_block.threads)
948         {
949 #if YAZ_POSIX_THREADS
950             pthread_t child_thread;
951             pthread_create(&child_thread, 0, new_session, new_line);
952             pthread_detach(child_thread);
953 #else
954             new_session(new_line);
955 #endif
956         }
957         else
958             new_session(new_line);
959     }
960     else if (event == EVENT_TIMEOUT)
961     {
962         yaz_log(log_server, "Shutting down listener.");
963         iochan_destroy(h);
964     }
965     else
966     {
967         yaz_log(YLOG_FATAL, "Bad event on listener.");
968         iochan_destroy(h);
969     }
970 }
971
972 static void *new_session(void *vp)
973 {
974     const char *a;
975     association *newas;
976     IOCHAN new_chan;
977     COMSTACK new_line = (COMSTACK) vp;
978     IOCHAN parent_chan = (IOCHAN) new_line->user;
979
980     unsigned cs_get_mask, cs_accept_mask, mask =  
981         ((new_line->io_pending & CS_WANT_WRITE) ? EVENT_OUTPUT : 0) |
982         ((new_line->io_pending & CS_WANT_READ) ? EVENT_INPUT : 0);
983
984     if (mask)
985     {
986         cs_accept_mask = mask;  /* accept didn't complete */
987         cs_get_mask = 0;
988     }
989     else
990     {
991         cs_accept_mask = 0;     /* accept completed.  */
992         cs_get_mask = mask = EVENT_INPUT;
993     }
994
995     if (!(new_chan = iochan_create(cs_fileno(new_line), ir_session, mask,
996                                    parent_chan->chan_id)))
997     {
998         yaz_log(YLOG_FATAL, "Failed to create iochan");
999         return 0;
1000     }
1001     if (!(newas = create_association(new_chan, new_line,
1002                                      control_block.apdufile)))
1003     {
1004         yaz_log(YLOG_FATAL, "Failed to create new assoc.");
1005         return 0;
1006     }
1007     newas->cs_accept_mask = cs_accept_mask;
1008     newas->cs_get_mask = cs_get_mask;
1009
1010     iochan_setdata(new_chan, newas);
1011     iochan_settimeout(new_chan, 60);
1012 #if 1
1013     a = cs_addrstr(new_line);
1014 #else
1015     a = 0;
1016 #endif
1017     yaz_log_xml_errors(0, YLOG_WARN);
1018     yaz_log(log_session, "Session - OK %d %s %ld",
1019             no_sessions, a ? a : "[Unknown]", (long) getpid());
1020     if (max_sessions && no_sessions >= max_sessions)
1021         control_block.one_shot = 1;
1022     if (control_block.threads)
1023     {
1024         iochan_event_loop(&new_chan);
1025     }
1026     else
1027     {
1028         new_chan->next = pListener;
1029         pListener = new_chan;
1030     }
1031     return 0;
1032 }
1033
1034 /* UNIX */
1035 #endif
1036
1037 static void inetd_connection(int what)
1038 {
1039     COMSTACK line;
1040     IOCHAN chan;
1041     association *assoc;
1042     const char *addr;
1043
1044     if ((line = cs_createbysocket(0, tcpip_type, 0, what)))
1045     {
1046         if ((chan = iochan_create(cs_fileno(line), ir_session, EVENT_INPUT,
1047                                   0)))
1048         {
1049             if ((assoc = create_association(chan, line,
1050                                             control_block.apdufile)))
1051             {
1052                 iochan_setdata(chan, assoc);
1053                 iochan_settimeout(chan, 60);
1054                 addr = cs_addrstr(line);
1055                 yaz_log(log_sessiondetail, "Inetd association from %s",
1056                         addr ? addr : "[UNKNOWN]");
1057                 assoc->cs_get_mask = EVENT_INPUT;
1058             }
1059             else
1060             {
1061                 yaz_log(YLOG_FATAL, "Failed to create association structure");
1062             }
1063             chan->next = pListener;
1064             pListener = chan;
1065         }
1066         else
1067         {
1068             yaz_log(YLOG_FATAL, "Failed to create iochan");
1069         }
1070     }
1071     else
1072     {
1073         yaz_log(YLOG_ERRNO|YLOG_FATAL, "Failed to create comstack on socket 0");
1074     }
1075 }
1076
1077 /*
1078  * Set up a listening endpoint, and give it to the event-handler.
1079  */
1080 static int add_listener(char *where, int listen_id)
1081 {
1082     COMSTACK l;
1083     void *ap;
1084     IOCHAN lst = NULL;
1085     const char *mode;
1086
1087     if (control_block.dynamic)
1088         mode = "dynamic";
1089     else if (control_block.threads)
1090         mode = "threaded";
1091     else
1092         mode = "static";
1093
1094     yaz_log(log_server, "Adding %s listener on %s id=%d", mode, where,
1095             listen_id);
1096
1097     l = cs_create_host(where, 2, &ap);
1098     if (!l)
1099     {
1100         yaz_log(YLOG_FATAL, "Failed to listen on %s", where);
1101         return -1;
1102     }
1103     if (*control_block.cert_fname)
1104         cs_set_ssl_certificate_file(l, control_block.cert_fname);
1105
1106     if (cs_bind(l, ap, CS_SERVER) < 0)
1107     {
1108         if (cs_errno(l) == CSYSERR)
1109             yaz_log(YLOG_FATAL|YLOG_ERRNO, "Failed to bind to %s", where);
1110         else
1111             yaz_log(YLOG_FATAL, "Failed to bind to %s: %s", where,
1112                     cs_strerror(l));
1113         cs_close(l);
1114         return -1;
1115     }
1116     if (!(lst = iochan_create(cs_fileno(l), listener, EVENT_INPUT |
1117                               EVENT_EXCEPT, listen_id)))
1118     {
1119         yaz_log(YLOG_FATAL|YLOG_ERRNO, "Failed to create IOCHAN-type");
1120         cs_close(l);
1121         return -1;
1122     }
1123     iochan_setdata(lst, l); /* user-defined data for listener is COMSTACK */
1124     l->user = lst;  /* user-defined data for COMSTACK is listener chan */
1125
1126     /* Add listener to chain */
1127     lst->next = pListener;
1128     pListener = lst;
1129     return 0; /* OK */
1130 }
1131
1132 #ifndef WIN32
1133 /* UNIX only (for windows we don't need to catch the signals) */
1134 static void catchchld(int num)
1135 {
1136     while (waitpid(-1, 0, WNOHANG) > 0)
1137         ;
1138     signal(SIGCHLD, catchchld);
1139 }
1140 #endif
1141
1142 statserv_options_block *statserv_getcontrol(void)
1143 {
1144 #ifdef WIN32
1145     if (init_control_tls)
1146         return (statserv_options_block *) TlsGetValue(current_control_tls);
1147     else
1148         return &control_block;
1149 #elif YAZ_POSIX_THREADS
1150     if (init_control_tls)
1151         return (statserv_options_block *)
1152             pthread_getspecific(current_control_tls);
1153     else
1154         return &control_block;
1155 #else
1156     if (current_control_block)
1157         return current_control_block;
1158     return &control_block;
1159 #endif
1160 }
1161
1162 void statserv_setcontrol(statserv_options_block *block)
1163 {
1164     if (gfs_root_dir[0])
1165     {
1166         if (chdir(gfs_root_dir))
1167             yaz_log(YLOG_WARN|YLOG_ERRNO, "chdir %s", gfs_root_dir);
1168     }
1169 #ifdef WIN32
1170     if (init_control_tls)
1171         TlsSetValue(current_control_tls, block);
1172 #elif YAZ_POSIX_THREADS
1173     if (init_control_tls)
1174         pthread_setspecific(current_control_tls, block);
1175 #else
1176     current_control_block = block;
1177 #endif
1178 }
1179
1180 static void statserv_reset(void)
1181 {
1182 }
1183
1184 static void daemon_handler(void *data)
1185 {
1186     IOCHAN *pListener = data;
1187     iochan_event_loop(pListener);
1188 }
1189
1190 static int statserv_sc_main(yaz_sc_t s, int argc, char **argv)
1191 {
1192     char sep;
1193 #ifdef WIN32
1194     /* We need to initialize the thread list */
1195     ThreadList_Initialize();
1196 /* WIN32 */
1197 #endif
1198
1199
1200 #ifdef WIN32
1201     sep = '\\';
1202 #else
1203     sep = '/';
1204 #endif
1205     if ((me = strrchr(argv[0], sep)))
1206         me++; /* get the basename */
1207     else
1208         me = argv[0];
1209     programname = argv[0];
1210
1211     if (control_block.options_func(argc, argv))
1212         return 1;
1213
1214     xml_config_open();
1215     
1216     xml_config_bend_start();
1217
1218     if (control_block.inetd)
1219     {
1220 #ifdef WIN32
1221         ; /* no inetd on Windows */
1222 #else
1223         inetd_connection(control_block.default_proto);
1224 #endif
1225     }
1226     else
1227     {
1228         xml_config_add_listeners();
1229
1230         if (!pListener && *control_block.default_listen)
1231             add_listener(control_block.default_listen, 0);
1232
1233 #ifndef WIN32
1234         if (control_block.dynamic)
1235             signal(SIGCHLD, catchchld);
1236 #endif
1237     }
1238     if (pListener == NULL)
1239         return 1;
1240     if (s)
1241         yaz_sc_running(s);
1242     yaz_log(YLOG_DEBUG, "Entering event loop.");
1243
1244     yaz_daemon(programname,
1245                (control_block.background ? YAZ_DAEMON_FORK : 0),
1246                daemon_handler, &pListener,
1247                *control_block.pid_fname ? control_block.pid_fname : 0,
1248                *control_block.setuid ? control_block.setuid : 0);
1249     return 0;
1250 }
1251
1252 static void option_copy(char *dst, const char *src)
1253 {
1254     strncpy(dst, src ? src : "", 127);
1255     dst[127] = '\0';
1256 }
1257
1258 int check_options(int argc, char **argv)
1259 {
1260     int ret = 0, r;
1261     char *arg;
1262
1263     yaz_log_init_level(yaz_log_mask_str(STAT_DEFAULT_LOG_LEVEL)); 
1264
1265     get_logbits(1); 
1266
1267     while ((ret = options("1a:iszSTl:v:u:c:w:t:k:Kd:A:p:DC:f:m:r:",
1268                           argv, argc, &arg)) != -2)
1269     {
1270         switch (ret)
1271         {
1272         case 0:
1273             if (add_listener(arg, 0))
1274                 return 1;  /* failed to create listener */
1275             break;
1276         case '1':        
1277             control_block.one_shot = 1;
1278             control_block.dynamic = 0;
1279             break;
1280         case 'z':
1281             control_block.default_proto = PROTO_Z3950;
1282             break;
1283         case 's':
1284             fprintf(stderr, "%s: SR protocol no longer supported\n", me);
1285             exit(1);
1286             break;
1287         case 'S':
1288             control_block.dynamic = 0;
1289             break;
1290         case 'T':
1291 #if YAZ_POSIX_THREADS
1292             control_block.dynamic = 0;
1293             control_block.threads = 1;
1294 #else
1295             fprintf(stderr, "%s: Threaded mode not available.\n", me);
1296             return 1;
1297 #endif
1298             break;
1299         case 'l':
1300             option_copy(control_block.logfile, arg);
1301             yaz_log_init_file(control_block.logfile);
1302             break;
1303         case 'm':
1304             if (!arg) {
1305                 fprintf(stderr, "%s: Specify time format for log file.\n", me);
1306                 return(1);
1307             }
1308             yaz_log_time_format(arg);
1309             break;
1310         case 'v':
1311             yaz_log_init_level(yaz_log_mask_str(arg));
1312             get_logbits(1); 
1313             break;
1314         case 'a':
1315             option_copy(control_block.apdufile, arg);
1316             break;
1317         case 'u':
1318             option_copy(control_block.setuid, arg);
1319             break;
1320         case 'c':
1321             option_copy(control_block.configname, arg);
1322             break;
1323         case 'C':
1324             option_copy(control_block.cert_fname, arg);
1325             break;
1326         case 'd':
1327             option_copy(control_block.daemon_name, arg);
1328             break;
1329         case 't':
1330             if (!arg || !(r = atoi(arg)))
1331             {
1332                 fprintf(stderr, "%s: Specify positive timeout for -t.\n", me);
1333                 return(1);
1334             }
1335             control_block.idle_timeout = strchr(arg, 's') ? r : 60 * r;
1336             break;
1337         case  'k':
1338             if (!arg || !(r = atoi(arg)))
1339             {
1340                 fprintf(stderr, "%s: Specify positive size for -k.\n", me);
1341                 return(1);
1342             }
1343             control_block.maxrecordsize = r * 1024;
1344             break;
1345         case 'K':
1346             control_block.keepalive = 0;
1347             break;
1348         case 'i':
1349             control_block.inetd = 1;
1350             break;
1351         case 'w':
1352             if (chdir(arg))
1353             {
1354                 perror(arg);            
1355                 return 1;
1356             }
1357             break;
1358         case 'A':
1359             max_sessions = atoi(arg);
1360             break;
1361         case 'p':
1362             option_copy(control_block.pid_fname, arg);
1363             break;
1364         case 'f':
1365 #if YAZ_HAVE_XML2
1366             option_copy(control_block.xml_config, arg);
1367 #else
1368             fprintf(stderr, "%s: Option -f unsupported since YAZ is compiled without Libxml2 support\n", me);
1369             exit(1);
1370 #endif
1371             break;
1372         case 'D':
1373             control_block.background = 1;
1374             break;
1375         case 'r':
1376             if (!arg || !(r = atoi(arg)))
1377             {
1378                 fprintf(stderr, "%s: Specify positive size for -r.\n", me);
1379                 return(1);
1380             }
1381             yaz_log_init_max_size(r * 1024);
1382             break;
1383         default:
1384             fprintf(stderr, "Usage: %s [ -a <pdufile> -v <loglevel>"
1385                     " -l <logfile> -u <user> -c <config> -t <minutes>"
1386                     " -k <kilobytes> -d <daemon> -p <pidfile> -C certfile"
1387                     " -ziDST1 -m <time-format> -w <directory> <listener-addr>... ]\n", me);
1388             return 1;
1389         }
1390     }
1391     return 0;
1392 }
1393
1394 void statserv_sc_stop(yaz_sc_t s)
1395 {
1396     statserv_closedown();
1397     statserv_reset();
1398 }
1399
1400 int statserv_main(int argc, char **argv,
1401                   bend_initresult *(*bend_init)(bend_initrequest *r),
1402                   void (*bend_close)(void *handle))
1403 {
1404     int ret;
1405     struct statserv_options_block *cb = &control_block;
1406
1407     /* control block does not have service_name member on Unix */
1408     yaz_sc_t s = yaz_sc_create(
1409 #ifdef WIN32
1410         cb->service_name, cb->service_display_name
1411 #else
1412         0, 0
1413 #endif
1414         );
1415
1416     cb->bend_init = bend_init;
1417     cb->bend_close = bend_close;
1418
1419     ret = yaz_sc_program(s, argc, argv, statserv_sc_main, statserv_sc_stop);
1420     yaz_sc_destroy(&s);
1421     return ret;
1422 }
1423
1424 /*
1425  * Local variables:
1426  * c-basic-offset: 4
1427  * c-file-style: "Stroustrup"
1428  * indent-tabs-mode: nil
1429  * End:
1430  * vim: shiftwidth=4 tabstop=8 expandtab
1431  */
1432