tcpip: fix comp wo getaddrinfo; refactor tcp_state init
[yaz-moved-to-github.git] / src / tcpip.c
index 0d8eaeb..ab9f6c4 100644 (file)
@@ -26,6 +26,7 @@
 #if HAVE_UNISTD_H
 #include <unistd.h>
 #endif
+#include <yaz/thread_create.h>
 
 #ifdef WIN32
 /* VS 2003 or later has getaddrinfo; older versions do not */
 #if HAVE_GNUTLS_H
 #include <gnutls/x509.h>
 #include <gnutls/gnutls.h>
-#define ENABLE_SSL 1
 #endif
 
 #include <yaz/comstack.h>
 #include <yaz/tcpip.h>
 #include <yaz/errno.h>
 
+#ifndef WIN32
+#define RESOLVER_THREAD 1
+#endif
+
 static void tcpip_close(COMSTACK h);
 static int tcpip_put(COMSTACK h, char *buf, int size);
 static int tcpip_get(COMSTACK h, char **buf, int *bufsize);
@@ -81,7 +85,7 @@ static int tcpip_listen(COMSTACK h, char *raddr, int *addrlen,
                  void *cd);
 static int tcpip_set_blocking(COMSTACK p, int blocking);
 
-#if ENABLE_SSL
+#if HAVE_GNUTLS_H
 static int ssl_get(COMSTACK h, char **buf, int *bufsize);
 static int ssl_put(COMSTACK h, char *buf, int size);
 #endif
@@ -119,6 +123,14 @@ typedef struct tcpip_state
     int (*complete)(const char *buf, int len); /* length/complete. */
 #if HAVE_GETADDRINFO
     struct addrinfo *ai;
+    struct addrinfo *ai_connect;
+    int ipv6_only;
+#if RESOLVER_THREAD
+    int pipefd[2];
+    char *hoststr;
+    const char *port;
+    yaz_thread_t thread_id;
+#endif
 #else
     struct sockaddr_in addr;  /* returned by cs_straddr */
 #endif
@@ -134,11 +146,13 @@ typedef struct tcpip_state
     int connect_response_len;
 } tcpip_state;
 
-#ifdef WIN32
 static int tcpip_init(void)
 {
+#ifdef WIN32
     static int initialized = 0;
+#endif
     yaz_init_globals();
+#ifdef WIN32
     if (!initialized)
     {
         WORD requested;
@@ -149,15 +163,40 @@ static int tcpip_init(void)
             return 0;
         initialized = 1;
     }
+#endif
     return 1;
 }
-#else
-static int tcpip_init(void)
+
+static struct tcpip_state *tcpip_state_create(void)
 {
-    yaz_init_globals();
-    return 1;
-}
+    tcpip_state *sp = (struct tcpip_state *) xmalloc(sizeof(*sp));
+
+    sp->altbuf = 0;
+    sp->altsize = sp->altlen = 0;
+    sp->towrite = sp->written = -1;
+    sp->complete = cs_complete_auto;
+
+#if HAVE_GETADDRINFO
+    sp->ai = 0;
+    sp->ai_connect = 0;
+#if RESOLVER_THREAD
+    sp->hoststr = 0;
+    sp->pipefd[0] = sp->pipefd[1] = -1;
+    sp->port = 0;
+#endif
+#endif
+
+#if HAVE_GNUTLS_H
+    sp->cred_ptr = 0;
+    sp->session = 0;
+    strcpy(sp->cert_fname, "yaz.pem");
 #endif
+    sp->connect_request_buf = 0;
+    sp->connect_request_len = 0;
+    sp->connect_response_buf = 0;
+    sp->connect_response_len = 0;
+    return sp;
+}
 
 /*
  * This function is always called through the cs_create() macro.
@@ -166,16 +205,13 @@ static int tcpip_init(void)
 COMSTACK tcpip_type(int s, int flags, int protocol, void *vp)
 {
     COMSTACK p;
-    tcpip_state *sp;
 
     if (!tcpip_init())
         return 0;
     if (!(p = (struct comstack *)xmalloc(sizeof(struct comstack))))
         return 0;
-    if (!(sp = (struct tcpip_state *)(p->cprivate =
-                                         xmalloc(sizeof(tcpip_state)))))
-        return 0;
 
+    p->cprivate = tcpip_state_create();
     p->flags = flags;
 
     p->io_pending = 0;
@@ -202,25 +238,6 @@ COMSTACK tcpip_type(int s, int flags, int protocol, void *vp)
     p->cerrno = 0;
     p->user = 0;
 
-#if HAVE_GNUTLS_H
-    sp->cred_ptr = 0;
-    sp->session = 0;
-    strcpy(sp->cert_fname, "yaz.pem");
-#endif
-
-#if HAVE_GETADDRINFO
-    sp->ai = 0;
-#endif
-    sp->altbuf = 0;
-    sp->altsize = sp->altlen = 0;
-    sp->towrite = sp->written = -1;
-    sp->complete = cs_complete_auto;
-
-    sp->connect_request_buf = 0;
-    sp->connect_request_len = 0;
-    sp->connect_response_buf = 0;
-    sp->connect_response_len = 0;
-
     TRC(fprintf(stderr, "Created new TCPIP comstack h=%p\n", p));
 
     return p;
@@ -259,9 +276,7 @@ static void tcpip_create_cred(COMSTACK cs)
 
 COMSTACK ssl_type(int s, int flags, int protocol, void *vp)
 {
-#if !ENABLE_SSL
-    return 0;
-#else
+#if HAVE_GNUTLS_H
     tcpip_state *sp;
     COMSTACK p;
 
@@ -273,18 +288,17 @@ COMSTACK ssl_type(int s, int flags, int protocol, void *vp)
     p->type = ssl_type;
     sp = (tcpip_state *) p->cprivate;
 
-#if HAVE_GNUTLS_H
     sp->session = (gnutls_session_t) vp;
-#endif
     /* note: we don't handle already opened socket in SSL mode - yet */
     return p;
+#else
+    return 0;
 #endif
 }
 
-#if ENABLE_SSL
+#if HAVE_GNUTLS_H
 static int ssl_check_error(COMSTACK h, tcpip_state *sp, int res)
 {
-#if HAVE_GNUTLS_H
     TRC(fprintf(stderr, "ssl_check_error error=%d fatal=%d msg=%s\n",
                 res,
                 gnutls_error_is_fatal(res),
@@ -296,7 +310,6 @@ static int ssl_check_error(COMSTACK h, tcpip_state *sp, int res)
         h->io_pending = dir ? CS_WANT_WRITE : CS_WANT_READ;
         return 1;
     }
-#endif
     h->cerrno = CSERRORSSL;
     return 0;
 }
@@ -405,28 +418,13 @@ int tcpip_strtoaddr_ex(const char *str, struct sockaddr_in *add,
 }
 
 #if HAVE_GETADDRINFO
-void *tcpip_straddr(COMSTACK h, const char *str)
+static struct addrinfo *create_net_socket(COMSTACK h)
 {
     tcpip_state *sp = (tcpip_state *)h->cprivate;
-    const char *port = "210";
+    int s = -1;
     struct addrinfo *ai = 0;
-    int ipv6_only = 0;
-    if (h->protocol == PROTO_HTTP)
+    if (sp->ipv6_only >= 0)
     {
-        if (h->type == ssl_type)
-            port = "443";
-        else
-            port = "80";
-    }
-    if (!tcpip_init())
-        return 0;
-
-    if (sp->ai)
-        freeaddrinfo(sp->ai);
-    sp->ai = tcpip_getaddrinfo(str, port, &ipv6_only);
-    if (sp->ai && h->state == CS_ST_UNBND)
-    {
-        int s = -1;
         for (ai = sp->ai; ai; ai = ai->ai_next)
         {
             if (ai->ai_family == AF_INET6)
@@ -436,29 +434,102 @@ void *tcpip_straddr(COMSTACK h, const char *str)
                     break;
             }
         }
-        if (s == -1)
+    }
+    if (s == -1)
+    {
+        for (ai = sp->ai; ai; ai = ai->ai_next)
         {
-            for (ai = sp->ai; ai; ai = ai->ai_next)
-            {
-                s = socket(ai->ai_family, ai->ai_socktype, ai->ai_protocol);
-                if (s != -1)
-                     break;
-            }
+            s = socket(ai->ai_family, ai->ai_socktype, ai->ai_protocol);
+            if (s != -1)
+                break;
         }
-        if (s == -1)
+    }
+    if (s == -1)
+        return 0;
+    TRC(fprintf(stderr, "First socket fd=%d\n", s));
+    assert(ai);
+    h->iofile = s;
+    if (ai->ai_family == AF_INET6 && sp->ipv6_only >= 0 &&
+        setsockopt(h->iofile,
+                   IPPROTO_IPV6,
+                   IPV6_V6ONLY, &sp->ipv6_only, sizeof(sp->ipv6_only)))
+        return 0;
+    if (!tcpip_set_blocking(h, h->flags))
+        return 0;
+    return ai;
+}
+
+#if RESOLVER_THREAD
+
+void *resolver_thread(void *arg)
+{
+    COMSTACK h = (COMSTACK) arg;
+    tcpip_state *sp = (tcpip_state *)h->cprivate;
+
+    sp->ipv6_only = 0;
+    if (sp->ai)
+        freeaddrinfo(sp->ai);
+    sp->ai = tcpip_getaddrinfo(sp->hoststr, sp->port, &sp->ipv6_only);
+    write(sp->pipefd[1], "1", 1);
+    return 0;
+}
+
+static struct addrinfo *wait_resolver_thread(COMSTACK h)
+{
+    tcpip_state *sp = (tcpip_state *)h->cprivate;
+    char buf;
+
+    read(sp->pipefd[0], &buf, 1);
+    yaz_thread_join(&sp->thread_id, 0);
+    close(sp->pipefd[0]);
+    close(sp->pipefd[1]);
+    sp->pipefd[0] = -1;
+    h->iofile = -1;
+    return create_net_socket(h);
+}
+
+#endif
+
+void *tcpip_straddr(COMSTACK h, const char *str)
+{
+    tcpip_state *sp = (tcpip_state *)h->cprivate;
+    const char *port = "210";
+
+    if (!tcpip_init())
+        return 0;
+
+    if (h->protocol == PROTO_HTTP)
+    {
+        if (h->type == ssl_type)
+            port = "443";
+        else
+            port = "80";
+    }
+#if RESOLVER_THREAD
+    if (h->flags & CS_FLAGS_DNS_NO_BLOCK)
+    {
+        if (sp->pipefd[0] != -1)
             return 0;
-        assert(ai);
-        h->iofile = s;
-        if (ai->ai_family == AF_INET6 && ipv6_only >= 0 &&
-            setsockopt(h->iofile,
-                       IPPROTO_IPV6,
-                       IPV6_V6ONLY, &ipv6_only, sizeof(ipv6_only)))
-                return 0;
-        if (!tcpip_set_blocking(h, h->flags))
+        if (pipe(sp->pipefd) == -1)
             return 0;
+
+        sp->port = port;
+        xfree(sp->hoststr);
+        sp->hoststr = xstrdup(str);
+        sp->thread_id = yaz_thread_create(resolver_thread, h);
+        return sp->hoststr;
     }
-    return ai;
+#endif
+    if (sp->ai)
+        freeaddrinfo(sp->ai);
+    sp->ai = tcpip_getaddrinfo(str, port, &sp->ipv6_only);
+    if (sp->ai && h->state == CS_ST_UNBND)
+    {
+        return create_net_socket(h);
+    }
+    return sp->ai;
 }
+
 #else
 void *tcpip_straddr(COMSTACK h, const char *str)
 {
@@ -498,6 +569,43 @@ int tcpip_more(COMSTACK h)
     return sp->altlen && (*sp->complete)(sp->altbuf, sp->altlen);
 }
 
+static int cont_connect(COMSTACK h)
+{
+#if HAVE_GETADDRINFO
+    tcpip_state *sp = (tcpip_state *)h->cprivate;
+    struct addrinfo *ai = sp->ai_connect;
+    while (ai && (ai = ai->ai_next))
+    {
+        int s;
+        s = socket(ai->ai_family, ai->ai_socktype, ai->ai_protocol);
+        if (s != -1)
+        {
+#if HAVE_GNUTLS_H
+            if (h->type == ssl_type && sp->session)
+            {
+                gnutls_bye(sp->session, GNUTLS_SHUT_WR);
+                gnutls_deinit(sp->session);
+                sp->session = 0;
+            }
+#endif
+#ifdef WIN32
+            closesocket(h->iofile);
+#else
+            close(h->iofile);
+#endif
+            TRC(fprintf(stderr, "Other socket call fd=%d\n", s));
+            h->state = CS_ST_UNBND;
+            h->iofile = s;
+            tcpip_set_blocking(h, h->flags);
+            return tcpip_connect(h, ai);
+        }
+    }
+#endif
+    h->cerrno = CSYSERR;
+    return -1;
+}
+
+
 /*
  * connect(2) will block (sometimes) - nothing we can do short of doing
  * weird things like spawning subprocesses or threading or some weird junk
@@ -520,9 +628,27 @@ int tcpip_connect(COMSTACK h, void *address)
         return -1;
     }
 #if HAVE_GETADDRINFO
+#if RESOLVER_THREAD
+    if (sp->pipefd[0] != -1)
+    {
+        if (h->flags & CS_FLAGS_BLOCKING)
+        {
+            ai = wait_resolver_thread(h);
+            if (!ai)
+                return -1;
+        }
+        else
+        {
+            h->event = CS_CONNECT;
+            h->state = CS_ST_CONNECTING;
+            h->io_pending = CS_WANT_READ;
+            h->iofile = sp->pipefd[0];
+            return 1;
+        }
+    }
+#endif
     r = connect(h->iofile, ai->ai_addr, ai->ai_addrlen);
-    freeaddrinfo(sp->ai);
-    sp->ai = 0;
+    sp->ai_connect = ai;
 #else
     r = connect(h->iofile, (struct sockaddr *) add, sizeof(*add));
 #endif
@@ -539,14 +665,14 @@ int tcpip_connect(COMSTACK h, void *address)
 #else
         if (yaz_errno() == EINPROGRESS)
         {
+            TRC(fprintf(stderr, "Pending fd=%d\n", h->iofile));
             h->event = CS_CONNECT;
             h->state = CS_ST_CONNECTING;
             h->io_pending = CS_WANT_WRITE|CS_WANT_READ;
             return 1;
         }
 #endif
-        h->cerrno = CSYSERR;
-        return -1;
+        return cont_connect(h);
     }
     h->event = CS_CONNECT;
     h->state = CS_ST_CONNECTING;
@@ -559,13 +685,23 @@ int tcpip_connect(COMSTACK h, void *address)
  */
 int tcpip_rcvconnect(COMSTACK h)
 {
-#if ENABLE_SSL
     tcpip_state *sp = (tcpip_state *)h->cprivate;
-#endif
     TRC(fprintf(stderr, "tcpip_rcvconnect\n"));
 
     if (h->state == CS_ST_DATAXFER)
         return 0;
+#if HAVE_GETADDRINFO
+#if RESOLVER_THREAD
+    if (sp->pipefd[0] != -1)
+    {
+        struct addrinfo *ai = wait_resolver_thread(h);
+        if (!ai)
+            return -1;
+        h->state = CS_ST_UNBND;
+        return tcpip_connect(h, ai);
+    }
+#endif
+#endif
     if (h->state != CS_ST_CONNECTING)
     {
         h->cerrno = CSOUTSTATE;
@@ -591,7 +727,7 @@ int tcpip_rcvconnect(COMSTACK h)
         {
             if (ssl_check_error(h, sp, res))
                 return 1;
-            return -1;
+            return cont_connect(h);
         }
     }
 #endif
@@ -618,14 +754,21 @@ static int tcpip_bind(COMSTACK h, void *address, int mode)
     int one = 1;
 #endif
 
+#if HAVE_GETADDRINFO
+#if RESOLVER_THREAD
+    if (sp->pipefd[0] != -1)
+    {
+        ai = wait_resolver_thread(h);
+        if (!ai)
+            return -1;
+    }
+#endif
+#endif
 #if HAVE_GNUTLS_H
     if (h->type == ssl_type && !sp->session)
     {
         int res;
-        gnutls_global_init();
-
         tcpip_create_cred(h);
-
         res = gnutls_certificate_set_x509_key_file(sp->cred_ptr->xcred,
                                                    sp->cert_fname,
                                                    sp->cert_fname,
@@ -754,37 +897,15 @@ COMSTACK tcpip_accept(COMSTACK h)
     TRC(fprintf(stderr, "tcpip_accept h=%p pid=%d\n", h, getpid()));
     if (h->state == CS_ST_INCON)
     {
-        tcpip_state *state, *st = (tcpip_state *)h->cprivate;
-        if (!(cnew = (COMSTACK)xmalloc(sizeof(*cnew))))
-        {
-            h->cerrno = CSYSERR;
-#ifdef WIN32
-            closesocket(h->newfd);
-#else
-            close(h->newfd);
-#endif
-            h->newfd = -1;
-            return 0;
-        }
+        tcpip_state *st = (tcpip_state *)h->cprivate;
+        tcpip_state *state = tcpip_state_create();
+        cnew = (COMSTACK) xmalloc(sizeof(*cnew));
+
         memcpy(cnew, h, sizeof(*h));
         cnew->iofile = h->newfd;
         cnew->io_pending = 0;
+        cnew->cprivate = state;
 
-        if (!(state = (tcpip_state *)
-              (cnew->cprivate = xmalloc(sizeof(tcpip_state)))))
-        {
-            h->cerrno = CSYSERR;
-            if (h->newfd != -1)
-            {
-#ifdef WIN32
-                closesocket(h->newfd);
-#else
-                close(h->newfd);
-#endif
-                h->newfd = -1;
-            }
-            return 0;
-        }
         if (!tcpip_set_blocking(cnew, cnew->flags))
         {
             h->cerrno = CSYSERR;
@@ -797,24 +918,16 @@ COMSTACK tcpip_accept(COMSTACK h)
 #endif
                 h->newfd = -1;
             }
-            xfree(cnew);
             xfree(state);
+            xfree(cnew);
             return 0;
         }
         h->newfd = -1;
-        state->altbuf = 0;
-        state->altsize = state->altlen = 0;
-        state->towrite = state->written = -1;
-        state->complete = st->complete;
-#if HAVE_GETADDRINFO
-        state->ai = 0;
-#endif
         cnew->state = CS_ST_ACCEPT;
         h->state = CS_ST_IDLE;
 
 #if HAVE_GNUTLS_H
         state->cred_ptr = st->cred_ptr;
-        state->session = 0;
         if (st->cred_ptr)
         {
             int res;
@@ -849,8 +962,6 @@ COMSTACK tcpip_accept(COMSTACK h)
                                      (size_t) cnew->iofile);
         }
 #endif
-        state->connect_request_buf = 0;
-        state->connect_response_buf = 0;
         h = cnew;
     }
     if (h->state == CS_ST_ACCEPT)
@@ -1018,7 +1129,7 @@ int tcpip_get(COMSTACK h, char **buf, int *bufsize)
 }
 
 
-#if ENABLE_SSL
+#if HAVE_GNUTLS_H
 /*
  * Return: -1 error, >1 good, len of buffer, ==1 incomplete buffer,
  * 0=connection closed.
@@ -1055,7 +1166,6 @@ int ssl_get(COMSTACK h, char **buf, int *bufsize)
         else if (*bufsize - hasread < CS_TCPIP_BUFCHUNK)
             if (!(*buf =(char *)xrealloc(*buf, *bufsize *= 2)))
                 return -1;
-#if HAVE_GNUTLS_H
         res = gnutls_record_recv(sp->session, *buf + hasread,
                                  CS_TCPIP_BUFCHUNK);
         if (res == 0)
@@ -1069,16 +1179,6 @@ int ssl_get(COMSTACK h, char **buf, int *bufsize)
                 break;
             return -1;
         }
-#else
-        res = SSL_read(sp->ssl, *buf + hasread, CS_TCPIP_BUFCHUNK);
-        TRC(fprintf(stderr, "  SSL_read res=%d, hasread=%d\n", res, hasread));
-        if (res <= 0)
-        {
-            if (ssl_check_error(h, sp, res))
-                break;
-            return -1;
-        }
-#endif
         hasread += res;
     }
     TRC (fprintf (stderr, "  Out of read loop with hasread=%d, berlen=%d\n",
@@ -1163,8 +1263,7 @@ int tcpip_put(COMSTACK h, char *buf, int size)
                 h->io_pending = CS_WANT_WRITE;
                 return 1;
             }
-            h->cerrno = CSYSERR;
-            return -1;
+            return cont_connect(h);
         }
         state->written += res;
         TRC(fprintf(stderr, "  Wrote %d, written=%d, nbytes=%d\n",
@@ -1176,7 +1275,7 @@ int tcpip_put(COMSTACK h, char *buf, int size)
 }
 
 
-#if ENABLE_SSL
+#if HAVE_GNUTLS_H
 /*
  * Returns 1, 0 or -1
  * In nonblocking mode, you must call again with same buffer while
@@ -1202,7 +1301,6 @@ int ssl_put(COMSTACK h, char *buf, int size)
     }
     while (state->towrite > state->written)
     {
-#if HAVE_GNUTLS_H
         res = gnutls_record_send(state->session, buf + state->written,
                                  size - state->written);
         if (res <= 0)
@@ -1211,16 +1309,6 @@ int ssl_put(COMSTACK h, char *buf, int size)
                 return 1;
             return -1;
         }
-#else
-        res = SSL_write(state->ssl, buf + state->written,
-                        size - state->written);
-        if (res <= 0)
-        {
-            if (ssl_check_error(h, state, res))
-                return 1;
-            return -1;
-        }
-#endif
         state->written += res;
         TRC(fprintf(stderr, "  Wrote %d, written=%d, nbytes=%d\n",
                     res, state->written, size));
@@ -1236,6 +1324,17 @@ void tcpip_close(COMSTACK h)
     tcpip_state *sp = (struct tcpip_state *)h->cprivate;
 
     TRC(fprintf(stderr, "tcpip_close: h=%p pid=%d\n", h, getpid()));
+#if HAVE_GETADDRINFO
+#if RESOLVER_THREAD
+    if (sp->pipefd[0] != -1)
+    {
+        yaz_thread_join(&sp->thread_id, 0);
+        close(sp->pipefd[0]);
+        close(sp->pipefd[1]);
+        h->iofile = -1;
+    }
+#endif
+#endif
     if (h->iofile != -1)
     {
 #if HAVE_GNUTLS_H
@@ -1272,6 +1371,9 @@ void tcpip_close(COMSTACK h)
 #if HAVE_GETADDRINFO
     if (sp->ai)
         freeaddrinfo(sp->ai);
+#if RESOLVER_THREAD
+    xfree(sp->hoststr);
+#endif
 #endif
     xfree(sp->connect_request_buf);
     xfree(sp->connect_response_buf);
@@ -1485,7 +1587,7 @@ void *cs_get_ssl(COMSTACK cs)
 
 int cs_set_ssl_ctx(COMSTACK cs, void *ctx)
 {
-#if ENABLE_SSL
+#if HAVE_GNUTLS_H
     if (cs && cs->type == ssl_type)
     {
         /* doesn't do anything for GNUTLS */
@@ -1497,7 +1599,7 @@ int cs_set_ssl_ctx(COMSTACK cs, void *ctx)
 
 int cs_set_ssl_certificate_file(COMSTACK cs, const char *fname)
 {
-#if ENABLE_SSL
+#if HAVE_GNUTLS_H
     if (cs && cs->type == ssl_type)
     {
         struct tcpip_state *sp = (struct tcpip_state *) cs->cprivate;