Adding relevance ranking, etc.
[pazpar2-moved-to-github.git] / http.c
1 /*
2  * $Id: http.c,v 1.3 2006-11-26 05:15:43 quinn Exp $
3  */
4
5 #include <stdio.h>
6 #include <sys/socket.h>
7 #include <sys/types.h>
8 #include <sys/uio.h>
9 #include <unistd.h>
10 #include <stdlib.h>
11 #include <strings.h>
12 #include <ctype.h>
13 #include <fcntl.h>
14 #include <netdb.h>
15 #include <errno.h>
16
17 #include <yaz/yaz-util.h>
18 #include <yaz/comstack.h>
19 #include <netdb.h>
20
21 #include "command.h"
22 #include "util.h"
23 #include "eventl.h"
24 #include "pazpar2.h"
25 #include "http.h"
26 #include "http_command.h"
27
28 static void proxy_io(IOCHAN i, int event);
29
30 extern IOCHAN channel_list;
31
32 static struct sockaddr_in *proxy_addr = 0; // If this is set, we proxy normal HTTP requests
33 static char proxy_url[256] = "";
34 static struct http_buf *http_buf_freelist = 0;
35
36 static struct http_buf *http_buf_create()
37 {
38     struct http_buf *r;
39
40     if (http_buf_freelist)
41     {
42         r = http_buf_freelist;
43         http_buf_freelist = http_buf_freelist->next;
44     }
45     else
46         r = xmalloc(sizeof(struct http_buf));
47     r->offset = 0;
48     r->len = 0;
49     r->next = 0;
50     return r;
51 }
52
53 static void http_buf_destroy(struct http_buf *b)
54 {
55     b->next = http_buf_freelist;
56     http_buf_freelist = b;
57 }
58
59 static void http_buf_destroy_queue(struct http_buf *b)
60 {
61     struct http_buf *p;
62     while (b)
63     {
64         p = b->next;
65         http_buf_destroy(b);
66         b = p;
67     }
68 }
69
70 #ifdef GAGA
71 // Calculate length of chain
72 static int http_buf_len(struct http_buf *b)
73 {
74     int sum = 0;
75     for (; b; b = b->next)
76         sum += b->len;
77     return sum;
78 }
79 #endif
80
81 static struct http_buf *http_buf_bybuf(char *b, int len)
82 {
83     struct http_buf *res = 0;
84     struct http_buf **p = &res;
85
86     while (len)
87     {
88         *p = http_buf_create();
89         int tocopy = len;
90         if (tocopy > HTTP_BUF_SIZE)
91             tocopy = HTTP_BUF_SIZE;
92         memcpy((*p)->buf, b, tocopy);
93         (*p)->len = tocopy;
94         len -= tocopy;
95         b += tocopy;
96         p = &(*p)->next;
97     }
98     return res;
99 }
100
101 // Add a (chain of) buffers to the end of an existing queue.
102 static void http_buf_enqueue(struct http_buf **queue, struct http_buf *b)
103 {
104     while (*queue)
105         queue = &(*queue)->next;
106     *queue = b;
107 }
108
109 static struct http_buf *http_buf_bywrbuf(WRBUF wrbuf)
110 {
111     return http_buf_bybuf(wrbuf_buf(wrbuf), wrbuf_len(wrbuf));
112 }
113
114 // Non-destructively collapse chain of buffers into a string (max *len)
115 // Return
116 static int http_buf_peek(struct http_buf *b, char *buf, int len)
117 {
118     int rd = 0;
119     while (b && rd < len)
120     {
121         int toread = len - rd;
122         if (toread > b->len)
123             toread = b->len;
124         memcpy(buf + rd, b->buf + b->offset, toread);
125         rd += toread;
126         b = b->next;
127     }
128     buf[rd] = '\0';
129     return rd;
130 }
131
132 // Ddestructively munch up to len  from head of queue.
133 static int http_buf_read(struct http_buf **b, char *buf, int len)
134 {
135     int rd = 0;
136     while ((*b) && rd < len)
137     {
138         int toread = len - rd;
139         if (toread > (*b)->len)
140             toread = (*b)->len;
141         memcpy(buf + rd, (*b)->buf + (*b)->offset, toread);
142         rd += toread;
143         if (toread < (*b)->len)
144         {
145             (*b)->len -= toread;
146             (*b)->offset += toread;
147             break;
148         }
149         else
150         {
151             struct http_buf *n = (*b)->next;
152             http_buf_destroy(*b);
153             *b = n;
154         }
155     }
156     buf[rd] = '\0';
157     return rd;
158 }
159
160 void http_addheader(struct http_response *r, const char *name, const char *value)
161 {
162     struct http_channel *c = r->channel;
163     struct http_header *h = nmem_malloc(c->nmem, sizeof *h);
164     h->name = nmem_strdup(c->nmem, name);
165     h->value = nmem_strdup(c->nmem, value);
166     h->next = r->headers;
167     r->headers = h;
168 }
169
170 char *http_argbyname(struct http_request *r, char *name)
171 {
172     struct http_argument *p;
173     if (!name)
174         return 0;
175     for (p = r->arguments; p; p = p->next)
176         if (!strcmp(p->name, name))
177             return p->value;
178     return 0;
179 }
180
181 char *http_headerbyname(struct http_request *r, char *name)
182 {
183     struct http_header *p;
184     for (p = r->headers; p; p = p->next)
185         if (!strcmp(p->name, name))
186             return p->value;
187     return 0;
188 }
189
190 struct http_response *http_create_response(struct http_channel *c)
191 {
192     struct http_response *r = nmem_malloc(c->nmem, sizeof(*r));
193     strcpy(r->code, "200");
194     r->msg = "OK";
195     r->channel = c;
196     r->headers = 0;
197     r->payload = 0;
198     return r;
199 }
200
201 // Check if we have a complete request. Return 0 or length (including trailing newline)
202 // FIXME: Does not deal gracefully with requests carrying payload
203 // but this is kind of OK since we will reject anything other than an empty GET
204 static int request_check(struct http_buf *queue)
205 {
206     char tmp[4096];
207     int len = 0;
208     char *buf = tmp;
209
210     http_buf_peek(queue, tmp, 4096);
211     while (*buf) // Check if we have a sequence of lines terminated by an empty line
212     {
213         char *b = strstr(buf, "\r\n");
214
215         if (!b)
216             return 0;
217
218         len += (b - buf) + 2;
219         if (b == buf)
220             return len;
221         buf = b + 2;
222     }
223     return 0;
224 }
225
226 struct http_request *http_parse_request(struct http_channel *c, struct http_buf **queue,
227         int len)
228 {
229     struct http_request *r = nmem_malloc(c->nmem, sizeof(*r));
230     char *p, *p2;
231     char tmp[4096];
232     char *buf = tmp;
233
234     if (len > 4096)
235         return 0;
236     if (http_buf_read(queue, buf, len) < len)
237         return 0;
238
239     r->channel = c;
240     r->arguments = 0;
241     r->headers = 0;
242     // Parse first line
243     for (p = buf, p2 = r->method; *p && *p != ' ' && p - buf < 19; p++)
244         *(p2++) = *p;
245     if (*p != ' ')
246     {
247         yaz_log(YLOG_WARN, "Unexpected HTTP method in request");
248         return 0;
249     }
250     *p2 = '\0';
251
252     if (!(buf = strchr(buf, ' ')))
253     {
254         yaz_log(YLOG_WARN, "Syntax error in request (1)");
255         return 0;
256     }
257     buf++;
258     if (!(p = strchr(buf, ' ')))
259     {
260         yaz_log(YLOG_WARN, "Syntax error in request (2)");
261         return 0;
262     }
263     *(p++) = '\0';
264     if ((p2 = strchr(buf, '?'))) // Do we have arguments?
265         *(p2++) = '\0';
266     r->path = nmem_strdup(c->nmem, buf);
267     if (p2)
268     {
269         // Parse Arguments
270         while (*p2)
271         {
272             struct http_argument *a;
273             char *equal = strchr(p2, '=');
274             char *eoa = strchr(p2, '&');
275             if (!equal)
276             {
277                 yaz_log(YLOG_WARN, "Expected '=' in argument");
278                 return 0;
279             }
280             if (!eoa)
281                 eoa = equal + strlen(equal); // last argument
282             else
283                 *(eoa++) = '\0';
284             a = nmem_malloc(c->nmem, sizeof(struct http_argument));
285             *(equal++) = '\0';
286             a->name = nmem_strdup(c->nmem, p2);
287             a->value = nmem_strdup(c->nmem, equal);
288             a->next = r->arguments;
289             r->arguments = a;
290             p2 = eoa;
291         }
292     }
293     buf = p;
294
295     if (strncmp(buf, "HTTP/", 5))
296         strcpy(r->http_version, "1.0");
297     else
298     {
299         buf += 5;
300         if (!(p = strstr(buf, "\r\n")))
301             return 0;
302         *(p++) = '\0';
303         p++;
304         strcpy(r->http_version, buf);
305         buf = p;
306     }
307     strcpy(c->version, r->http_version);
308
309     r->headers = 0;
310     while (*buf)
311     {
312         if (!(p = strstr(buf, "\r\n")))
313             return 0;
314         if (p == buf)
315             break;
316         else
317         {
318             struct http_header *h = nmem_malloc(c->nmem, sizeof(*h));
319             if (!(p2 = strchr(buf, ':')))
320                 return 0;
321             *(p2++) = '\0';
322             h->name = nmem_strdup(c->nmem, buf);
323             while (isspace(*p2))
324                 p2++;
325             if (p2 >= p) // Empty header?
326             {
327                 buf = p + 2;
328                 continue;
329             }
330             *p = '\0';
331             h->value = nmem_strdup(c->nmem, p2);
332             h->next = r->headers;
333             r->headers = h;
334             buf = p + 2;
335         }
336     }
337
338     return r;
339 }
340
341
342 static struct http_buf *http_serialize_response(struct http_channel *c,
343         struct http_response *r)
344 {
345     wrbuf_rewind(c->wrbuf);
346     struct http_header *h;
347
348     wrbuf_printf(c->wrbuf, "HTTP/1.1 %s %s\r\n", r->code, r->msg);
349     for (h = r->headers; h; h = h->next)
350         wrbuf_printf(c->wrbuf, "%s: %s\r\n", h->name, h->value);
351     wrbuf_printf(c->wrbuf, "Content-length: %d\r\n", r->payload ? strlen(r->payload) : 0);
352     wrbuf_printf(c->wrbuf, "Content-type: text/xml\r\n");
353     wrbuf_puts(c->wrbuf, "\r\n");
354
355     if (r->payload)
356         wrbuf_puts(c->wrbuf, r->payload);
357
358     return http_buf_bywrbuf(c->wrbuf);
359 }
360
361 // Serialize a HTTP request
362 static struct http_buf *http_serialize_request(struct http_request *r)
363 {
364     struct http_channel *c = r->channel;
365     wrbuf_rewind(c->wrbuf);
366     struct http_header *h;
367     struct http_argument *a;
368
369     wrbuf_printf(c->wrbuf, "%s %s", r->method, r->path);
370
371     if (r->arguments)
372     {
373         wrbuf_putc(c->wrbuf, '?');
374         for (a = r->arguments; a; a = a->next) {
375             if (a != r->arguments)
376                 wrbuf_putc(c->wrbuf, '&');
377             wrbuf_printf(c->wrbuf, "%s=%s", a->name, a->value);
378         }
379     }
380
381     wrbuf_printf(c->wrbuf, " HTTP/%s\r\n", r->http_version);
382
383     for (h = r->headers; h; h = h->next)
384         wrbuf_printf(c->wrbuf, "%s: %s\r\n", h->name, h->value);
385
386     wrbuf_puts(c->wrbuf, "\r\n");
387     
388     return http_buf_bywrbuf(c->wrbuf);
389 }
390
391
392 // Cleanup
393 static void http_destroy(IOCHAN i)
394 {
395     struct http_channel *s = iochan_getdata(i);
396
397     if (s->proxy)
398     {
399         if (s->proxy->iochan)
400         {
401             close(iochan_getfd(s->proxy->iochan));
402             iochan_destroy(s->proxy->iochan);
403         }
404         http_buf_destroy_queue(s->proxy->oqueue);
405         xfree(s->proxy);
406     }
407     http_buf_destroy_queue(s->iqueue);
408     http_buf_destroy_queue(s->oqueue);
409     nmem_destroy(s->nmem);
410     wrbuf_free(s->wrbuf, 1);
411     xfree(s);
412     close(iochan_getfd(i));
413     iochan_destroy(i);
414 }
415
416 static int http_weshouldproxy(struct http_request *rq)
417 {
418     if (proxy_addr && !strstr(rq->path, "search.pz2"))
419         return 1;
420     return 0;
421 }
422
423 static int http_proxy(struct http_request *rq)
424 {
425     struct http_channel *c = rq->channel;
426     struct http_proxy *p = c->proxy;
427     struct http_header *hp;
428     struct http_buf *requestbuf;
429
430     if (!p) // This is a new connection. Create a proxy channel
431     {
432         int sock;
433         struct protoent *pe;
434         int one = 1;
435         int flags;
436
437         if (!(pe = getprotobyname("tcp"))) {
438             abort();
439         }
440         if ((sock = socket(PF_INET, SOCK_STREAM, pe->p_proto)) < 0)
441         {
442             yaz_log(YLOG_WARN|YLOG_ERRNO, "socket");
443             return -1;
444         }
445         if (setsockopt(sock, SOL_SOCKET, SO_REUSEADDR, (char*)
446                         &one, sizeof(one)) < 0)
447             abort();
448         if ((flags = fcntl(sock, F_GETFL, 0)) < 0) 
449             yaz_log(YLOG_FATAL|YLOG_ERRNO, "fcntl");
450         if (fcntl(sock, F_SETFL, flags | O_NONBLOCK) < 0)
451             yaz_log(YLOG_FATAL|YLOG_ERRNO, "fcntl2");
452         if (connect(sock, (struct sockaddr *) proxy_addr, sizeof(*proxy_addr)) < 0)
453             if (errno != EINPROGRESS)
454             {
455                 yaz_log(YLOG_WARN|YLOG_ERRNO, "Proxy connect");
456                 return -1;
457             }
458
459         p = xmalloc(sizeof(struct http_proxy));
460         p->oqueue = 0;
461         p->channel = c;
462         c->proxy = p;
463         // We will add EVENT_OUTPUT below
464         p->iochan = iochan_create(sock, proxy_io, EVENT_INPUT);
465         iochan_setdata(p->iochan, p);
466         p->iochan->next = channel_list;
467         channel_list = p->iochan;
468     }
469
470     // Modify Host: header
471     for (hp = rq->headers; hp; hp = hp->next)
472         if (!strcmp(hp->name, "Host"))
473             break;
474     if (!hp)
475     {
476         yaz_log(YLOG_WARN, "Failed to find Host header in proxy");
477         return -1;
478     }
479     hp->value = nmem_strdup(c->nmem, proxy_url);
480     requestbuf = http_serialize_request(rq);
481     http_buf_enqueue(&p->oqueue, requestbuf);
482     iochan_setflag(p->iochan, EVENT_OUTPUT);
483     return 0;
484 }
485
486 static void http_io(IOCHAN i, int event)
487 {
488     struct http_channel *hc = iochan_getdata(i);
489     struct http_request *request;
490     struct http_response *response;
491
492     switch (event)
493     {
494         int res, reqlen;
495         struct http_buf *htbuf;
496
497         case EVENT_INPUT:
498             htbuf = http_buf_create();
499             res = read(iochan_getfd(i), htbuf->buf, HTTP_BUF_SIZE -1);
500             if (res <= 0 && errno != EAGAIN)
501             {
502                 http_buf_destroy(htbuf);
503                 http_destroy(i);
504                 return;
505             }
506             if (res > 0)
507             {
508                 htbuf->buf[res] = '\0';
509                 htbuf->len = res;
510                 http_buf_enqueue(&hc->iqueue, htbuf);
511             }
512
513             if ((reqlen = request_check(hc->iqueue)) <= 2)
514                 return;
515
516             nmem_reset(hc->nmem);
517             if (!(request = http_parse_request(hc, &hc->iqueue, reqlen)))
518             {
519                 yaz_log(YLOG_WARN, "Failed to parse request");
520                 http_destroy(i);
521                 return;
522             }
523             yaz_log(YLOG_LOG, "Request: %s %s v %s", request->method,  request->path,
524                     request->http_version);
525             if (http_weshouldproxy(request))
526                 http_proxy(request);
527             else
528             {
529                 struct http_buf *hb;
530                 // Execute our business logic!
531                 response = http_command(request);
532                 if (!response)
533                 {
534                     http_destroy(i);
535                     return;
536                 }
537                 if (!(hb =  http_serialize_response(hc, response)))
538                 {
539                     http_destroy(i);
540                     return;
541                 }
542                 http_buf_enqueue(&hc->oqueue, hb);
543                 iochan_setflags(i, EVENT_OUTPUT); // Turns off input selecting
544             }
545             if (hc->iqueue)
546             {
547                 yaz_log(YLOG_DEBUG, "We think we have more input to read. Forcing event");
548                 iochan_setevent(i, EVENT_INPUT);
549             }
550
551             break;
552
553         case EVENT_OUTPUT:
554             if (hc->oqueue)
555             {
556                 struct http_buf *wb = hc->oqueue;
557                 res = write(iochan_getfd(hc->iochan), wb->buf + wb->offset, wb->len);
558                 if (res <= 0)
559                 {
560                     yaz_log(YLOG_WARN|YLOG_ERRNO, "write");
561                     http_destroy(i);
562                     return;
563                 }
564                 if (res == wb->len)
565                 {
566                     hc->oqueue = hc->oqueue->next;
567                     http_buf_destroy(wb);
568                 }
569                 else
570                 {
571                     wb->len -= res;
572                     wb->offset += res;
573                 }
574                 if (!hc->oqueue) {
575                     if (!strcmp(hc->version, "1.0"))
576                     {
577                         http_destroy(i);
578                         return;
579                     }
580                     else
581                         iochan_setflags(i, EVENT_INPUT); // Turns off output flag
582                 }
583             }
584
585             if (!hc->oqueue && hc->proxy && !hc->proxy->iochan) 
586                 http_destroy(i); // Server closed; we're done
587             break;
588         default:
589             yaz_log(YLOG_WARN, "Unexpected event on connection");
590             http_destroy(i);
591     }
592 }
593
594 // Handles I/O on a client connection to a backend web server (proxy mode)
595 static void proxy_io(IOCHAN pi, int event)
596 {
597     struct http_proxy *pc = iochan_getdata(pi);
598     struct http_channel *hc = pc->channel;
599
600     switch (event)
601     {
602         int res;
603         struct http_buf *htbuf;
604
605         case EVENT_INPUT:
606             htbuf = http_buf_create();
607             res = read(iochan_getfd(pi), htbuf->buf, HTTP_BUF_SIZE -1);
608             if (res == 0 || (res < 0 && errno != EINPROGRESS))
609             {
610                 if (hc->oqueue)
611                 {
612                     yaz_log(YLOG_WARN, "Proxy read came up short");
613                     // Close channel and alert client HTTP channel that we're gone
614                     http_buf_destroy(htbuf);
615                     close(iochan_getfd(pi));
616                     iochan_destroy(pi);
617                     pc->iochan = 0;
618                 }
619                 else
620                 {
621                     http_destroy(hc->iochan);
622                     return;
623                 }
624             }
625             else
626             {
627                 htbuf->buf[res] = '\0';
628                 htbuf->len = res;
629                 http_buf_enqueue(&hc->oqueue, htbuf);
630             }
631             iochan_setflag(hc->iochan, EVENT_OUTPUT);
632             break;
633         case EVENT_OUTPUT:
634             if (!(htbuf = pc->oqueue))
635             {
636                 iochan_clearflag(pi, EVENT_OUTPUT);
637                 return;
638             }
639             res = write(iochan_getfd(pi), htbuf->buf + htbuf->offset, htbuf->len);
640             if (res <= 0)
641             {
642                 yaz_log(YLOG_WARN|YLOG_ERRNO, "write");
643                 http_destroy(hc->iochan);
644                 return;
645             }
646             if (res == htbuf->len)
647             {
648                 struct http_buf *np = htbuf->next;
649                 http_buf_destroy(htbuf);
650                 pc->oqueue = np;
651             }
652             else
653             {
654                 htbuf->len -= res;
655                 htbuf->offset += res;
656             }
657
658             if (!pc->oqueue) {
659                 iochan_setflags(pi, EVENT_INPUT); // Turns off output flag
660             }
661             break;
662         default:
663             yaz_log(YLOG_WARN, "Unexpected event on connection");
664             http_destroy(hc->iochan);
665     }
666 }
667
668 /* Accept a new command connection */
669 static void http_accept(IOCHAN i, int event)
670 {
671     struct sockaddr_in addr;
672     int fd = iochan_getfd(i);
673     socklen_t len;
674     int s;
675     IOCHAN c;
676     int flags;
677     struct http_channel *ch;
678
679     len = sizeof addr;
680     if ((s = accept(fd, (struct sockaddr *) &addr, &len)) < 0)
681     {
682         yaz_log(YLOG_WARN|YLOG_ERRNO, "accept");
683         return;
684     }
685     if ((flags = fcntl(s, F_GETFL, 0)) < 0) 
686         yaz_log(YLOG_FATAL|YLOG_ERRNO, "fcntl");
687     if (fcntl(s, F_SETFL, flags | O_NONBLOCK) < 0)
688         yaz_log(YLOG_FATAL|YLOG_ERRNO, "fcntl2");
689
690     yaz_log(YLOG_LOG, "New command connection");
691     c = iochan_create(s, http_io, EVENT_INPUT | EVENT_EXCEPT);
692
693     ch = xmalloc(sizeof(*ch));
694     ch->proxy = 0;
695     ch->nmem = nmem_create();
696     ch->wrbuf = wrbuf_alloc();
697     ch->iochan = c;
698     ch->iqueue = ch->oqueue = 0;
699     iochan_setdata(c, ch);
700
701     c->next = channel_list;
702     channel_list = c;
703 }
704
705 /* Create a http-channel listener */
706 void http_init(int port)
707 {
708     IOCHAN c;
709     int l;
710     struct protoent *p;
711     struct sockaddr_in myaddr;
712     int one = 1;
713
714     yaz_log(YLOG_LOG, "HTTP port is %d", port);
715     if (!(p = getprotobyname("tcp"))) {
716         abort();
717     }
718     if ((l = socket(PF_INET, SOCK_STREAM, p->p_proto)) < 0)
719         yaz_log(YLOG_FATAL|YLOG_ERRNO, "socket");
720     if (setsockopt(l, SOL_SOCKET, SO_REUSEADDR, (char*)
721                     &one, sizeof(one)) < 0)
722         abort();
723
724     bzero(&myaddr, sizeof myaddr);
725     myaddr.sin_family = AF_INET;
726     myaddr.sin_addr.s_addr = INADDR_ANY;
727     myaddr.sin_port = htons(port);
728     if (bind(l, (struct sockaddr *) &myaddr, sizeof myaddr) < 0) 
729         yaz_log(YLOG_FATAL|YLOG_ERRNO, "bind");
730     if (listen(l, SOMAXCONN) < 0) 
731         yaz_log(YLOG_FATAL|YLOG_ERRNO, "listen");
732
733     c = iochan_create(l, http_accept, EVENT_INPUT | EVENT_EXCEPT);
734     c->next = channel_list;
735     channel_list = c;
736 }
737
738 void http_set_proxyaddr(char *host)
739 {
740     char *p;
741     int port;
742     struct hostent *he;
743
744     strcpy(proxy_url, host);
745     p = strchr(host, ':');
746     yaz_log(YLOG_DEBUG, "Proxying for %s", host);
747     if (p) {
748         port = atoi(p + 1);
749         *p = '\0';
750     }
751     else
752         port = 80;
753     if (!(he = gethostbyname(host))) 
754     {
755         fprintf(stderr, "Failed to lookup '%s'\n", host);
756         exit(1);
757     }
758     proxy_addr = xmalloc(sizeof(struct sockaddr_in));
759     proxy_addr->sin_family = he->h_addrtype;
760     memcpy(&proxy_addr->sin_addr.s_addr, he->h_addr_list[0], he->h_length);
761     proxy_addr->sin_port = htons(port);
762 }
763
764 /*
765  * Local variables:
766  * c-basic-offset: 4
767  * indent-tabs-mode: nil
768  * End:
769  * vim: shiftwidth=4 tabstop=8 expandtab
770  */