added optional <zproxy> element to config file, containing any of these attribute...
[pazpar2-moved-to-github.git] / src / pazpar2.c
index 3c37fc7..776b78c 100644 (file)
@@ -1,4 +1,4 @@
-/* $Id: pazpar2.c,v 1.50 2007-03-20 05:32:58 quinn Exp $ */
+/* $Id: pazpar2.c,v 1.54 2007-03-27 11:25:57 marc Exp $ */
 
 #include <stdlib.h>
 #include <stdio.h>
@@ -17,6 +17,7 @@
 #include <yaz/proto.h>
 #include <yaz/readconf.h>
 #include <yaz/pquery.h>
+#include <yaz/otherinfo.h>
 #include <yaz/yaz-util.h>
 #include <yaz/nmem.h>
 
@@ -72,6 +73,7 @@ struct parameters global_parameters =
 {
     "",
     "",
+    "",
     0,
     0,
     30,
@@ -119,6 +121,7 @@ static int send_apdu(struct client *c, Z_APDU *a)
 
 static void send_init(IOCHAN i)
 {
+
     struct connection *co = iochan_getdata(i);
     struct client *cl = co->client;
     Z_APDU *a = zget_APDU(global_parameters.odr_out, Z_APDU_initRequest);
@@ -134,6 +137,18 @@ static void send_init(IOCHAN i)
     ODR_MASK_SET(a->u.initRequest->protocolVersion, Z_ProtocolVersion_1);
     ODR_MASK_SET(a->u.initRequest->protocolVersion, Z_ProtocolVersion_2);
     ODR_MASK_SET(a->u.initRequest->protocolVersion, Z_ProtocolVersion_3);
+
+
+    /* add virtual host if tunneling through Z39.50 proxy */
+    
+    if (0 < strlen(global_parameters.zproxy_override) 
+        && 0 < strlen(cl->database->url))
+        yaz_oi_set_string_oidval(&a->u.initRequest->otherInfo, 
+                                 global_parameters.odr_out, VAL_PROXY,
+                                 1, cl->database->url);
+    
+
+
     if (send_apdu(cl, a) >= 0)
     {
        iochan_setflags(i, EVENT_INPUT);
@@ -413,7 +428,7 @@ static xmlDoc *normalize_record(struct client *cl, Z_External *rec)
             yaz_log(YLOG_WARN, "Failed to encode as XML");
             return 0;
         }
-        rdoc = xmlNewDoc("1.0");
+        rdoc = xmlNewDoc((xmlChar *) "1.0");
         xmlDocSetRootElement(rdoc, res);
     }
     else
@@ -505,7 +520,7 @@ static struct record *ingest_record(struct client *cl, Z_External *rec)
         return 0;
 
     root = xmlDocGetRootElement(xdoc);
-    if (!(mergekey = xmlGetProp(root, "mergekey")))
+    if (!(mergekey = xmlGetProp(root, (xmlChar *) "mergekey")))
     {
         yaz_log(YLOG_WARN, "No mergekey found in record");
         xmlFreeDoc(xdoc);
@@ -519,11 +534,12 @@ static struct record *ingest_record(struct client *cl, Z_External *rec)
             sizeof(struct record_metadata*) * service->num_metadata);
     memset(res->metadata, 0, sizeof(struct record_metadata*) * service->num_metadata);
 
-    mergekey_norm = nmem_strdup(se->nmem, (char*) mergekey);
+    mergekey_norm = (xmlChar *) nmem_strdup(se->nmem, (char*) mergekey);
     xmlFree(mergekey);
-    normalize_mergekey(mergekey_norm, 0);
+    normalize_mergekey((char *) mergekey_norm, 0);
 
-    cluster = reclist_insert(se->reclist, res, mergekey_norm, &se->total_merged);
+    cluster = reclist_insert(se->reclist, res, (char *) mergekey_norm, 
+                             &se->total_merged);
     if (global_parameters.dump_records)
         yaz_log(YLOG_LOG, "Cluster id %d from %s (#%d)", cluster->recid,
                 cl->database->url, cl->records);
@@ -545,7 +561,7 @@ static struct record *ingest_record(struct client *cl, Z_External *rec)
 
         if (n->type != XML_ELEMENT_NODE)
             continue;
-        if (!strcmp(n->name, "metadata"))
+        if (!strcmp((const char *) n->name, "metadata"))
         {
             struct conf_metadata *md = 0;
             struct conf_sortkey *sk = 0;
@@ -553,7 +569,7 @@ static struct record *ingest_record(struct client *cl, Z_External *rec)
             int imeta;
             int first, last;
 
-            type = xmlGetProp(n, "type");
+            type = xmlGetProp(n, (xmlChar *) "type");
             value = xmlNodeListGetString(xdoc, n->children, 0);
 
             if (!type || !value)
@@ -561,7 +577,7 @@ static struct record *ingest_record(struct client *cl, Z_External *rec)
 
             // First, find out what field we're looking at
             for (imeta = 0; imeta < service->num_metadata; imeta++)
-                if (!strcmp(type, service->metadata[imeta].name))
+                if (!strcmp((const char *) type, service->metadata[imeta].name))
                 {
                     md = &service->metadata[imeta];
                     if (md->sortkey_offset >= 0)
@@ -586,7 +602,7 @@ static struct record *ingest_record(struct client *cl, Z_External *rec)
             if (md->type == Metadata_type_generic)
             {
                 char *p, *pe;
-                for (p = value; *p && isspace(*p); p++)
+                for (p = (char *) value; *p && isspace(*p); p++)
                     ;
                 for (pe = p + strlen(p) - 1;
                         pe > p && strchr(" ,/.:([", *pe); pe--)
@@ -596,7 +612,7 @@ static struct record *ingest_record(struct client *cl, Z_External *rec)
             }
             else if (md->type == Metadata_type_year)
             {
-                if (extract_years(value, &first, &last) < 0)
+                if (extract_years((char *) value, &first, &last) < 0)
                     continue;
             }
             else
@@ -613,7 +629,7 @@ static struct record *ingest_record(struct client *cl, Z_External *rec)
             {
                 struct record_metadata *mnode;
                 for (mnode = *wheretoput; mnode; mnode = mnode->next)
-                    if (!strcmp(mnode->data.text, newm->data.text))
+                    if (!strcmp((const char *) mnode->data.text, newm->data.text))
                         break;
                 if (!mnode)
                 {
@@ -674,22 +690,23 @@ static struct record *ingest_record(struct client *cl, Z_External *rec)
                 yaz_log(YLOG_WARN, "Don't know how to merge on element name %s", md->name);
 
             if (md->rank)
-                relevance_countwords(se->relevance, cluster, value, md->rank);
+                relevance_countwords(se->relevance, cluster, 
+                                     (char *) value, md->rank);
             if (md->termlist)
             {
                 if (md->type == Metadata_type_year)
                 {
                     char year[64];
                     sprintf(year, "%d", last);
-                    add_facet(se, type, year);
+                    add_facet(se, (char *) type, year);
                     if (first != last)
                     {
                         sprintf(year, "%d", first);
-                        add_facet(se, type, year);
+                        add_facet(se, (char *) type, year);
                     }
                 }
                 else
-                    add_facet(se, type, value);
+                    add_facet(se, (char *) type, (char *) value);
             }
             xmlFree(type);
             xmlFree(value);
@@ -942,18 +959,40 @@ static struct connection *connection_create(struct client *cl)
     int res;
     void *addr;
 
-    yaz_log(YLOG_DEBUG, "Connection create %s", cl->database->url);
+
     if (!(link = cs_create(tcpip_type, 0, PROTO_Z3950)))
-    {
-        yaz_log(YLOG_FATAL|YLOG_ERRNO, "Failed to create comstack");
-        exit(1);
-    }
+        {
+            yaz_log(YLOG_FATAL|YLOG_ERRNO, "Failed to create comstack");
+            exit(1);
+        }
+    
+    if (0 == strlen(global_parameters.zproxy_override)){
+        /* no Z39.50 proxy needed - direct connect */
+        yaz_log(YLOG_DEBUG, "Connection create %s", cl->database->url);
+        
+        if (!(addr = cs_straddr(link, cl->database->host->ipport)))
+            {
+                yaz_log(YLOG_WARN|YLOG_ERRNO, 
+                        "Lookup of IP address %s failed", 
+                        cl->database->host->ipport);
+                return 0;
+            }
+    
+    } else {
+        /* Z39.50 proxy connect */
+        yaz_log(YLOG_DEBUG, "Connection create %s proxy %s", 
+                cl->database->url, global_parameters.zproxy_override);
 
-    if (!(addr = cs_straddr(link, cl->database->host->ipport)))
-    {
-        yaz_log(YLOG_WARN|YLOG_ERRNO, "Lookup of IP address %s failed?", 
-           cl->database->host->ipport);
-        return 0;
+        yaz_log(YLOG_LOG, "Connection cs_create_host %s proxy %s", 
+                cl->database->url, global_parameters.zproxy_override);
+        
+        if (!(addr = cs_straddr(link, global_parameters.zproxy_override)))
+            {
+                yaz_log(YLOG_WARN|YLOG_ERRNO, 
+                        "Lookup of IP address %s failed", 
+                        global_parameters.zproxy_override);
+                return 0;
+            }
     }
 
     res = cs_connect(link, addr);
@@ -1077,7 +1116,7 @@ void load_simpletargets(const char *fn)
 
         yaz_log(YLOG_LOG, "Target: %s, '%s'", url, db);
         for (host = hosts; host; host = host->next)
-            if (!strcmp(url, host->hostport))
+            if (!strcmp((const char *) url, host->hostport))
                 break;
         if (!host)
         {
@@ -1276,7 +1315,7 @@ int session_active_clients(struct session *s)
     return res;
 }
 
-// parses crit1=val1,crit2=val2,...
+// parses crit1=val1,crit2=val2|val3,...
 static struct database_criterion *parse_filter(NMEM m, const char *buf)
 {
     struct database_criterion *res = 0;
@@ -1289,6 +1328,9 @@ static struct database_criterion *parse_filter(NMEM m, const char *buf)
     nmem_strsplit(m, ",", buf,  &values, &num);
     for (i = 0; i < num; i++)
     {
+        char **subvalues;
+        int subnum;
+        int subi;
         struct database_criterion *new = nmem_malloc(m, sizeof(*new));
         char *eq = strchr(values[i], '=');
         if (!eq)
@@ -1298,7 +1340,15 @@ static struct database_criterion *parse_filter(NMEM m, const char *buf)
         }
         *(eq++) = '\0';
         new->name = values[i];
-        new->value = eq;
+        nmem_strsplit(m, "|", eq, &subvalues, &subnum);
+        new->values = 0;
+        for (subi = 0; subi < subnum; subi++)
+        {
+            struct database_criterion_value *newv = nmem_malloc(m, sizeof(*newv));
+            newv->value = subvalues[subi];
+            newv->next = new->values;
+            new->values = newv;
+        }
         new->next = res;
         res = new;
     }
@@ -1347,7 +1397,7 @@ void destroy_session(struct session *s)
     while (s->clients)
         client_destroy(s->clients);
     nmem_destroy(s->nmem);
-    wrbuf_free(s->wrbuf, 1);
+    wrbuf_destroy(s->wrbuf);
 }
 
 struct session *new_session() 
@@ -1402,7 +1452,7 @@ struct termlist_score **termlist(struct session *s, const char *name, int *num)
     int i;
 
     for (i = 0; i < s->num_termlists; i++)
-        if (!strcmp(s->termlists[i].name, name))
+        if (!strcmp((const char *) s->termlists[i].name, name))
             return termlist_highscore(s->termlists[i].termlist, num);
     return 0;
 }
@@ -1564,6 +1614,41 @@ static void start_proxy(void)
     http_set_proxyaddr(hp, ser->myurl ? ser->myurl : "");
 }
 
+static void start_zproxy(void)
+{
+    struct conf_server *ser = global_parameters.server;
+
+    if (*global_parameters.zproxy_override){
+        yaz_log(YLOG_LOG, "Z39.50 proxy %s", 
+                global_parameters.zproxy_override);
+        return;
+    }
+
+    else if (ser->zproxy_host || ser->zproxy_port)
+    {
+        char hp[128] = "";
+
+        strcpy(hp, ser->zproxy_host ? ser->zproxy_host : "");
+        if (ser->zproxy_port)
+        {
+            if (*hp)
+                strcat(hp, ":");
+            else
+                strcat(hp, "@:");
+
+            sprintf(hp + strlen(hp), "%d", ser->zproxy_port);
+        }
+        strcpy(global_parameters.zproxy_override, hp);
+        yaz_log(YLOG_LOG, "Z39.50 proxy %s", 
+                global_parameters.zproxy_override);
+
+    }
+    else
+        return;
+}
+
+
+
 int main(int argc, char **argv)
 {
     int ret;
@@ -1574,7 +1659,7 @@ int main(int argc, char **argv)
 
     yaz_log_init(YLOG_DEFAULT_LEVEL, "pazpar2", 0);
 
-    while ((ret = options("f:x:h:p:C:s:d", argv, argc, &arg)) != -2)
+    while ((ret = options("f:x:h:p:z:C:s:d", argv, argc, &arg)) != -2)
     {
        switch (ret) {
             case 'f':
@@ -1590,6 +1675,9 @@ int main(int argc, char **argv)
             case 'p':
                 strcpy(global_parameters.proxy_override, arg);
                 break;
+            case 'z':
+                strcpy(global_parameters.zproxy_override, arg);
+                break;
             case 's':
                 load_simpletargets(arg);
                 break;
@@ -1603,6 +1691,7 @@ int main(int argc, char **argv)
                         "    -C cclconfig\n"
                         "    -s simpletargetfile\n"
                         "    -p hostname[:portno]    (HTTP proxy)\n"
+                        "    -z hostname[:portno]    (Z39.50 proxy)\n"
                         "    -d                      (show internal records)\n");
                exit(1);
        }
@@ -1617,6 +1706,8 @@ int main(int argc, char **argv)
 
     start_http_listener();
     start_proxy();
+    start_zproxy();
+
     if (!global_parameters.ccl_filter)
         global_parameters.ccl_filter = load_cclfile("../etc/default.bib");
     global_parameters.yaz_marc = yaz_marc_create();