Include sys/socket.h, arpa/inet.h
[yaz-moved-to-github.git] / src / srwutil.c
index b115ffc..25a85e1 100644 (file)
@@ -1,8 +1,6 @@
-/*
- * Copyright (C) 1995-2007, Index Data ApS
+/* This file is part of the YAZ toolkit.
+ * Copyright (C) 1995-2008 Index Data
  * See the file LICENSE for details.
- *
- * $Id: srwutil.c,v 1.59 2007-05-24 10:18:36 adam Exp $
  */
 /**
  * \file srwutil.c
@@ -11,6 +9,7 @@
 
 #include <stdlib.h>
 #include <yaz/srw.h>
+#include <yaz/matchstr.h>
 #include <yaz/yaz-iconv.h>
 
 static int hex_digit (int ch)
@@ -42,10 +41,9 @@ void encode_uri_char(char *dst, char ch)
     }
 }
 
-static void yaz_array_to_uri_ex(char **path, ODR o, char **name, char **value,
-                                const char *extra_args)
+static void yaz_array_to_uri(char **path, ODR o, char **name, char **value)
 {
-    size_t i, szp = 0, sz = extra_args ? 1+strlen(extra_args) : 1;
+    size_t i, szp = 0, sz = 1;
     for(i = 0; name[i]; i++)
         sz += strlen(name[i]) + 3 + strlen(value[i]) * 3;
     *path = (char *) odr_malloc(o, sz);
@@ -69,22 +67,10 @@ static void yaz_array_to_uri_ex(char **path, ODR o, char **name, char **value,
             szp += vlen;
         }
     }
-    if (extra_args)
-    {
-        if (i)
-            (*path)[szp++] = '&';
-        memcpy(*path + szp, extra_args, strlen(extra_args));
-        szp += strlen(extra_args);
-    }
     (*path)[szp] = '\0';
 }
 
-void yaz_array_to_uri(char **path, ODR o, char **name, char **value)
-{
-    yaz_array_to_uri_ex(path, o, name, value, 0);
-}
-
-int yaz_uri_array(const char *path, ODR o, char ***name, char ***val)
+int yaz_uri_to_array(const char *path, ODR o, char ***name, char ***val)
 {
     int no = 2;
     const char *cp;
@@ -190,6 +176,7 @@ char *yaz_uri_val(const char *path, const char *name, ODR o)
     return 0;
 }
 
+#if YAZ_HAVE_XML2
 static int yaz_base64decode(const char *in, char *out)
 {
     const char *map = "ABCDEFGHIJKLMNOPQRSTUVWXYZ"
@@ -235,6 +222,7 @@ static int yaz_base64decode(const char *in, char *out)
     *out = '\0';
     return olen;
 }
+#endif
 
 int yaz_srw_check_content_type(Z_HTTP_Response *hres)
 {
@@ -254,6 +242,7 @@ int yaz_srw_check_content_type(Z_HTTP_Response *hres)
  * Look for authentication tokens in HTTP Basic parameters or in x-username/x-password
  * parameters. Added by SH.
  */
+#if YAZ_HAVE_XML2
 static void yaz_srw_decodeauth(Z_SRW_PDU *sr, Z_HTTP_Request *hreq,
                                char *username, char *password, ODR decode)
 {
@@ -288,6 +277,7 @@ static void yaz_srw_decodeauth(Z_SRW_PDU *sr, Z_HTTP_Request *hreq,
             sr->password = odr_strdup(decode, pbuf);
     }
 }
+#endif
 
 void yaz_uri_val_int(const char *path, const char *name, ODR o, int **intp)
 {
@@ -354,6 +344,34 @@ void yaz_add_sru_update_diagnostic(ODR o, Z_SRW_diagnostic **d,
 }
 
 
+void yaz_mk_sru_surrogate(ODR o, Z_SRW_record *record, int pos,
+                          int code, const char *details)
+{
+    const char *message = yaz_diag_srw_str(code);
+    int len = 200;
+    if (message)
+        len += strlen(message);
+    if (details)
+        len += strlen(details);
+    
+    record->recordData_buf = (char *) odr_malloc(o, len);
+    
+    sprintf(record->recordData_buf, "<diagnostic "
+            "xmlns=\"http://www.loc.gov/zing/srw/diagnostic/\">\n"
+            " <uri>info:srw/diagnostic/1/%d</uri>\n", code);
+    if (details)
+        sprintf(record->recordData_buf + strlen(record->recordData_buf),
+                " <details>%s</details>\n", details);
+    if (message)
+        sprintf(record->recordData_buf + strlen(record->recordData_buf),
+                " <message>%s</message>\n", message);
+    sprintf(record->recordData_buf + strlen(record->recordData_buf),
+            "</diagnostic>\n");
+    record->recordData_len = strlen(record->recordData_buf);
+    record->recordPosition = odr_intdup(o, pos);
+    record->recordSchema = "info:srw/schema/1/diagnostics-v1.1";
+}
+
 static void grab_charset(ODR o, const char *content_type, char **charset)
 {
     if (charset)
@@ -443,6 +461,7 @@ int yaz_srw_decode(Z_HTTP_Request *hreq, Z_SRW_PDU **srw_pdu,
     return 2;
 }
 
+#if YAZ_HAVE_XML2
 static int yaz_sru_decode_integer(ODR odr, const char *pname, 
                                   const char *valstr, int **valp,
                                   Z_SRW_diagnostic **diag, int *num_diag,
@@ -466,6 +485,7 @@ static int yaz_sru_decode_integer(ODR odr, const char *pname,
     *valp = odr_intdup(odr, ival);
     return 1;
 }
+#endif
 
 /**
   http://www.loc.gov/z3950/agency/zing/srw/service.html
@@ -515,6 +535,7 @@ int yaz_sru_decode(Z_HTTP_Request *hreq, Z_SRW_PDU **srw_pdu,
         char *maximumTerms = 0;
         char *responsePosition = 0;
         char *extraRequestData = 0;
+        Z_SRW_extra_arg *extra_args = 0;
 #endif
         char **uri_name;
         char **uri_val;
@@ -536,7 +557,7 @@ int yaz_sru_decode(Z_HTTP_Request *hreq, Z_SRW_PDU **srw_pdu,
         }
         if (!strcmp(hreq->method, "POST"))
             p1 = hreq->content_buf;
-        yaz_uri_array(p1, decode, &uri_name, &uri_val);
+        yaz_uri_to_array(p1, decode, &uri_name, &uri_val);
 #if YAZ_HAVE_XML2
         if (uri_name)
         {
@@ -581,6 +602,16 @@ int yaz_sru_decode(Z_HTTP_Request *hreq, Z_SRW_PDU **srw_pdu,
                     responsePosition = v;
                 else if (!strcmp(n, "extraRequestData"))
                     extraRequestData = v;
+                else if (n[0] == 'x' && n[1] == '-')
+                {
+                    Z_SRW_extra_arg **l = &extra_args;
+                    while (*l)
+                        l = &(*l)->next;
+                    *l = (Z_SRW_extra_arg *) odr_malloc(decode, sizeof(**l));
+                    (*l)->name = odr_strdup(decode, n);
+                    (*l)->value = odr_strdup(decode, v);
+                    (*l)->next = 0;
+                }
                 else
                     yaz_add_srw_diagnostic(decode, diag, num_diag,
                                            YAZ_SRW_UNSUPP_PARAMETER, n);
@@ -594,9 +625,16 @@ int yaz_sru_decode(Z_HTTP_Request *hreq, Z_SRW_PDU **srw_pdu,
                     YAZ_SRW_MANDATORY_PARAMETER_NOT_SUPPLIED, "version");
             version = "1.1";
         }
-        if (strcmp(version, "1.1"))
+
+        version = yaz_negotiate_sru_version(version);
+
+        if (!version)
+        {   /* negotiation failed. */
             yaz_add_srw_diagnostic(decode, diag, num_diag,
-                                   YAZ_SRW_UNSUPP_VERSION, "1.1");
+                                   YAZ_SRW_UNSUPP_VERSION, "1.2");
+            version = "1.2";
+        }
+        
         if (!operation)
         {
             if (uri_name)
@@ -610,6 +648,7 @@ int yaz_sru_decode(Z_HTTP_Request *hreq, Z_SRW_PDU **srw_pdu,
             Z_SRW_PDU *sr = yaz_srw_get(decode, Z_SRW_searchRetrieve_request);
 
             sr->srw_version = version;
+            sr->extra_args = extra_args;
             *srw_pdu = sr;
             yaz_srw_decodeauth(sr, hreq, username, password, decode);
             if (query)
@@ -669,6 +708,7 @@ int yaz_sru_decode(Z_HTTP_Request *hreq, Z_SRW_PDU **srw_pdu,
             Z_SRW_PDU *sr = yaz_srw_get(decode, Z_SRW_explain_request);
 
             sr->srw_version = version;
+            sr->extra_args = extra_args;
             yaz_srw_decodeauth(sr, hreq, username, password, decode);
             *srw_pdu = sr;
             sr->u.explain_request->recordPacking = recordPacking;
@@ -698,6 +738,7 @@ int yaz_sru_decode(Z_HTTP_Request *hreq, Z_SRW_PDU **srw_pdu,
             Z_SRW_PDU *sr = yaz_srw_get(decode, Z_SRW_scan_request);
 
             sr->srw_version = version;
+            sr->extra_args = extra_args;
             *srw_pdu = sr;
             yaz_srw_decodeauth(sr, hreq, username, password, decode);
 
@@ -814,19 +855,30 @@ Z_SRW_record *yaz_srw_get_record(ODR o)
     return yaz_srw_get_records(o, 1);
 }
 
-Z_SRW_PDU *yaz_srw_get_core_v_1_1(ODR o)
+static Z_SRW_PDU *yaz_srw_get_core_ver(ODR o, const char *version)
 {
     Z_SRW_PDU *p = (Z_SRW_PDU *) odr_malloc(o, sizeof(*p));
-    p->srw_version = odr_strdup(o, "1.1");
+    p->srw_version = odr_strdup(o, version);
     p->username = 0;
     p->password = 0;
     p->extra_args = 0;
     return p;
 }
 
+Z_SRW_PDU *yaz_srw_get_core_v_1_1(ODR o)
+{
+    return yaz_srw_get_core_ver(o, "1.1");
+}
+
 Z_SRW_PDU *yaz_srw_get(ODR o, int which)
 {
-    Z_SRW_PDU *sr = yaz_srw_get_core_v_1_1(o);
+    return yaz_srw_get_pdu(o, which, "1.1");
+}
+
+Z_SRW_PDU *yaz_srw_get_pdu(ODR o, int which, const char *version)
+{
+    Z_SRW_PDU *sr = yaz_srw_get_core_ver(o, version);
+
     sr->which = which;
     switch(which)
     {
@@ -929,7 +981,7 @@ Z_SRW_PDU *yaz_srw_get(ODR o, int which)
 }
 
 /* bib1:srw */
-static int srw_bib1_map[] = {
+static int bib1_srw_map[] = {
     1, 1,
     2, 2,
     3, 11,
@@ -1098,9 +1150,21 @@ static int srw_bib1_map[] = {
     0
 };
 
+/*
+ * This array contains overrides for when the first occurrence of a
+ * particular SRW error in the array above does not correspond with
+ * the best back-translation of that SRW error.
+ */
+static int srw_bib1_map[] = {
+    66, 238,
+    /* No doubt there are many more */
+    0
+};
+
+
 int yaz_diag_bib1_to_srw (int code)
 {
-    const int *p = srw_bib1_map;
+    const int *p = bib1_srw_map;
     while (*p)
     {
         if (code == p[0])
@@ -1112,9 +1176,19 @@ int yaz_diag_bib1_to_srw (int code)
 
 int yaz_diag_srw_to_bib1(int code)
 {
+    /* Check explicit reverse-map first */
     const int *p = srw_bib1_map;
     while (*p)
     {
+        if (code == p[0])
+            return p[1];
+        p += 2;
+    }
+
+    /* Fall back on reverse lookup in main map */
+    p = bib1_srw_map;
+    while (*p)
+    {
         if (code == p[1])
             return p[0];
         p += 2;
@@ -1146,7 +1220,7 @@ static void add_val_str(ODR o, char **name, char **value,  int *i,
 }
 
 static int yaz_get_sru_parms(const Z_SRW_PDU *srw_pdu, ODR encode,
-                              char **name, char **value)
+                             char **name, char **value, int max_names)
 {
     int i = 0;
     add_val_str(encode, name, value, &i, "version", srw_pdu->srw_version);
@@ -1230,7 +1304,18 @@ static int yaz_get_sru_parms(const Z_SRW_PDU *srw_pdu, ODR encode,
     default:
         return -1;
     }
+    if (srw_pdu->extra_args)
+    {
+        Z_SRW_extra_arg *ea = srw_pdu->extra_args;
+        for (; ea && i < max_names-1; ea = ea->next)
+        {
+            name[i] = ea->name;
+            value[i] = ea->value;
+            i++;
+        }
+    }
     name[i++] = 0;
+
     return 0;
 }
 
@@ -1241,15 +1326,16 @@ int yaz_sru_get_encode(Z_HTTP_Request *hreq, Z_SRW_PDU *srw_pdu,
     char *uri_args;
     char *path;
 
-    if (yaz_get_sru_parms(srw_pdu, encode, name, value))
+    z_HTTP_header_add_basic_auth(encode, &hreq->headers, 
+                                 srw_pdu->username, srw_pdu->password);
+    if (yaz_get_sru_parms(srw_pdu, encode, name, value, 30))
         return -1;
-    yaz_array_to_uri_ex(&uri_args, encode, name, value, srw_pdu->extra_args);
+    yaz_array_to_uri(&uri_args, encode, name, value);
 
     hreq->method = "GET";
     
     path = (char *)
-        odr_malloc(encode, strlen(hreq->path) + strlen(uri_args) + 4
-                   +(srw_pdu->extra_args ? strlen(srw_pdu->extra_args) : 0));
+        odr_malloc(encode, strlen(hreq->path) + strlen(uri_args) + 4);
 
     sprintf(path, "%s?%s", hreq->path, uri_args);
     hreq->path = path;
@@ -1265,10 +1351,12 @@ int yaz_sru_post_encode(Z_HTTP_Request *hreq, Z_SRW_PDU *srw_pdu,
     char *name[30], *value[30]; /* definite upper limit for SRU params */
     char *uri_args;
 
-    if (yaz_get_sru_parms(srw_pdu, encode, name, value))
+    z_HTTP_header_add_basic_auth(encode, &hreq->headers, 
+                                 srw_pdu->username, srw_pdu->password);
+    if (yaz_get_sru_parms(srw_pdu, encode, name, value, 30))
         return -1;
 
-    yaz_array_to_uri_ex(&uri_args, encode, name, value, srw_pdu->extra_args);
+    yaz_array_to_uri(&uri_args, encode, name, value);
 
     hreq->method = "POST";
     
@@ -1293,6 +1381,8 @@ int yaz_sru_soap_encode(Z_HTTP_Request *hreq, Z_SRW_PDU *srw_pdu,
     };
     Z_SOAP *p = (Z_SOAP*) odr_malloc(odr, sizeof(*p));
 
+    z_HTTP_header_add_basic_auth(odr, &hreq->headers, 
+                                 srw_pdu->username, srw_pdu->password);
     z_HTTP_header_add_content_type(odr,
                                    &hreq->headers,
                                    "text/xml", charset);
@@ -1354,6 +1444,30 @@ int yaz_srw_str_to_pack(const char *str)
     return -1;
 }
 
+void yaz_encode_sru_extra(Z_SRW_PDU *sr, ODR odr, const char *extra_args)
+{
+    if (extra_args)
+    {
+        char **name;
+        char **val;
+        Z_SRW_extra_arg **ea = &sr->extra_args;
+        yaz_uri_to_array(extra_args, odr, &name, &val);
+
+        while (*name)
+        {
+            *ea = (Z_SRW_extra_arg *) odr_malloc(odr, sizeof(**ea));
+            (*ea)->name = *name;
+            (*ea)->value = *val;
+            ea = &(*ea)->next;
+            val++;
+            name++;
+        }
+        *ea = 0;
+    }
+}
+
+
+
 /*
  * Local variables:
  * c-basic-offset: 4