Solr: simplify yaz_solr_decode_response
[yaz-moved-to-github.git] / src / solr.c
index 4ae57bb..e41d680 100644 (file)
 
 #include "sru-p.h"
 
-#define SOLR_MAX_PARAMETERS  100
-
 #if YAZ_HAVE_XML2
 #include <libxml/parser.h>
 #include <libxml/tree.h>
 
-static void extract_text_node(xmlNodePtr node, WRBUF wrbuf) {
+static void extract_text_node(xmlNodePtr node, WRBUF wrbuf)
+{
     xmlNodePtr child;
     for (child = node->children; child ; child = child->next)
     {
@@ -154,7 +153,7 @@ Z_FacetField *yaz_solr_decode_facet_field(ODR o, xmlNodePtr ptr,
     xmlNodePtr node;
     // USE attribute
     const char* name = yaz_element_attribute_value_get(ptr, "lst", "name");
-    list = yaz_use_attribute_create(o, name);
+    list = zget_AttributeList_use_string(o, name);
     for (node = ptr->children; node; node = node->next)
         num_terms++;
     facet_field = facet_field_create(o, list, num_terms);
@@ -204,28 +203,28 @@ static int yaz_solr_decode_facet_counts(ODR o, xmlNodePtr root,
 static void yaz_solr_decode_suggestion_values(xmlNodePtr listPptr, WRBUF wrbuf)
 {
     xmlNodePtr node;
-    for (node = listPptr; node; node= node->next) {
-        if (!strcmp((char*) node->name, "lst")) {
+    for (node = listPptr; node; node= node->next)
+        if (!strcmp((char*) node->name, "lst"))
+        {
             xmlNodePtr child;
-            for (child = node->children; child; child= child->next) {
-                if (match_xml_node_attribute(child, "str", "name", "word")) {
+            for (child = node->children; child; child= child->next)
+            {
+                if (match_xml_node_attribute(child, "str", "name", "word"))
+                {
                     wrbuf_puts(wrbuf, "<suggestion>");
                     extract_text_node(child, wrbuf);
                     wrbuf_puts(wrbuf, "</suggestion>\n");
                 }
             }
         }
-    }
 }
 
 static void yaz_solr_decode_suggestion_lst(xmlNodePtr lstPtr, WRBUF wrbuf)
 {
     xmlNodePtr node;
-    for (node = lstPtr; node; node= node->next) {
-        if (match_xml_node_attribute(node, "arr", "name", "suggestion")) {
+    for (node = lstPtr; node; node= node->next)
+        if (match_xml_node_attribute(node, "arr", "name", "suggestion"))
             yaz_solr_decode_suggestion_values(node->children, wrbuf);
-        }
-    }
 }
 
 static void yaz_solr_decode_misspelled(xmlNodePtr lstPtr, WRBUF wrbuf)
@@ -233,9 +232,12 @@ static void yaz_solr_decode_misspelled(xmlNodePtr lstPtr, WRBUF wrbuf)
     xmlNodePtr node;
     for (node = lstPtr; node; node= node->next)
     {
-        if (!strcmp((const char*) node->name, "lst")) {
-            const char *misspelled = yaz_element_attribute_value_get(node, "lst", "name");
-            if (misspelled) {
+        if (!strcmp((const char*) node->name, "lst"))
+        {
+            const char *misspelled =
+                yaz_element_attribute_value_get(node, "lst", "name");
+            if (misspelled)
+            {
                 wrbuf_printf(wrbuf, "<misspelled term=\"%s\">\n", misspelled);
                 yaz_solr_decode_suggestion_lst(node->children, wrbuf);
                 wrbuf_puts(wrbuf, "</misspelled>\n");
@@ -269,14 +271,16 @@ static int yaz_solr_decode_scan_result(ODR o, xmlNodePtr ptr,
 
     /* find the actual list */
     for (node = ptr->children; node; node = node->next)
-        if (node->type == XML_ELEMENT_NODE) {
+        if (node->type == XML_ELEMENT_NODE)
+        {
             ptr = node;
             break;
         }
 
     scr->num_terms = 0;
     for (node = ptr->children; node; node = node->next)
-        if (node->type == XML_ELEMENT_NODE && !strcmp((const char *) node->name, "int"))
+        if (node->type == XML_ELEMENT_NODE &&
+            !strcmp((const char *) node->name, "int"))
             scr->num_terms++;
 
     if (scr->num_terms)
@@ -284,7 +288,8 @@ static int yaz_solr_decode_scan_result(ODR o, xmlNodePtr ptr,
 
     for (node = ptr->children; node; node = node->next)
     {
-        if (node->type == XML_ELEMENT_NODE && !strcmp((const char *) node->name, "int"))
+        if (node->type == XML_ELEMENT_NODE &&
+            !strcmp((const char *) node->name, "int"))
         {
             Z_SRW_scanTerm *term = scr->terms + i;
 
@@ -297,17 +302,19 @@ static int yaz_solr_decode_scan_result(ODR o, xmlNodePtr ptr,
              * SOLR not being able to encode them into 2 separate attributes.
              */
             pos = strchr(val, '^');
-            if (pos != NULL) {
+            if (pos != NULL)
+            {
                term->displayTerm = odr_strdup(o, pos + 1);
                *pos = '\0';
                term->value = odr_strdup(o, val);
                *pos = '^';
-            } else {
+            }
+            else
+            {
                term->value = odr_strdup(o, val);
                term->displayTerm = NULL;
             }
             term->whereInList = NULL;
-
             i++;
         }
     }
@@ -320,73 +327,60 @@ static int yaz_solr_decode_scan_result(ODR o, xmlNodePtr ptr,
 
 int yaz_solr_decode_response(ODR o, Z_HTTP_Response *hres, Z_SRW_PDU **pdup)
 {
+    int ret = -1;
 #if YAZ_HAVE_XML2
     const char *content_buf = hres->content_buf;
     int content_len = hres->content_len;
     xmlDocPtr doc = xmlParseMemory(content_buf, content_len);
-    int ret = 0;
-    xmlNodePtr ptr = 0;
-    Z_SRW_PDU *pdu;
-    Z_SRW_searchRetrieveResponse *sr = NULL;
-    Z_SRW_scanResponse *scr = NULL;
+    Z_SRW_PDU *pdu = 0;
 
-    if (!doc)
-    {
-        ret = -1;
-    }
     if (doc)
     {
+        Z_SRW_searchRetrieveResponse *sr = NULL;
+        Z_SRW_scanResponse *scr = NULL;
+        xmlNodePtr ptr;
         xmlNodePtr root = xmlDocGetRootElement(doc);
-        if (!root)
+        if (root && !strcmp((const char *) root->name, "response"))
         {
-            ret = -1;
-        }
-        else if (strcmp((const char *) root->name, "response"))
-        {
-            ret = -1;
-        }
-        else
-        {
-            /** look for result (required) and facets node (optional) */
-            int rc_result = -1;
-            int rc_facets = 0;
-            for (ptr = root->children; ptr; ptr = ptr->next)
+            ret = 0;
+            for (ptr = root->children; ptr && !ret; ptr = ptr->next)
             {
                 if (ptr->type == XML_ELEMENT_NODE &&
-                    !strcmp((const char *) ptr->name, "result")) {
-                        pdu = yaz_srw_get(o, Z_SRW_searchRetrieve_response);
-                        sr = pdu->u.response;
-                        rc_result = yaz_solr_decode_result(o, ptr, sr);
+                    !strcmp((const char *) ptr->name, "result"))
+                {
+                    pdu = yaz_srw_get(o, Z_SRW_searchRetrieve_response);
+                    sr = pdu->u.response;
+                    ret = yaz_solr_decode_result(o, ptr, sr);
+
                 }
                 if (ptr->type == XML_ELEMENT_NODE &&
-                    match_xml_node_attribute(ptr, "lst", "name", "terms")) {
-                        pdu = yaz_srw_get(o, Z_SRW_scan_response);
-                        scr = pdu->u.scan_response;
-                        rc_result = yaz_solr_decode_scan_result(o, ptr, scr);
+                    match_xml_node_attribute(ptr, "lst", "name", "terms"))
+                {
+                    pdu = yaz_srw_get(o, Z_SRW_scan_response);
+                    scr = pdu->u.scan_response;
+                    ret = yaz_solr_decode_scan_result(o, ptr, scr);
                 }
-                /* TODO The check on hits is a work-around to avoid garbled facets on zero results from the SOLR server.
-                 * The work-around works because the results is before the facets in the xml. */
-                if (sr) {
-                    if (rc_result == 0 &&  *sr->numberOfRecords > 0 &&
-                        match_xml_node_attribute(ptr, "lst", "name", "facet_counts"))
-                            rc_facets =  yaz_solr_decode_facet_counts(o, ptr, sr);
-                    if (rc_result == 0 &&  *sr->numberOfRecords == 0 &&
-                        match_xml_node_attribute(ptr, "lst", "name", "spellcheck"))
-                            rc_facets =  yaz_solr_decode_spellcheck(o, ptr, sr);
-                }
-
+                /* The check on hits is a work-around to avoid garbled
+                   facets on zero results from the SOLR server.
+                   The work-around works because the results is before
+                   the facets in the xml.
+                */
+                if (sr && *sr->numberOfRecords > 0 &&
+                    match_xml_node_attribute(ptr, "lst", "name",
+                                             "facet_counts"))
+                    ret = yaz_solr_decode_facet_counts(o, ptr, sr);
+                if (sr && *sr->numberOfRecords == 0 &&
+                    match_xml_node_attribute(ptr, "lst", "name",
+                                             "spellcheck"))
+                    ret = yaz_solr_decode_spellcheck(o, ptr, sr);
             }
-            ret = rc_result + rc_facets;
         }
-    }
-    if (doc)
         xmlFreeDoc(doc);
+    }
     if (ret == 0)
         *pdup = pdu;
-    return ret;
-#else
-    return -1;
 #endif
+    return ret;
 }
 
 static int yaz_solr_encode_facet_field(
@@ -476,15 +470,27 @@ int yaz_solr_encode_request(Z_HTTP_Request *hreq, Z_SRW_PDU *srw_pdu,
                             ODR encode, const char *charset)
 {
     const char *solr_op = 0;
-    //TODO Change. not a nice hard coded, unchecked limit.
-    char *name[SOLR_MAX_PARAMETERS], *value[SOLR_MAX_PARAMETERS];
+    char **name, **value;
     char *uri_args;
     char *path;
     char *q;
-    char *pos;
     char *cp;
     const char *path_args = 0;
     int i = 0;
+    int no_parms = 20; /* safe upper limit of args without extra_args */
+    Z_SRW_extra_arg *ea;
+
+    for (ea = srw_pdu->extra_args; ea; ea = ea->next)
+        no_parms++;
+    name = (char **) odr_malloc(encode, sizeof(*name) * no_parms);
+    value = (char **) odr_malloc(encode, sizeof(*value) * no_parms);
+
+    for (ea = srw_pdu->extra_args; ea; ea = ea->next)
+    {
+        name[i] = ea->name;
+        value[i] = ea->value;
+        i++;
+    }
 
     z_HTTP_header_add_basic_auth(encode, &hreq->headers,
                                  srw_pdu->username, srw_pdu->password);
@@ -494,7 +500,7 @@ int yaz_solr_encode_request(Z_HTTP_Request *hreq, Z_SRW_PDU *srw_pdu,
         solr_op = "select";
         if (!srw_pdu->u.request->query)
             return -1;
-        /* not considering query type here ! */
+        yaz_add_name_value_str(encode, name, value, &i, "defType", "lucene");
         yaz_add_name_value_str(encode, name, value, &i, "q", request->query);
         if (srw_pdu->u.request->startRecord)
         {
@@ -525,7 +531,8 @@ int yaz_solr_encode_request(Z_HTTP_Request *hreq, Z_SRW_PDU *srw_pdu,
                 return -1;
         }
     }
-    else if (srw_pdu->which == Z_SRW_scan_request) {
+    else if (srw_pdu->which == Z_SRW_scan_request)
+    {
         Z_SRW_scanRequest *request = srw_pdu->u.scan_request;
         solr_op = "terms";
         if (!srw_pdu->u.scan_request->scanClause)
@@ -540,18 +547,19 @@ int yaz_solr_encode_request(Z_HTTP_Request *hreq, Z_SRW_PDU *srw_pdu,
         else if (!strcmp(srw_pdu->u.scan_request->queryType, "cql"))
         {
             q = request->scanClause;
-            pos = strchr(q, ':');
-            if (pos != NULL) {
+            cp = strchr(q, ':');
+            if (cp != NULL)
+            {
                 yaz_add_name_value_str(encode, name, value, &i,
-                                       "terms.lower", odr_strdup(encode, pos + 1));
-                *pos = '\0';
+                                       "terms.lower", odr_strdup(encode, cp + 1));
+                *cp = '\0';
                 yaz_add_name_value_str(encode, name, value, &i,
                                        "terms.fl", odr_strdup(encode, q));
-                *pos = ':';
-            } else {
+                *cp = ':';
+            }
+            else
                 yaz_add_name_value_str(encode, name, value, &i,
                                        "terms.lower", odr_strdup(encode, q));
-            }
         }
         else
             return -1;
@@ -563,17 +571,6 @@ int yaz_solr_encode_request(Z_HTTP_Request *hreq, Z_SRW_PDU *srw_pdu,
     else
         return -1;
 
-    if (srw_pdu->extra_args)
-    {
-        Z_SRW_extra_arg *ea = srw_pdu->extra_args;
-        for (; ea && i < SOLR_MAX_PARAMETERS; ea = ea->next)
-        {
-            name[i] = ea->name;
-            value[i] = ea->value;
-            i++;
-        }
-    }
-
     name[i++] = 0;
 
     yaz_array_to_uri(&uri_args, encode, name, value);