Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/pazpar2
[pazpar2-moved-to-github.git] / src / client.c
index 95e130a..9367153 100644 (file)
@@ -1,5 +1,5 @@
 /* This file is part of Pazpar2.
-   Copyright (C) 2006-2009 Index Data
+   Copyright (C) 2006-2011 Index Data
 
 Pazpar2 is free software; you can redistribute it and/or modify it under
 the terms of the GNU General Public License as published by the Free
@@ -24,7 +24,6 @@ Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
 #if HAVE_CONFIG_H
 #include <config.h>
 #endif
-
 #include <stdlib.h>
 #include <stdio.h>
 #include <string.h>
@@ -52,18 +51,55 @@ Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
 #include <yaz/diagbib1.h>
 #include <yaz/snprintf.h>
 #include <yaz/rpn2cql.h>
+#include <yaz/rpn2solr.h>
 
 #define USE_TIMING 0
 #if USE_TIMING
 #include <yaz/timing.h>
 #endif
 
-#include "pazpar2.h"
+#include "ppmutex.h"
+#include "session.h"
 #include "parameters.h"
 #include "client.h"
 #include "connection.h"
 #include "settings.h"
 #include "relevance.h"
+#include "incref.h"
+
+static YAZ_MUTEX g_mutex = 0;
+static int no_clients = 0;
+static int no_clients_total = 0;
+
+static int client_use(int delta)
+{
+    int clients;
+    if (!g_mutex)
+        yaz_mutex_create(&g_mutex);
+    yaz_mutex_enter(g_mutex);
+    no_clients += delta;
+    if (delta > 0)
+        no_clients_total += delta;
+    clients = no_clients;
+    yaz_mutex_leave(g_mutex);
+    yaz_log(YLOG_DEBUG, "%s clients=%d", delta == 0 ? "" : (delta > 0 ? "INC" : "DEC"), clients);
+    return clients;
+}
+
+int  clients_count(void) {
+    return client_use(0);
+}
+
+int  clients_count_total(void) {
+    int total = 0;
+    if (!g_mutex)
+        return 0;
+    yaz_mutex_enter(g_mutex);
+    total = no_clients_total;
+    yaz_mutex_leave(g_mutex);
+    return total;
+}
+
 
 /** \brief Represents client state for a connection to one search target */
 struct client {
@@ -72,13 +108,19 @@ struct client {
     struct session *session;
     char *pquery; // Current search
     char *cqlquery; // used for SRU targets only
-    int hits;
+    Odr_int hits;
     int record_offset;
+    int maxrecs;
+    int startrecs;
     int diagnostic;
+    int preferred;
     enum client_state state;
     struct show_raw *show_raw;
-    struct client *next;     // next client in session or next in free list
     ZOOM_resultset resultset;
+    YAZ_MUTEX mutex;
+    int ref_count;
+    /* copy of database->url */
+    char *url;
 };
 
 struct show_raw {
@@ -102,8 +144,6 @@ static const char *client_states[] = {
     "Client_Disconnected"
 };
 
-static struct client *client_freelist = 0; /* thread pr */
-
 const char *client_get_state_str(struct client *cl)
 {
     return client_states[cl->state];
@@ -116,25 +156,27 @@ enum client_state client_get_state(struct client *cl)
 
 void client_set_state(struct client *cl, enum client_state st)
 {
+    int was_active = 0;
+    if (client_is_active(cl))
+        was_active = 1;
     cl->state = st;
-    if (cl->session)
+    /* If client is going from being active to inactive and all clients
+       are now idle we fire a watch for the session . The assumption is
+       that session is not mutex locked if client is already active */
+    if (was_active && !client_is_active(cl) && cl->session)
     {
+
         int no_active = session_active_clients(cl->session);
-        if (no_active == 0)
+        yaz_log(YLOG_DEBUG, "%s: releasing watches on zero active: %d", client_get_url(cl), no_active);
+        if (no_active == 0) {
             session_alert_watch(cl->session, SESSION_WATCH_SHOW);
+            session_alert_watch(cl->session, SESSION_WATCH_SHOW_PREF);
+        }
     }
 }
 
 static void client_show_raw_error(struct client *cl, const char *addinfo);
 
-// Close connection and set state to error
-void client_fatal(struct client *cl)
-{
-    yaz_log(YLOG_WARN, "Fatal error from %s", client_get_url(cl));
-    connection_destroy(cl->connection);
-    client_set_state(cl, Client_Error);
-}
-
 struct connection *client_get_connection(struct client *cl)
 {
     return cl->connection;
@@ -342,6 +384,11 @@ static int nativesyntax_to_type(struct session_database *sdb, char *type,
         {
             strcpy(type, "xml");
         }
+        else if (!strncmp(s, "txml", 4))
+        {
+            const char *cp = strchr(s, ';');
+            yaz_snprintf(type, 80, "txml; charset=%s", cp ? cp+1 : "marc-8s");
+        }
         else
             return -1;
         return 0;
@@ -356,6 +403,11 @@ static int nativesyntax_to_type(struct session_database *sdb, char *type,
                 strcpy(type, "xml");
                 return 0;
             }
+            else if (!strcmp(syntax, "TXML"))
+                {
+                    strcpy(type, "txml");
+                    return 0;
+                }
             else if (!strcmp(syntax, "USmarc") || !strcmp(syntax, "MARC21"))
             {
                 strcpy(type, "xml; charset=marc8-s");
@@ -367,6 +419,54 @@ static int nativesyntax_to_type(struct session_database *sdb, char *type,
     }
 }
 
+/**
+ * TODO Consider thread safety!!!
+ *
+ */
+void client_report_facets(struct client *cl, ZOOM_resultset rs)
+{
+    struct session_database *sdb = client_get_database(cl);
+    ZOOM_facet_field *facets = ZOOM_resultset_facets(rs);
+
+    if (sdb && facets)
+    {
+        struct session *se = client_get_session(cl);
+        int facet_num = ZOOM_resultset_facets_size(rs);
+        struct setting *s;
+
+        for (s = sdb->settings[PZ_FACETMAP]; s; s = s->next)
+        {
+            const char *p = strchr(s->name + 3, ':');
+            if (p && p[1] && s->value && s->value[0])
+            {
+                int facet_idx;
+                p++; /* p now holds logical facet name */
+                for (facet_idx = 0; facet_idx < facet_num; facet_idx++)
+                {
+                    const char *native_name =
+                        ZOOM_facet_field_name(facets[facet_idx]);
+                    if (native_name && !strcmp(s->value, native_name))
+                    {
+                        size_t term_idx;
+                        size_t term_num =
+                            ZOOM_facet_field_term_count(facets[facet_idx]);
+                        for (term_idx = 0; term_idx < term_num; term_idx++ )
+                        {
+                            int freq;
+                            const char *term =
+                                ZOOM_facet_field_get_term(facets[facet_idx],
+                                                          term_idx, &freq);
+                            if (term)
+                                add_facet(se, p, term, freq);
+                        }
+                        break;
+                    }
+                }
+            }
+        }
+    }
+}
+
 static void ingest_raw_record(struct client *cl, ZOOM_record rec)
 {
     const char *buf;
@@ -386,29 +486,69 @@ static void ingest_raw_record(struct client *cl, ZOOM_record rec)
     client_show_raw_dequeue(cl);
 }
 
+void client_check_preferred_watch(struct client *cl)
+{
+    struct session *se = cl->session;
+    yaz_log(YLOG_DEBUG, "client_check_preferred_watch: %s ", client_get_url(cl));
+    if (se)
+    {
+        client_unlock(cl);
+        /* TODO possible threading issue. Session can have been destroyed */
+        if (session_is_preferred_clients_ready(se)) {
+            session_alert_watch(se, SESSION_WATCH_SHOW_PREF);
+        }
+        else
+            yaz_log(YLOG_DEBUG, "client_check_preferred_watch: Still locked on preferred targets.");
+
+        client_lock(cl);
+    }
+    else
+        yaz_log(YLOG_WARN, "client_check_preferred_watch: %s. No session!", client_get_url(cl));
+
+}
+
 void client_search_response(struct client *cl)
 {
     struct connection *co = cl->connection;
     struct session *se = cl->session;
     ZOOM_connection link = connection_get_link(co);
     ZOOM_resultset resultset = cl->resultset;
-    const char *error, *addinfo;
 
+    const char *error, *addinfo = 0;
+    
     if (ZOOM_connection_error(link, &error, &addinfo))
     {
         cl->hits = 0;
         client_set_state(cl, Client_Error);
         yaz_log(YLOG_WARN, "Search error %s (%s): %s",
-            error, addinfo, client_get_url(cl));
+                error, addinfo, client_get_url(cl));
     }
     else
     {
-        cl->record_offset = 0;
+        yaz_log(YLOG_DEBUG, "client_search_response: hits "
+                ODR_INT_PRINTF, cl->hits);
+        client_report_facets(cl, resultset);
+        cl->record_offset = cl->startrecs;
         cl->hits = ZOOM_resultset_size(resultset);
-        se->total_hits += cl->hits;
+        if (se) {
+            se->total_hits += cl->hits;
+            yaz_log(YLOG_DEBUG, "client_search_response: total hits "
+                    ODR_INT_PRINTF, se->total_hits);
+        }
     }
 }
 
+void client_got_records(struct client *cl)
+{
+    struct session *se = cl->session;
+    if (se)
+    {
+        client_unlock(cl);
+        session_alert_watch(se, SESSION_WATCH_SHOW);
+        session_alert_watch(se, SESSION_WATCH_RECORD);
+        client_lock(cl);
+    }
+}
 
 void client_record_response(struct client *cl)
 {
@@ -448,31 +588,35 @@ void client_record_response(struct client *cl)
             if ((rec = ZOOM_resultset_record(resultset, offset)))
             {
                 cl->record_offset++;
-                if (ZOOM_record_error(rec, &msg, &addinfo, 0))
+                if (cl->session == 0)
+                    ;
+                else if (ZOOM_record_error(rec, &msg, &addinfo, 0))
+                {
                     yaz_log(YLOG_WARN, "Record error %s (%s): %s (rec #%d)",
-                            error, addinfo, client_get_url(cl),
+                            msg, addinfo, client_get_url(cl),
                             cl->record_offset);
+                }
                 else
                 {
                     struct session_database *sdb = client_get_database(cl);
+                    NMEM nmem = nmem_create();
                     const char *xmlrec;
                     char type[80];
+
                     if (nativesyntax_to_type(sdb, type, rec))
                         yaz_log(YLOG_WARN, "Failed to determine record type");
-                    if ((xmlrec = ZOOM_record_get(rec, type, NULL)))
+                    xmlrec = ZOOM_record_get(rec, type, NULL);
+                    if (!xmlrec)
+                        yaz_log(YLOG_WARN, "ZOOM_record_get failed from %s",
+                                client_get_url(cl));
+                    else
                     {
-                        if (ingest_record(cl, xmlrec, cl->record_offset))
-                        {
-                            session_alert_watch(cl->session, SESSION_WATCH_SHOW);
-                            session_alert_watch(cl->session, SESSION_WATCH_RECORD);
-                        }
-                        else
-                            yaz_log(YLOG_WARN, "Failed to ingest");
+                        /* OK = 0, -1 = failure, -2 = Filtered */
+                        if (ingest_record(cl, xmlrec, cl->record_offset, nmem) == -1)
+                            yaz_log(YLOG_WARN, "Failed to ingest from %s", client_get_url(cl));
                     }
-                    else
-                        yaz_log(YLOG_WARN, "Failed to extract ZOOM record");
+                    nmem_destroy(nmem);
                 }
-
             }
             else
             {
@@ -483,6 +627,49 @@ void client_record_response(struct client *cl)
     }
 }
 
+static void client_set_facets_request(struct client *cl, ZOOM_connection link)
+{
+    struct session_database *sdb = client_get_database(cl);
+
+    WRBUF w = wrbuf_alloc();
+    
+    struct setting *s;
+
+    for (s = sdb->settings[PZ_FACETMAP]; s; s = s->next)
+    {
+        const char *p = strchr(s->name + 3, ':');
+        if (!p)
+        {
+            yaz_log(YLOG_WARN, "Malformed facetmap name: %s", s->name);
+        }
+        else if (s->value && s->value[0])
+        {
+            wrbuf_puts(w, "@attr 1=");
+            yaz_encode_pqf_term(w, s->value, strlen(s->value));
+            if (s->next)
+                wrbuf_puts(w, ",");
+        }
+    }
+    yaz_log(YLOG_LOG, "using facets str: %s", wrbuf_cstr(w));
+    ZOOM_connection_option_set(link, "facets",
+                               wrbuf_len(w) ? wrbuf_cstr(w) : 0);
+    wrbuf_destroy(w);
+}
+
+int client_has_facet(struct client *cl, const char *name)
+{
+    struct session_database *sdb = client_get_database(cl);
+    struct setting *s;
+
+    for (s = sdb->settings[PZ_FACETMAP]; s; s = s->next)
+    {
+        const char *p = strchr(s->name + 3, ':');
+        if (p && !strcmp(name, p + 1))
+            return 1;
+    }
+    return 0;
+}
+
 void client_start_search(struct client *cl)
 {
     struct session_database *sdb = client_get_database(cl);
@@ -490,19 +677,31 @@ void client_start_search(struct client *cl)
     ZOOM_connection link = connection_get_link(co);
     ZOOM_resultset rs;
     char *databaseName = sdb->database->databases[0];
-    const char *opt_piggyback = session_setting_oneval(sdb, PZ_PIGGYBACK);
-    const char *opt_queryenc = session_setting_oneval(sdb, PZ_QUERYENCODING);
-    const char *opt_elements = session_setting_oneval(sdb, PZ_ELEMENTS);
-    const char *opt_requestsyn = session_setting_oneval(sdb, PZ_REQUESTSYNTAX);
-    const char *opt_maxrecs = session_setting_oneval(sdb, PZ_MAXRECS);
-    const char *opt_sru = session_setting_oneval(sdb, PZ_SRU);
-    const char *opt_sort = session_setting_oneval(sdb, PZ_SORT);
+    const char *opt_piggyback   = session_setting_oneval(sdb, PZ_PIGGYBACK);
+    const char *opt_queryenc    = session_setting_oneval(sdb, PZ_QUERYENCODING);
+    const char *opt_elements    = session_setting_oneval(sdb, PZ_ELEMENTS);
+    const char *opt_requestsyn  = session_setting_oneval(sdb, PZ_REQUESTSYNTAX);
+    const char *opt_maxrecs     = session_setting_oneval(sdb, PZ_MAXRECS);
+    const char *opt_sru         = session_setting_oneval(sdb, PZ_SRU);
+    const char *opt_sort        = session_setting_oneval(sdb, PZ_SORT);
+    const char *opt_preferred   = session_setting_oneval(sdb, PZ_PREFERRED);
+    const char *extra_args      = session_setting_oneval(sdb, PZ_EXTRA_ARGS);
+    char maxrecs_str[24], startrecs_str[24];
 
     assert(link);
 
     cl->hits = -1;
     cl->record_offset = 0;
     cl->diagnostic = 0;
+
+    if (extra_args && *extra_args)
+        ZOOM_connection_option_set(link, "extraArgs", extra_args);
+
+    if (opt_preferred) {
+        cl->preferred = atoi(opt_preferred);
+        if (cl->preferred)
+            yaz_log(YLOG_LOG, "Target %s has preferred status: %d", sdb->database->url, cl->preferred);
+    }
     client_set_state(cl, Client_Working);
 
     if (*opt_piggyback)
@@ -517,26 +716,38 @@ void client_start_search(struct client *cl)
         ZOOM_connection_option_set(link, "elementSetName", opt_elements);
     if (*opt_requestsyn)
         ZOOM_connection_option_set(link, "preferredRecordSyntax", opt_requestsyn);
-    if (*opt_maxrecs)
-        ZOOM_connection_option_set(link, "count", opt_maxrecs);
-    else
+
+    if (opt_maxrecs && *opt_maxrecs)
     {
-        char n[128];
-        sprintf(n, "%d", global_parameters.toget);
-        ZOOM_connection_option_set(link, "count", n);
+        cl->maxrecs = atoi(opt_maxrecs);
     }
+
+    /* convert back to string representation used in ZOOM API */
+    sprintf(maxrecs_str, "%d", cl->maxrecs);
+    ZOOM_connection_option_set(link, "count", maxrecs_str);
+
+    if (cl->maxrecs > 20)
+        ZOOM_connection_option_set(link, "presentChunk", "20");
+    else
+        ZOOM_connection_option_set(link, "presentChunk", maxrecs_str);
+
+    sprintf(startrecs_str, "%d", cl->startrecs);
+    ZOOM_connection_option_set(link, "start", startrecs_str);
+
     if (databaseName)
         ZOOM_connection_option_set(link, "databaseName", databaseName);
 
-    ZOOM_connection_option_set(link, "presentChunk", "20");
-        
+    /* TODO Verify does it break something for CQL targets(non-SOLR) ? */
+    /* facets definition is in PQF */
+    client_set_facets_request(cl, link);
+
     if (cl->cqlquery)
     {
         ZOOM_query q = ZOOM_query_create();
         yaz_log(YLOG_LOG, "Search %s CQL: %s", sdb->database->url, cl->cqlquery);
         ZOOM_query_cql(q, cl->cqlquery);
-       if (*opt_sort)
-           ZOOM_query_sortby(q, opt_sort);
+        if (*opt_sort)
+            ZOOM_query_sortby(q, opt_sort);
         rs = ZOOM_connection_search(link, q);
         ZOOM_query_destroy(q);
     }
@@ -552,57 +763,90 @@ void client_start_search(struct client *cl)
 
 struct client *client_create(void)
 {
-    struct client *r;
-    if (client_freelist)
-    {
-        r = client_freelist;
-        client_freelist = client_freelist->next;
-    }
-    else
-        r = xmalloc(sizeof(struct client));
-    r->pquery = 0;
-    r->cqlquery = 0;
-    r->database = 0;
-    r->connection = 0;
-    r->session = 0;
-    r->hits = 0;
-    r->record_offset = 0;
-    r->diagnostic = 0;
-    r->state = Client_Disconnected;
-    r->show_raw = 0;
-    r->resultset = 0;
-    r->next = 0;
-    return r;
+    struct client *cl = xmalloc(sizeof(*cl));
+    cl->maxrecs = 100;
+    cl->startrecs = 0;
+    cl->pquery = 0;
+    cl->cqlquery = 0;
+    cl->database = 0;
+    cl->connection = 0;
+    cl->session = 0;
+    cl->hits = 0;
+    cl->record_offset = 0;
+    cl->diagnostic = 0;
+    cl->state = Client_Disconnected;
+    cl->show_raw = 0;
+    cl->resultset = 0;
+    cl->mutex = 0;
+    pazpar2_mutex_create(&cl->mutex, "client");
+    cl->preferred = 0;
+    cl->ref_count = 1;
+    cl->url = 0;
+    client_use(1);
+    
+    return cl;
 }
 
-void client_destroy(struct client *c)
+void client_lock(struct client *c)
 {
-    struct session *se = c->session;
-    if (c == se->clients)
-        se->clients = c->next;
-    else
-    {
-        struct client *cc;
-        for (cc = se->clients; cc && cc->next != c; cc = cc->next)
-            ;
-        if (cc)
-            cc->next = c->next;
-    }
-    xfree(c->pquery);
-    xfree(c->cqlquery);
+    yaz_mutex_enter(c->mutex);
+}
 
-    if (c->connection)
-        connection_release(c->connection);
+void client_unlock(struct client *c)
+{
+    yaz_mutex_leave(c->mutex);
+}
 
-    ZOOM_resultset_destroy(c->resultset);
-    c->resultset = 0;
-    c->next = client_freelist;
-    client_freelist = c;
+void client_incref(struct client *c)
+{
+    pazpar2_incref(&c->ref_count, c->mutex);
+    yaz_log(YLOG_DEBUG, "client_incref c=%p %s cnt=%d",
+            c, client_get_url(c), c->ref_count);
+}
+
+int client_destroy(struct client *c)
+{
+    if (c)
+    {
+        yaz_log(YLOG_DEBUG, "client_destroy c=%p %s cnt=%d",
+                c, client_get_url(c), c->ref_count);
+        if (!pazpar2_decref(&c->ref_count, c->mutex))
+        {
+            xfree(c->pquery);
+            c->pquery = 0;
+            xfree(c->cqlquery);
+            c->cqlquery = 0;
+            xfree(c->url);
+            assert(!c->connection);
+
+            if (c->resultset)
+            {
+                ZOOM_resultset_destroy(c->resultset);
+            }
+            yaz_mutex_destroy(&c->mutex);
+            xfree(c);
+            client_use(-1);
+            return 1;
+        }
+    }
+    return 0;
 }
 
 void client_set_connection(struct client *cl, struct connection *con)
 {
-    cl->connection = con;
+    if (cl->resultset)
+        ZOOM_resultset_release(cl->resultset);
+    if (con)
+    {
+        assert(cl->connection == 0);
+        cl->connection = con;
+        client_incref(cl);
+    }
+    else
+    {
+        cl->connection = con;
+        client_destroy(cl);
+    }
 }
 
 void client_disconnect(struct client *cl)
@@ -657,9 +901,10 @@ static char *make_cqlquery(struct client *cl)
     ODR odr_out = odr_createmem(ODR_ENCODE);
 
     zquery = p_query_rpn(odr_out, cl->pquery);
+    yaz_log(YLOG_LOG, "PQF: %s", cl->pquery);
     if ((status = cql_transform_rpn2cql_wrbuf(cqlt, wrb, zquery)))
     {
-        yaz_log(YLOG_WARN, "failed to generate CQL query, code=%d", status);
+        yaz_log(YLOG_WARN, "Failed to generate CQL query, code=%d", status);
         r = 0;
     }
     else
@@ -672,8 +917,69 @@ static char *make_cqlquery(struct client *cl)
     return r;
 }
 
+// returns a xmalloced SOLR query corresponding to the pquery in client
+// TODO Could prob. be merge with the similar make_cqlquery
+static char *make_solrquery(struct client *cl)
+{
+    solr_transform_t sqlt = solr_transform_create();
+    Z_RPNQuery *zquery;
+    char *r;
+    WRBUF wrb = wrbuf_alloc();
+    int status;
+    ODR odr_out = odr_createmem(ODR_ENCODE);
+
+    zquery = p_query_rpn(odr_out, cl->pquery);
+    yaz_log(YLOG_LOG, "PQF: %s", cl->pquery);
+    if ((status = solr_transform_rpn2solr_wrbuf(sqlt, wrb, zquery)))
+    {
+        yaz_log(YLOG_WARN, "Failed to generate SOLR query, code=%d", status);
+        r = 0;
+    }
+    else
+    {
+        r = xstrdup(wrbuf_cstr(wrb));
+    }
+    wrbuf_destroy(wrb);
+    odr_destroy(odr_out);
+    solr_transform_close(sqlt);
+    return r;
+}
+
+static void apply_limit(struct session_database *sdb,
+                        facet_limits_t facet_limits,
+                        WRBUF w)
+{
+    int i = 0;
+    const char *name;
+    const char *value;
+    for (i = 0; (name = facet_limits_get(facet_limits, i, &value)); i++)
+    {
+        struct setting *s = 0;
+        
+        for (s = sdb->settings[PZ_FACETMAP]; s; s = s->next)
+        {
+            const char *p = strchr(s->name + 3, ':');
+            if (p && !strcmp(p + 1, name) && s->value && s->value[0])
+            {
+                wrbuf_insert(w, 0, "@and ", 5);
+                wrbuf_puts(w, " @attr 1=");
+                yaz_encode_pqf_term(w, s->value, strlen(s->value));
+                wrbuf_puts(w, " ");
+                yaz_encode_pqf_term(w, value, strlen(value));
+                break;
+            }
+        }
+        if (!s)
+        {
+            yaz_log(YLOG_WARN, "facet %s used, but no facetmap defined",
+                    name);
+        }
+    }
+}
+                        
 // Parse the query given the settings specific to this client
-int client_parse_query(struct client *cl, const char *query)
+int client_parse_query(struct client *cl, const char *query,
+                       facet_limits_t facet_limits)
 {
     struct session *se = client_get_session(cl);
     struct session_database *sdb = client_get_database(cl);
@@ -682,17 +988,21 @@ int client_parse_query(struct client *cl, const char *query)
     CCL_bibset ccl_map = prepare_cclmap(cl);
     const char *sru = session_setting_oneval(sdb, PZ_SRU);
     const char *pqf_prefix = session_setting_oneval(sdb, PZ_PQF_PREFIX);
-
+    const char *pqf_strftime = session_setting_oneval(sdb, PZ_PQF_STRFTIME);
+    const char *query_syntax = session_setting_oneval(sdb, PZ_QUERY_SYNTAX);
+    const char *record_filter = session_setting_oneval(sdb, PZ_RECORDFILTER);
     if (!ccl_map)
         return -1;
 
+    yaz_log(YLOG_DEBUG, "query: %s", query);
     cn = ccl_find_str(ccl_map, query, &cerror, &cpos);
     ccl_qual_rm(&ccl_map);
     if (!cn)
     {
         client_set_state(cl, Client_Error);
-        yaz_log(YLOG_WARN, "Failed to parse query for %s",
-                         client_get_database(cl)->database->url);
+        session_log(se, YLOG_WARN, "Failed to parse CCL query '%s' for %s",
+                query,
+                client_get_database(cl)->database->url);
         return -1;
     }
     wrbuf_rewind(se->wrbuf);
@@ -701,19 +1011,54 @@ int client_parse_query(struct client *cl, const char *query)
         wrbuf_puts(se->wrbuf, pqf_prefix);
         wrbuf_puts(se->wrbuf, " ");
     }
-    ccl_pquery(se->wrbuf, cn);
+
+    apply_limit(sdb, facet_limits, se->wrbuf);
+
+    if (!pqf_strftime || !*pqf_strftime)
+        ccl_pquery(se->wrbuf, cn);
+    else
+    {
+        time_t cur_time = time(0);
+        struct tm *tm =  localtime(&cur_time);
+        char tmp_str[300];
+        const char *cp = tmp_str;
+
+        /* see man strftime(3) for things .. In particular %% gets converted
+         to %.. And That's our original query .. */
+        strftime(tmp_str, sizeof(tmp_str)-1, pqf_strftime, tm);
+        for (; *cp; cp++)
+        {
+            if (cp[0] == '%')
+                ccl_pquery(se->wrbuf, cn);
+            else
+                wrbuf_putc(se->wrbuf, cp[0]);
+        }
+    }
     xfree(cl->pquery);
     cl->pquery = xstrdup(wrbuf_cstr(se->wrbuf));
 
+    yaz_log(YLOG_DEBUG, "PQF query: %s", cl->pquery);
+
     xfree(cl->cqlquery);
-    if (*sru)
+
+    /* Support for PQF on SRU targets. */
+    /* TODO Refactor */
+    yaz_log(YLOG_DEBUG, "Query syntax: %s", query_syntax);
+    if (strcmp(query_syntax, "pqf") != 0 && *sru)
     {
-        if (!(cl->cqlquery = make_cqlquery(cl)))
-            return -1;
+        if (!strcmp(sru, "solr")) {
+            if (!(cl->cqlquery = make_solrquery(cl)))
+                return -1;
+        }
+        else {
+            if (!(cl->cqlquery = make_cqlquery(cl)))
+                return -1;
+        }
     }
     else
         cl->cqlquery = 0;
 
+    /* TODO FIX Not thread safe */
     if (!se->relevance)
     {
         // Initialize relevance structure with query terms
@@ -721,8 +1066,7 @@ int client_parse_query(struct client *cl, const char *query)
         extract_terms(se->nmem, cn, p);
         se->relevance = relevance_create(
             se->service->relevance_pct,
-            se->nmem, (const char **) p,
-            se->expected_maxrecs);
+            se->nmem, (const char **) p);
     }
 
     ccl_rpn_delete(cn);
@@ -732,8 +1076,6 @@ int client_parse_query(struct client *cl, const char *query)
 void client_set_session(struct client *cl, struct session *se)
 {
     cl->session = se;
-    cl->next = se->clients;
-    se->clients = cl;
 }
 
 int client_is_active(struct client *cl)
@@ -744,15 +1086,20 @@ int client_is_active(struct client *cl)
     return 0;
 }
 
-struct client *client_next_in_session(struct client *cl)
+int client_is_active_preferred(struct client *cl)
 {
-    if (cl)
-        return cl->next;
+    /* only count if this is a preferred target. */
+    if (!cl->preferred)
+        return 0;
+    /* TODO No sure this the condition that Seb wants */
+    if (cl->connection && (cl->state == Client_Connecting ||
+                           cl->state == Client_Working))
+        return 1;
     return 0;
-
 }
 
-int client_get_hits(struct client *cl)
+
+Odr_int client_get_hits(struct client *cl)
 {
     return cl->hits;
 }
@@ -762,6 +1109,11 @@ int client_get_num_records(struct client *cl)
     return cl->record_offset;
 }
 
+void client_set_diagnostic(struct client *cl, int diagnostic)
+{
+    cl->diagnostic = diagnostic;
+}
+
 int client_get_diagnostic(struct client *cl)
 {
     return cl->diagnostic;
@@ -770,6 +1122,10 @@ int client_get_diagnostic(struct client *cl)
 void client_set_database(struct client *cl, struct session_database *db)
 {
     cl->database = db;
+    /* Copy the URL for safe logging even after session is gone */
+    if (db) {
+        cl->url = xstrdup(db->database->url);
+    }
 }
 
 struct host *client_get_host(struct client *cl)
@@ -779,9 +1135,34 @@ struct host *client_get_host(struct client *cl)
 
 const char *client_get_url(struct client *cl)
 {
-    return client_get_database(cl)->database->url;
+    if (cl->url)
+        return cl->url;
+    else
+        /* This must not happen anymore, as the url is present until destruction of client  */
+        return "NOURL";
 }
 
+void client_set_maxrecs(struct client *cl, int v)
+{
+    cl->maxrecs = v;
+}
+
+int client_get_maxrecs(struct client *cl)
+{
+    return cl->maxrecs;
+}
+
+void client_set_startrecs(struct client *cl, int v)
+{
+    cl->startrecs = v;
+}
+
+void client_set_preferred(struct client *cl, int v)
+{
+    cl->preferred = v;
+}
+
+
 /*
  * Local variables:
  * c-basic-offset: 4