GPLv2. Added appendix with full license. Added refernece to that from
[pazpar2-moved-to-github.git] / src / database.c
index 9cb2406..de2b15c 100644 (file)
@@ -1,4 +1,23 @@
-/* $Id: database.c,v 1.3 2007-03-20 05:32:58 quinn Exp $ */
+/* $Id: database.c,v 1.8 2007-04-10 08:48:56 adam Exp $
+   Copyright (c) 2006-2007, Index Data.
+
+This file is part of Pazpar2.
+
+Pazpar2 is free software; you can redistribute it and/or modify it under
+the terms of the GNU General Public License as published by the Free
+Software Foundation; either version 2, or (at your option) any later
+version.
+
+Pazpar2 is distributed in the hope that it will be useful, but WITHOUT ANY
+WARRANTY; without even the implied warranty of MERCHANTABILITY or
+FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+for more details.
+
+You should have received a copy of the GNU General Public License
+along with Pazpar2; see the file LICENSE.  If not, write to the
+Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
+02111-1307, USA.
+ */
 
 #include <libxml/parser.h>
 #include <libxml/tree.h>
@@ -6,9 +25,12 @@
 #include <libxslt/transform.h>
 #include <libxslt/xsltutils.h>
 #include <assert.h>
+#include <sys/types.h>
+#include <sys/stat.h>
 
 #include "pazpar2.h"
 #include "config.h"
+#include "settings.h"
 #include "http.h"
 #include "zeerex.h"
 
@@ -21,28 +43,9 @@ static struct host *hosts = 0;  // The hosts we know about
 static struct database *databases = 0; // The databases we know about
 static NMEM nmem = 0;
 
-// This needs to be extended with selection criteria
-static struct conf_retrievalprofile *database_retrievalprofile(const char *id)
-{
-    if (!config)
-    {
-        yaz_log(YLOG_FATAL, "Must load configuration (-f)");
-        exit(1);
-    }
-    if (!config->retrievalprofiles)
-    {
-        yaz_log(YLOG_FATAL, "No retrieval profiles defined");
-    }
-    return config->retrievalprofiles;
-}
-
-static struct conf_queryprofile *database_queryprofile(const char *id)
-{
-    return (struct conf_queryprofile*) 1;
-}
-
 static xmlDoc *get_explain_xml(const char *id)
 {
+    struct stat st;
     char *dir;
     char path[256];
     char ide[256];
@@ -59,8 +62,10 @@ static xmlDoc *get_explain_xml(const char *id)
     dir = config->targetprofiles->src;
     urlencode(id, ide);
     sprintf(path, "%s/%s", dir, ide);
-    yaz_log(YLOG_LOG, "Path: %s", path);
-    return xmlParseFile(path);
+    if (!stat(path, &st))
+        return xmlParseFile(path);
+    else
+        return 0;
 }
 
 // Create a new host structure for hostport
@@ -122,9 +127,7 @@ static struct host *find_host(const char *hostport)
 static struct database *load_database(const char *id)
 {
     xmlDoc *doc = get_explain_xml(id);
-    struct zr_explain *explain;
-    struct conf_retrievalprofile *retrieval;
-    struct conf_queryprofile *query;
+    struct zr_explain *explain = 0;
     struct database *db;
     struct host *host;
     char hostport[256];
@@ -138,12 +141,6 @@ static struct database *load_database(const char *id)
         if (!explain)
             return 0;
     }
-    if (!(retrieval = database_retrievalprofile(id)) ||
-            !(query = database_queryprofile(id)))
-    {
-        xmlFree(doc);
-        return 0;
-    }
     if (strlen(id) > 255)
         return 0;
     strcpy(hostport, id);
@@ -163,9 +160,11 @@ static struct database *load_database(const char *id)
     db->databases[1] = 0;
     db->errors = 0;
     db->explain = explain;
-    db->qprofile = query;
-    db->rprofile = retrieval;
+    db->settings = 0;
     db->next = databases;
+    db->ccl_map = 0;
+    db->yaz_marc = 0;
+    db->map = 0;
     databases = db;
 
     return db;
@@ -185,10 +184,37 @@ struct database *find_database(const char *id, int new)
     return load_database(id);
 }
 
+static int match_zurl(const char *zurl, const char *pattern)
+{
+    if (!strcmp(pattern, "*"))
+        return 1;
+    else if (!strncmp(pattern, "*/", 2))
+    {
+        char *db = strchr(zurl, '/');
+        if (!db)
+            return 0;
+        if (!strcmp(pattern + 2, db))
+            return 1;
+        else
+            return 0;
+    }
+    else if (!strcmp(pattern, zurl))
+        return 1;
+    else
+        return 0;
+}
+
+// This will be generalized at some point
 static int match_criterion(struct database *db, struct database_criterion *c)
 {
     if (!strcmp(c->name, "id"))
-        return (!strcmp(c->value, db->url));
+    {
+        struct database_criterion_value *v;
+        for (v = c->values; v; v = v->next)
+            if (match_zurl(db->url, v->value))
+                return 1;
+        return 0;
+    }
     else
         return 0;
 }
@@ -223,6 +249,103 @@ int grep_databases(void *context, struct database_criterion *cl,
     return i;
 }
 
+// Initialize CCL map for a target
+// Note: This approach ignores user-specific CCL maps, for which I
+// don't presently see any application.
+static void prepare_cclmap(void *ignore, struct database *db)
+{
+    struct setting *s;
+
+    if (!db->settings)
+        return;
+    db->ccl_map = ccl_qual_mk();
+    for (s = db->settings[PZ_CCLMAP]; s; s = s->next)
+        if (!*s->user)
+        {
+            char *p = strchr(s->name + 3, ':');
+            if (!p)
+            {
+                yaz_log(YLOG_FATAL, "Malformed cclmap name: %s", s->name);
+                exit(1);
+            }
+            p++;
+            ccl_qual_fitem(db->ccl_map, s->value, p);
+        }
+}
+
+// Initialize YAZ Map structures for MARC-based targets
+static void prepare_yazmarc(void *ignore, struct database *db)
+{
+    struct setting *s;
+
+    if (!db->settings)
+        return;
+    for (s = db->settings[PZ_NATIVESYNTAX]; s; s = s->next)
+        if (!*s->user && !strcmp(s->value, "iso2709"))
+        {
+            char *encoding = "marc-8s";
+            yaz_iconv_t cm;
+
+            db->yaz_marc = yaz_marc_create();
+            yaz_marc_subfield_str(db->yaz_marc, "\t");
+            // See if a native encoding is specified
+            for (s = db->settings[PZ_ENCODING]; s; s = s->next)
+                if (!*s->user)
+                {
+                    encoding = s->value;
+                    break;
+                }
+            if (!(cm = yaz_iconv_open("utf-8", encoding)))
+            {
+                yaz_log(YLOG_FATAL, "Unable to map from %s to UTF-8", encoding);
+                exit(1);
+            }
+            yaz_marc_iconv(db->yaz_marc, cm);
+            break;
+        }
+}
+
+// Prepare XSLT stylesheets for record normalization
+static void prepare_map(void *ignore, struct database *db)
+{
+    struct setting *s;
+
+    if (!db->settings)
+        return;
+    for (s = db->settings[PZ_XSLT]; s; s = s->next)
+        if (!*s->user)
+        {
+            char **stylesheets;
+            struct database_retrievalmap **m = &db->map;
+            int num, i;
+
+            nmem_strsplit(nmem, ",", s->value, &stylesheets, &num);
+            for (i = 0; i < num; i++)
+            {
+                (*m) = nmem_malloc(nmem, sizeof(**m));
+                (*m)->next = 0;
+                if (!((*m)->stylesheet = conf_load_stylesheet(stylesheets[i])))
+                {
+                    yaz_log(YLOG_FATAL, "Unable to load stylesheet: %s",
+                            stylesheets[i]);
+                    exit(1);
+                }
+                m = &(*m)->next;
+            }
+            break;
+        }
+    if (!s)
+        yaz_log(YLOG_WARN, "No Normalization stylesheet for target %s", db->url);
+}
+
+// Read settings for each database, and prepare support data structures
+void prepare_databases(void)
+{
+    grep_databases(0, 0, prepare_cclmap);
+    grep_databases(0, 0, prepare_yazmarc);
+    grep_databases(0, 0, prepare_map);
+}
+
 // This function will most likely vanish when a proper target profile mechanism is
 // introduced.
 void load_simpletargets(const char *fn)