GPLv2. Added appendix with full license. Added refernece to that from
[pazpar2-moved-to-github.git] / src / database.c
index 95703e0..de2b15c 100644 (file)
@@ -1,4 +1,23 @@
-/* $Id: database.c,v 1.6 2007-03-30 02:45:07 quinn Exp $ */
+/* $Id: database.c,v 1.8 2007-04-10 08:48:56 adam Exp $
+   Copyright (c) 2006-2007, Index Data.
+
+This file is part of Pazpar2.
+
+Pazpar2 is free software; you can redistribute it and/or modify it under
+the terms of the GNU General Public License as published by the Free
+Software Foundation; either version 2, or (at your option) any later
+version.
+
+Pazpar2 is distributed in the hope that it will be useful, but WITHOUT ANY
+WARRANTY; without even the implied warranty of MERCHANTABILITY or
+FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
+for more details.
+
+You should have received a copy of the GNU General Public License
+along with Pazpar2; see the file LICENSE.  If not, write to the
+Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
+02111-1307, USA.
+ */
 
 #include <libxml/parser.h>
 #include <libxml/tree.h>
@@ -11,6 +30,7 @@
 
 #include "pazpar2.h"
 #include "config.h"
+#include "settings.h"
 #include "http.h"
 #include "zeerex.h"
 
@@ -23,26 +43,6 @@ static struct host *hosts = 0;  // The hosts we know about
 static struct database *databases = 0; // The databases we know about
 static NMEM nmem = 0;
 
-// This needs to be extended with selection criteria
-static struct conf_retrievalprofile *database_retrievalprofile(const char *id)
-{
-    if (!config)
-    {
-        yaz_log(YLOG_FATAL, "Must load configuration (-f)");
-        exit(1);
-    }
-    if (!config->retrievalprofiles)
-    {
-        yaz_log(YLOG_FATAL, "No retrieval profiles defined");
-    }
-    return config->retrievalprofiles;
-}
-
-static struct conf_queryprofile *database_queryprofile(const char *id)
-{
-    return (struct conf_queryprofile*) 1;
-}
-
 static xmlDoc *get_explain_xml(const char *id)
 {
     struct stat st;
@@ -128,7 +128,6 @@ static struct database *load_database(const char *id)
 {
     xmlDoc *doc = get_explain_xml(id);
     struct zr_explain *explain = 0;
-    struct conf_retrievalprofile *retrieval;
     struct database *db;
     struct host *host;
     char hostport[256];
@@ -142,11 +141,6 @@ static struct database *load_database(const char *id)
         if (!explain)
             return 0;
     }
-    if (!(retrieval = database_retrievalprofile(id)))
-    {
-        xmlFree(doc);
-        return 0;
-    }
     if (strlen(id) > 255)
         return 0;
     strcpy(hostport, id);
@@ -166,10 +160,11 @@ static struct database *load_database(const char *id)
     db->databases[1] = 0;
     db->errors = 0;
     db->explain = explain;
-    db->rprofile = retrieval;
     db->settings = 0;
     db->next = databases;
     db->ccl_map = 0;
+    db->yaz_marc = 0;
+    db->map = 0;
     databases = db;
 
     return db;
@@ -254,6 +249,103 @@ int grep_databases(void *context, struct database_criterion *cl,
     return i;
 }
 
+// Initialize CCL map for a target
+// Note: This approach ignores user-specific CCL maps, for which I
+// don't presently see any application.
+static void prepare_cclmap(void *ignore, struct database *db)
+{
+    struct setting *s;
+
+    if (!db->settings)
+        return;
+    db->ccl_map = ccl_qual_mk();
+    for (s = db->settings[PZ_CCLMAP]; s; s = s->next)
+        if (!*s->user)
+        {
+            char *p = strchr(s->name + 3, ':');
+            if (!p)
+            {
+                yaz_log(YLOG_FATAL, "Malformed cclmap name: %s", s->name);
+                exit(1);
+            }
+            p++;
+            ccl_qual_fitem(db->ccl_map, s->value, p);
+        }
+}
+
+// Initialize YAZ Map structures for MARC-based targets
+static void prepare_yazmarc(void *ignore, struct database *db)
+{
+    struct setting *s;
+
+    if (!db->settings)
+        return;
+    for (s = db->settings[PZ_NATIVESYNTAX]; s; s = s->next)
+        if (!*s->user && !strcmp(s->value, "iso2709"))
+        {
+            char *encoding = "marc-8s";
+            yaz_iconv_t cm;
+
+            db->yaz_marc = yaz_marc_create();
+            yaz_marc_subfield_str(db->yaz_marc, "\t");
+            // See if a native encoding is specified
+            for (s = db->settings[PZ_ENCODING]; s; s = s->next)
+                if (!*s->user)
+                {
+                    encoding = s->value;
+                    break;
+                }
+            if (!(cm = yaz_iconv_open("utf-8", encoding)))
+            {
+                yaz_log(YLOG_FATAL, "Unable to map from %s to UTF-8", encoding);
+                exit(1);
+            }
+            yaz_marc_iconv(db->yaz_marc, cm);
+            break;
+        }
+}
+
+// Prepare XSLT stylesheets for record normalization
+static void prepare_map(void *ignore, struct database *db)
+{
+    struct setting *s;
+
+    if (!db->settings)
+        return;
+    for (s = db->settings[PZ_XSLT]; s; s = s->next)
+        if (!*s->user)
+        {
+            char **stylesheets;
+            struct database_retrievalmap **m = &db->map;
+            int num, i;
+
+            nmem_strsplit(nmem, ",", s->value, &stylesheets, &num);
+            for (i = 0; i < num; i++)
+            {
+                (*m) = nmem_malloc(nmem, sizeof(**m));
+                (*m)->next = 0;
+                if (!((*m)->stylesheet = conf_load_stylesheet(stylesheets[i])))
+                {
+                    yaz_log(YLOG_FATAL, "Unable to load stylesheet: %s",
+                            stylesheets[i]);
+                    exit(1);
+                }
+                m = &(*m)->next;
+            }
+            break;
+        }
+    if (!s)
+        yaz_log(YLOG_WARN, "No Normalization stylesheet for target %s", db->url);
+}
+
+// Read settings for each database, and prepare support data structures
+void prepare_databases(void)
+{
+    grep_databases(0, 0, prepare_cclmap);
+    grep_databases(0, 0, prepare_yazmarc);
+    grep_databases(0, 0, prepare_map);
+}
+
 // This function will most likely vanish when a proper target profile mechanism is
 // introduced.
 void load_simpletargets(const char *fn)