Getting ready to model the irspy xml into zeerex using xslt.
[irspy-moved-to-github.git] / lib / ZOOM / IRSpy.pm
index 64c1d4d..15d1124 100644 (file)
@@ -1,4 +1,4 @@
-# $Id: IRSpy.pm,v 1.26 2006-10-12 11:06:03 mike Exp $
+# $Id: IRSpy.pm,v 1.37 2006-10-26 13:39:13 sondberg Exp $
 
 package ZOOM::IRSpy;
 
@@ -6,7 +6,14 @@ use 5.008;
 use strict;
 use warnings;
 
-use Data::Dumper; # For debugging only
+use Exporter 'import';
+our @EXPORT_OK = qw(xml_encode irspy_xpath_context);
+
+use Data::Dumper;              # For debugging only
+use File::Basename;
+use XML::LibXSLT;
+use XML::LibXML;
+use XML::LibXML::XPathContext;
 use ZOOM;
 use Net::Z3950::ZOOM 1.13;     # For the ZOOM version-check only
 use ZOOM::IRSpy::Node;
@@ -15,6 +22,8 @@ use ZOOM::IRSpy::Record;
 
 our @ISA = qw();
 our $VERSION = '0.02';
+our $irspy_ns = 'http://indexdata.com/irspy/1.0';
+our $irspy_to_zeerex_xsl = dirname(__FILE__) . '/../../xsl/irspy2zeerex.xsl';
 
 
 # Enumeration for callback functions to return
@@ -46,10 +55,11 @@ protocols.  It is a successor to the ZSpy program.
 
 BEGIN {
     ZOOM::Log::mask_str("irspy");
-    ZOOM::Log::mask_str("irspy_test");
     ZOOM::Log::mask_str("irspy_debug");
     ZOOM::Log::mask_str("irspy_event");
     ZOOM::Log::mask_str("irspy_unhandled");
+    ZOOM::Log::mask_str("irspy_test");
+    ZOOM::Log::mask_str("irspy_task");
 }
 
 sub new {
@@ -63,12 +73,19 @@ sub new {
     my $conn = new ZOOM::Connection($dbname, 0, @options)
        or die "$0: can't connection to IRSpy database 'dbname'";
 
+    my $xslt = new XML::LibXSLT;
+    my $libxml = new XML::LibXML;
+    my $xsl_doc = $libxml->parse_file($irspy_to_zeerex_xsl);
+    my $irspy_to_zeerex_style = $xslt->parse_stylesheet($xsl_doc);
+
     my $this = bless {
        conn => $conn,
        allrecords => 1,        # unless overridden by targets()
        query => undef,         # filled in later
        targets => undef,       # filled in later
        connections => undef,   # filled in later
+        libxml => $libxml,
+        irspy_to_zeerex_style => $xslt->parse_stylesheet($xsl_doc),
        tests => [],            # stack of tests currently being executed
     }, $class;
     $this->log("irspy", "starting up with database '$dbname'");
@@ -223,28 +240,37 @@ sub _render_record {
 }
 
 
-sub _rewrite_records {
-    my $this = shift();
+sub _irspy_to_zeerex {
+    my ($this, $conn) = @_;
+    my $irspy_doc = $conn->record()->{zeerex}->ownerDocument;
+    my %params = ();
+    my $result = $this->{irspy_to_zeerex_style}->transform($irspy_doc, %params);
 
-    # Write modified records back to database
-    foreach my $conn (@{ $this->{connections} }) {
-       my $rec = $conn->record();
-       my $p = $this->{conn}->package();
-       $p->option(action => "specialUpdate");
-       my $xml = $rec->{zeerex}->toString();
-       $p->option(record => $xml);
-       $p->send("update");
-       $p->destroy();
-
-       $p = $this->{conn}->package();
-       $p->send("commit");
-       $p->destroy();
-       if (0) {
-           $xml =~ s/&/&amp/g;
-           $xml =~ s/</&lt;/g;
-           $xml =~ s/>/&gt;/g;
-           print "Updated with xml=<br/>\n<pre>$xml</pre>\n";
-       }
+    return $result->documentElement();
+}
+
+
+sub _rewrite_record {
+    my $this = shift();
+    my($conn) = @_;
+
+    $conn->log("irspy", "rewriting XML record");
+    my $rec = $this->_irspy_to_zeerex($conn);
+    my $p = $this->{conn}->package();
+    $p->option(action => "specialUpdate");
+    my $xml = $rec->toString();
+    $p->option(record => $xml);
+    $p->send("update");
+    $p->destroy();
+
+    $p = $this->{conn}->package();
+    $p->send("commit");
+    $p->destroy();
+    if (0) {
+       $xml =~ s/&/&amp/g;
+       $xml =~ s/</&lt;/g;
+       $xml =~ s/>/&gt;/g;
+       print "Updated $conn with xml=<br/>\n<pre>$xml</pre>\n";
     }
 }
 
@@ -291,19 +317,27 @@ sub check {
 
     while (1) {
        my @copy_conn = @conn;  # avoid alias problems after splice()
+       my $nconn = scalar(@copy_conn);
        foreach my $i0 (0 .. $#copy_conn) {
            my $conn = $copy_conn[$i0];
-           #print "connection $i0 of ", scalar(@copy_conn), " from ", scalar(@conn), " is $conn\n";
+           #print "connection $i0 of $nconn/", scalar(@conn), " is $conn\n";
            if (!$conn->current_task()) {
                if (!$conn->next_task()) {
                    # Out of tasks: we need a new test
                  NEXT_TEST:
                    my $address = $conn->option("current_test_address");
-                   my $nextaddr = defined $address ?
-                       $this->_next_test($address) : "";
+                   my $nextaddr;
+                   if (!defined $address) {
+                       $nextaddr = "";
+                   } else {
+                       $this->log("irspy_test",
+                                  "checking for next test after '$address'");
+                       $nextaddr = $this->_next_test($address);
+                   }
                    if (!defined $nextaddr) {
                        $conn->log("irspy", "has no more tests: removing");
                        splice @conn, $i0, 1;
+                       $this->_rewrite_record($conn);
                        next;
                    }
 
@@ -311,7 +345,8 @@ sub check {
                        or die "invalid nextaddr '$nextaddr'";
                    $conn->option(current_test_address => $nextaddr);
                    my $tname = $node->name();
-                   $conn->log("irspy", "starting test '$nextaddr' = $tname");
+                   $conn->log("irspy_test",
+                              "starting test '$nextaddr' = $tname");
                    my $tasks = $conn->tasks();
                    my $oldcount = @$tasks;
                    "ZOOM::IRSpy::Test::$tname"->start($conn);
@@ -320,24 +355,26 @@ sub check {
                        # Prepare to start the first of the newly added tasks
                        $conn->next_task($tasks->[$oldcount]);
                    } else {
-                       $conn->log("irspy", "no tasks added by new test $tname");
+                       $conn->log("irspy_task",
+                                  "no tasks added by new test $tname");
                        goto NEXT_TEST;
                    }
                }
 
                my $task = $conn->next_task();
                die "no next task queued for $conn" if !defined $task;
-               $conn->log("irspy", "starting task $task");
+               $conn->log("irspy_task", "preparing task $task");
                $conn->next_task(0);
                $conn->current_task($task);
                $task->run();
            }
 
-           ### Test $conn->is_idle() here?
+           # Do we need to test $conn->is_idle()?  I don't think so!
        }
 
        my $i0 = ZOOM::event(\@conn);
-       $this->log("irspy_event", "ZOOM_event(", scalar(@conn), " connections) = $i0");
+       $this->log("irspy_event",
+                  "ZOOM_event(", scalar(@conn), " connections) = $i0");
        last if $i0 == 0 || $i0 == -3; # no events or no connections
        my $conn = $conn[$i0-1];
        my $ev = $conn->last_event();
@@ -367,7 +404,7 @@ sub check {
        if ($@) {
            my $sub = $task->{cb}->{exception};
            die $@ if !defined $sub;
-           $res = &$sub($conn, $task, $@);
+           $res = &$sub($conn, $task, $task->udata(), $@);
        } else {
            my $sub = $task->{cb}->{$ev};
            if (!defined $sub) {
@@ -375,7 +412,7 @@ sub check {
                next;
            }
 
-           $res = &$sub($conn, $task, $ev);
+           $res = &$sub($conn, $task, $task->udata(), $ev);
        }
 
        if ($res == ZOOM::IRSpy::Status::OK) {
@@ -385,24 +422,32 @@ sub check {
            my $task = $conn->current_task();
            die "no task for TASK_DONE on $conn" if !$task;
            die "next task already defined for $conn" if $conn->next_task();
-           $conn->log("irspy", "completed task $task");
+           $conn->log("irspy_task", "completed task $task");
            $conn->next_task($task->{next});
            $conn->current_task(0);
 
        } elsif ($res == ZOOM::IRSpy::Status::TEST_GOOD ||
                 $res == ZOOM::IRSpy::Status::TEST_BAD) {
            my $x = ($res == ZOOM::IRSpy::Status::TEST_GOOD) ? "good" : "bad";
-           $conn->log("irspy", "test completed ($x)");
+           $conn->log("irspy_task", "test ended during task $task ($x)");
+           $conn->log("irspy_test", "test completed ($x)");
            $conn->current_task(0);
            $conn->next_task(0);
-           ### Should also skip over remaining sibling tests if TEST_BAD
-           $nskipped += 1;     # should count number of skipped siblings
+           if ($res == ZOOM::IRSpy::Status::TEST_BAD) {
+               my $address = $conn->option('current_test_address');
+               ($address, my $n) = $this->_last_sibling_test($address);
+               if (defined $address) {
+                   $conn->log("irspy_test", "skipped $n tests");
+                   $conn->option(current_test_address => $address);
+                   $nskipped += $n;
+               }
+           }
+       } else {
+           die "unknown callback return-value '$res'";
        }
     }
 
-    $this->log("irspy_event", "no more events: finishing");
-
-    #$this->_rewrite_records();
+    $this->log("irspy", "exiting main loop");
     return $nskipped;
 }
 
@@ -436,12 +481,11 @@ sub _gather_tests {
 }
 
 
+# These next three should arguably be Node methods
 sub _next_test {
     my $this = shift();
     my($address, $omit_child) = @_;
 
-    $this->log("irspy", "checking for next test after '$address'");
-
     # Try first child
     if (!$omit_child) {
        my $maybe = $address eq "" ? "0" : "$address:0";
@@ -462,6 +506,69 @@ sub _next_test {
 }
 
 
+sub _last_sibling_test {
+    my $this = shift();
+    my($address) = @_;
+
+    return undef
+       if !defined $this->_next_sibling_test($address);
+
+    my $nskipped = 0;
+    while (1) {
+       my $maybe = $this->_next_sibling_test($address);
+       last if !defined $maybe;
+       $nskipped++;
+       $this->log("irspy", "skipping $nskipped tests to '$address'");
+       $address = $maybe;
+    }
+
+    return ($address, $nskipped);
+}
+
+
+sub _next_sibling_test {
+    my $this = shift();
+    my($address) = @_;
+
+    my @components = split /:/, $address;
+    my $last = pop @components;
+    my $maybe = join(":", @components, $last+1);
+    return $maybe if $this->{tree}->select($maybe);
+    return undef;
+}
+
+
+# Utility functions follow, exported for use of web UI
+
+# I can't -- just can't, can't, can't -- believe that this function
+# isn't provided by one of the core XML modules.  But the evidence all
+# says that it's not: among other things, XML::Generator and
+# Template::Plugin both roll their own.  So I will do likewise.  D'oh!
+#
+sub xml_encode {
+    my ($text) = @_;
+    $text =~ s/&/&amp;/g;
+    $text =~ s/</&lt;/g;
+    $text =~ s/>/&gt;/g;
+    $text =~ s/['']/&apos;/g;
+    $text =~ s/[""]/&quot;/g;
+    return $text;
+}
+
+
+sub irspy_xpath_context {
+    my($zoom_record) = @_;
+
+    my $xml = $zoom_record->render();
+    my $parser = new XML::LibXML();
+    my $doc = $parser->parse_string($xml);
+    my $root = $doc->getDocumentElement();
+    my $xc = XML::LibXML::XPathContext->new($root);
+    $xc->registerNs(e => 'http://explain.z3950.org/dtd/2.0/');
+    return $xc;
+}
+
+
 =head1 SEE ALSO
 
 ZOOM::IRSpy::Record,