Include new Utils module.
[irspy-moved-to-github.git] / lib / ZOOM / IRSpy.pm
index bbf251d..758b5bf 100644 (file)
@@ -1,4 +1,4 @@
-# $Id: IRSpy.pm,v 1.25 2006-10-11 16:44:04 mike Exp $
+# $Id: IRSpy.pm,v 1.44 2006-10-30 15:04:33 mike Exp $
 
 package ZOOM::IRSpy;
 
@@ -6,13 +6,25 @@ use 5.008;
 use strict;
 use warnings;
 
-use Data::Dumper; # For debugging only
+use Exporter 'import';
+our @EXPORT_OK = qw(xml_encode irspy_xpath_context);
+
+use Data::Dumper;              # For debugging only
+use File::Basename;
+use XML::LibXSLT;
+use XML::LibXML;
+use XML::LibXML::XPathContext;
+use ZOOM;
+use Net::Z3950::ZOOM 1.13;     # For the ZOOM version-check only
 use ZOOM::IRSpy::Node;
 use ZOOM::IRSpy::Connection;
 use ZOOM::IRSpy::Record;
+use ZOOM::IRSpy::Utils;
 
 our @ISA = qw();
 our $VERSION = '0.02';
+our $irspy_ns = 'http://indexdata.com/irspy/1.0';
+our $irspy_to_zeerex_xsl = dirname(__FILE__) . '/../../xsl/irspy2zeerex.xsl';
 
 
 # Enumeration for callback functions to return
@@ -44,10 +56,11 @@ protocols.  It is a successor to the ZSpy program.
 
 BEGIN {
     ZOOM::Log::mask_str("irspy");
-    ZOOM::Log::mask_str("irspy_test");
     ZOOM::Log::mask_str("irspy_debug");
     ZOOM::Log::mask_str("irspy_event");
     ZOOM::Log::mask_str("irspy_unhandled");
+    ZOOM::Log::mask_str("irspy_test");
+    ZOOM::Log::mask_str("irspy_task");
 }
 
 sub new {
@@ -61,12 +74,19 @@ sub new {
     my $conn = new ZOOM::Connection($dbname, 0, @options)
        or die "$0: can't connection to IRSpy database 'dbname'";
 
+    my $xslt = new XML::LibXSLT;
+    my $libxml = new XML::LibXML;
+    my $xsl_doc = $libxml->parse_file($irspy_to_zeerex_xsl);
+    my $irspy_to_zeerex_style = $xslt->parse_stylesheet($xsl_doc);
+
     my $this = bless {
        conn => $conn,
        allrecords => 1,        # unless overridden by targets()
        query => undef,         # filled in later
        targets => undef,       # filled in later
        connections => undef,   # filled in later
+        libxml => $libxml,
+        irspy_to_zeerex_style => $irspy_to_zeerex_style,
        tests => [],            # stack of tests currently being executed
     }, $class;
     $this->log("irspy", "starting up with database '$dbname'");
@@ -221,28 +241,44 @@ sub _render_record {
 }
 
 
-sub _rewrite_records {
+sub _irspy_to_zeerex {
+    my ($this, $conn) = @_;
+    my $irspy_doc = $conn->record()->{zeerex}->ownerDocument;
+    my %params = ();
+    my $result = $this->{irspy_to_zeerex_style}->transform($irspy_doc, %params);
+
+    return $result->documentElement();
+}
+
+
+sub _rewrite_record {
     my $this = shift();
+    my($conn) = @_;
 
-    # Write modified records back to database
-    foreach my $conn (@{ $this->{connections} }) {
-       my $rec = $conn->record();
-       my $p = $this->{conn}->package();
-       $p->option(action => "specialUpdate");
-       my $xml = $rec->{zeerex}->toString();
-       $p->option(record => $xml);
-       $p->send("update");
-       $p->destroy();
-
-       $p = $this->{conn}->package();
-       $p->send("commit");
-       $p->destroy();
-       if (0) {
-           $xml =~ s/&/&amp/g;
-           $xml =~ s/</&lt;/g;
-           $xml =~ s/>/&gt;/g;
-           print "Updated with xml=<br/>\n<pre>$xml</pre>\n";
-       }
+    $conn->log("irspy", "rewriting XML record");
+    my $rec = $this->_irspy_to_zeerex($conn);
+    _really_rewrite_record($this->{conn}, $rec);
+}
+
+
+sub _really_rewrite_record {
+    my($conn, $rec) = @_;
+
+    my $p = $conn->package();
+    $p->option(action => "specialUpdate");
+    my $xml = $rec->toString();
+    $p->option(record => $xml);
+    $p->send("update");
+    $p->destroy();
+
+    $p = $conn->package();
+    $p->send("commit");
+    $p->destroy();
+    if (0) {
+       $xml =~ s/&/&amp/g;
+       $xml =~ s/</&lt;/g;
+       $xml =~ s/>/&gt;/g;
+       print "Updated $conn with xml=<br/>\n<pre>$xml</pre>\n";
     }
 }
 
@@ -281,7 +317,7 @@ sub check {
 
     $tname = "Main" if !defined $tname;
     $this->{tree} = $this->_gather_tests($tname)
-       or die "No tests defined";
+       or die "No tests defined for '$tname'";
     #$this->{tree}->print(0);
     my $nskipped = 0;
 
@@ -289,19 +325,27 @@ sub check {
 
     while (1) {
        my @copy_conn = @conn;  # avoid alias problems after splice()
+       my $nconn = scalar(@copy_conn);
        foreach my $i0 (0 .. $#copy_conn) {
            my $conn = $copy_conn[$i0];
-           #print "connection $i0 of ", scalar(@copy_conn), " from ", scalar(@conn), " is $conn\n";
+           #print "connection $i0 of $nconn/", scalar(@conn), " is $conn\n";
            if (!$conn->current_task()) {
                if (!$conn->next_task()) {
                    # Out of tasks: we need a new test
                  NEXT_TEST:
                    my $address = $conn->option("current_test_address");
-                   my $nextaddr = defined $address ?
-                       $this->_next_test($address) : "";
+                   my $nextaddr;
+                   if (!defined $address) {
+                       $nextaddr = "";
+                   } else {
+                       $this->log("irspy_test",
+                                  "checking for next test after '$address'");
+                       $nextaddr = $this->_next_test($address);
+                   }
                    if (!defined $nextaddr) {
                        $conn->log("irspy", "has no more tests: removing");
                        splice @conn, $i0, 1;
+                       $this->_rewrite_record($conn);
                        next;
                    }
 
@@ -309,7 +353,8 @@ sub check {
                        or die "invalid nextaddr '$nextaddr'";
                    $conn->option(current_test_address => $nextaddr);
                    my $tname = $node->name();
-                   $conn->log("irspy", "starting test '$nextaddr' = $tname");
+                   $conn->log("irspy_test",
+                              "starting test '$nextaddr' = $tname");
                    my $tasks = $conn->tasks();
                    my $oldcount = @$tasks;
                    "ZOOM::IRSpy::Test::$tname"->start($conn);
@@ -318,24 +363,26 @@ sub check {
                        # Prepare to start the first of the newly added tasks
                        $conn->next_task($tasks->[$oldcount]);
                    } else {
-                       $conn->log("irspy", "no tasks added by new test $tname");
+                       $conn->log("irspy_task",
+                                  "no tasks added by new test $tname");
                        goto NEXT_TEST;
                    }
                }
 
                my $task = $conn->next_task();
                die "no next task queued for $conn" if !defined $task;
-               $conn->log("irspy", "starting task $task");
+               $conn->log("irspy_task", "preparing task $task");
                $conn->next_task(0);
                $conn->current_task($task);
                $task->run();
            }
 
-           ### Test $conn->is_idle() here?
+           # Do we need to test $conn->is_idle()?  I don't think so!
        }
 
        my $i0 = ZOOM::event(\@conn);
-       $this->log("irspy_event", "ZOOM_event(", scalar(@conn), " connections) = $i0");
+       $this->log("irspy_event",
+                  "ZOOM_event(", scalar(@conn), " connections) = $i0");
        last if $i0 == 0 || $i0 == -3; # no events or no connections
        my $conn = $conn[$i0-1];
        my $ev = $conn->last_event();
@@ -365,7 +412,7 @@ sub check {
        if ($@) {
            my $sub = $task->{cb}->{exception};
            die $@ if !defined $sub;
-           $res = &$sub($conn, $task, $@);
+           $res = &$sub($conn, $task, $task->udata(), $@);
        } else {
            my $sub = $task->{cb}->{$ev};
            if (!defined $sub) {
@@ -373,7 +420,7 @@ sub check {
                next;
            }
 
-           $res = &$sub($conn, $task, $ev);
+           $res = &$sub($conn, $task, $task->udata(), $ev);
        }
 
        if ($res == ZOOM::IRSpy::Status::OK) {
@@ -383,24 +430,32 @@ sub check {
            my $task = $conn->current_task();
            die "no task for TASK_DONE on $conn" if !$task;
            die "next task already defined for $conn" if $conn->next_task();
-           $conn->log("irspy", "completed task $task");
+           $conn->log("irspy_task", "completed task $task");
            $conn->next_task($task->{next});
            $conn->current_task(0);
 
        } elsif ($res == ZOOM::IRSpy::Status::TEST_GOOD ||
                 $res == ZOOM::IRSpy::Status::TEST_BAD) {
            my $x = ($res == ZOOM::IRSpy::Status::TEST_GOOD) ? "good" : "bad";
-           $conn->log("irspy", "test completed ($x)");
+           $conn->log("irspy_task", "test ended during task $task ($x)");
+           $conn->log("irspy_test", "test completed ($x)");
            $conn->current_task(0);
            $conn->next_task(0);
-           ### Should also skip over remaining sibling tests if TEST_BAD
-           $nskipped += 1;     # should count number of skipped siblings
+           if ($res == ZOOM::IRSpy::Status::TEST_BAD) {
+               my $address = $conn->option('current_test_address');
+               ($address, my $n) = $this->_last_sibling_test($address);
+               if (defined $address) {
+                   $conn->log("irspy_test", "skipped $n tests");
+                   $conn->option(current_test_address => $address);
+                   $nskipped += $n;
+               }
+           }
+       } else {
+           die "unknown callback return-value '$res'";
        }
     }
 
-    $this->log("irspy_event", "no more events: finishing");
-
-    #$this->_rewrite_records();
+    $this->log("irspy", "exiting main loop");
     return $nskipped;
 }
 
@@ -413,11 +468,15 @@ sub _gather_tests {
        join(" -> ", @ancestors, $tname))
        if grep { $_ eq $tname } @ancestors;
 
+    my $slashSeperatedTname = $tname;
+    $slashSeperatedTname =~ s/::/\//g;
+    my $fullName = "ZOOM/IRSpy/Test/$slashSeperatedTname.pm";
+
     eval {
-       my $slashSeperatedTname = $tname;
-       $slashSeperatedTname =~ s/::/\//g;
-       require "ZOOM/IRSpy/Test/$slashSeperatedTname.pm";
+       require $fullName;
+       $this->log("irspy", "successfully required '$fullName'");
     }; if ($@) {
+       $this->log("irspy", "couldn't require '$fullName': $@");
        $this->log("warn", "can't load test '$tname': skipping",
                   $@ =~ /^Can.t locate/ ? () : " ($@)");
        return undef;
@@ -434,12 +493,11 @@ sub _gather_tests {
 }
 
 
+# These next three should arguably be Node methods
 sub _next_test {
     my $this = shift();
     my($address, $omit_child) = @_;
 
-    $this->log("irspy", "checking for next test after '$address'");
-
     # Try first child
     if (!$omit_child) {
        my $maybe = $address eq "" ? "0" : "$address:0";
@@ -460,6 +518,70 @@ sub _next_test {
 }
 
 
+sub _last_sibling_test {
+    my $this = shift();
+    my($address) = @_;
+
+    return undef
+       if !defined $this->_next_sibling_test($address);
+
+    my $nskipped = 0;
+    while (1) {
+       my $maybe = $this->_next_sibling_test($address);
+       last if !defined $maybe;
+       $nskipped++;
+       $this->log("irspy", "skipping $nskipped tests to '$address'");
+       $address = $maybe;
+    }
+
+    return ($address, $nskipped);
+}
+
+
+sub _next_sibling_test {
+    my $this = shift();
+    my($address) = @_;
+
+    my @components = split /:/, $address;
+    my $last = pop @components;
+    my $maybe = join(":", @components, $last+1);
+    return $maybe if $this->{tree}->select($maybe);
+    return undef;
+}
+
+
+# Utility functions follow, exported for use of web UI
+
+# I can't -- just can't, can't, can't -- believe that this function
+# isn't provided by one of the core XML modules.  But the evidence all
+# says that it's not: among other things, XML::Generator and
+# Template::Plugin both roll their own.  So I will do likewise.  D'oh!
+#
+sub xml_encode {
+    my ($text) = @_;
+    $text =~ s/&/&amp;/g;
+    $text =~ s/</&lt;/g;
+    $text =~ s/>/&gt;/g;
+    $text =~ s/['']/&apos;/g;
+    $text =~ s/[""]/&quot;/g;
+    return $text;
+}
+
+
+sub irspy_xpath_context {
+    my($zoom_record) = @_;
+
+    my $xml = $zoom_record->render();
+    my $parser = new XML::LibXML();
+    my $doc = $parser->parse_string($xml);
+    my $root = $doc->getDocumentElement();
+    my $xc = XML::LibXML::XPathContext->new($root);
+    $xc->registerNs(e => 'http://explain.z3950.org/dtd/2.0/');
+    $xc->registerNs(i => $irspy_ns);
+    return $xc;
+}
+
+
 =head1 SEE ALSO
 
 ZOOM::IRSpy::Record,