New function _delete_record(), used by both _really_rewrite_record()
[irspy-moved-to-github.git] / lib / ZOOM / IRSpy.pm
index c4bae34..0fe969e 100644 (file)
@@ -1,4 +1,4 @@
-# $Id: IRSpy.pm,v 1.79 2007-03-29 11:54:53 mike Exp $
+# $Id: IRSpy.pm,v 1.85 2007-06-27 11:09:03 mike Exp $
 
 package ZOOM::IRSpy;
 
@@ -16,7 +16,9 @@ use Net::Z3950::ZOOM 1.13;    # For the ZOOM version-check only
 use ZOOM::IRSpy::Node;
 use ZOOM::IRSpy::Connection;
 use ZOOM::IRSpy::Stats;
-use ZOOM::IRSpy::Utils qw(cql_target render_record irspy_xpath_context);
+use ZOOM::IRSpy::Utils qw(cql_target render_record
+                         irspy_xpath_context irspy_make_identifier
+                         irspy_record2identifier);
 
 our @ISA = qw();
 our $VERSION = '0.02';
@@ -42,8 +44,8 @@ ZOOM::IRSpy - Perl extension for discovering and analysing IR services
  use ZOOM::IRSpy;
  $spy = new ZOOM::IRSpy("target/string/for/irspy/database");
  $spy->targets(@targets);
- $spy->initialise();
- $res = $spy->check("Main");
+ $spy->initialise("Main");
+ $res = $spy->check();
 
 =head1 DESCRIPTION
 
@@ -93,6 +95,7 @@ sub new {
        queue => undef,         # Filled in by initialise()
         libxml => $libxml,
         irspy_to_zeerex_style => $irspy_to_zeerex_style,
+       test => undef,          # Filled in by initialise()
        tests => undef,         # Tree of tests to be executed
        activeSetSize => defined $activeSetSize ? $activeSetSize : 10,
     }, $class;
@@ -129,12 +132,13 @@ sub targets {
               join(", ", map { "'$_'" } @targets));
     my @qlist;
     foreach my $target (@targets) {
-       my($host, $port, $db, $newtarget) = _parse_target_string($target);
+       my($protocol, $host, $port, $db, $newtarget) =
+           _parse_target_string($target);
        if ($newtarget ne $target) {
            $this->log("irspy_debug", "rewriting '$target' to '$newtarget'");
            $target = $newtarget; # This is written through the ref
        }
-       push @qlist, cql_target($host, $port, $db);
+       push @qlist, cql_target($protocol, $host, $port, $db);
     }
 
     $this->{targets} = \@targets;
@@ -146,16 +150,16 @@ sub targets {
 sub _parse_target_string {
     my($target) = @_;
 
-    my($host, $port, $db) = ($target =~ /(.*?):(.*?)\/(.*)/);
+    my($protocol, $host, $port, $db) = ($target =~ /(.*?):(.*?):(.*?)\/(.*)/);
     if (!defined $host) {
        $port = 210;
-       ($host, $db) = ($target =~ /(.*?)\/(.*)/);
-       $target = "$host:$port/$db";
+       ($protocol, $host, $db) = ($target =~ /(.*?):(.*?)\/(.*)/);
+       $target = irspy_make_identifier($protocol, $host, $port, $db);
     }
     die "$0: invalid target string '$target'"
        if !defined $host;
 
-    return ($host, $port, $db, $target);
+    return ($protocol, $host, $port, $db, $target);
 }
 
 
@@ -166,6 +170,16 @@ sub _parse_target_string {
 #
 sub initialise {
     my $this = shift();
+    my($tname) = @_;
+
+    $tname = "Main" if !defined $tname;
+    $this->{test} = $tname;
+    $this->{tree} = $this->_gather_tests($tname)
+       or die "No tests defined for '$tname'";
+    $this->{tree}->resolve();
+    #$this->{tree}->print(0);
+
+    my $timeout = "ZOOM::IRSpy::Test::$tname"->timeout();
 
     my @targets;
     my $targets = $this->{targets};
@@ -190,7 +204,8 @@ sub initialise {
     foreach my $i (1..$n) {
        push @connections, create ZOOM::IRSpy::Connection($this,
                                                          shift @targets,
-                                                         async => 1);
+                                                         async => 1,
+                                                         timeout => $timeout);
     }
 
     $this->{connections} = \@connections;
@@ -254,18 +269,10 @@ sub _really_rewrite_record {
     # This is the expression in the ID-making stylesheet
     # ../../zebra/zeerex2id.xsl
     my $xc = irspy_xpath_context($rec);
-    my $id = $xc->find("concat(e:serverInfo/e:host, ':',
-                               e:serverInfo/e:port, '/',
-                               e:serverInfo/e:database)");
-    if ($id ne $oldid) {
-       # Delete old record;
+    my $id = irspy_record2identifier($xc);
+    if (defined $oldid && $id ne $oldid) {
        warn "IDs differ (old='$oldid' new='$id')";
-       my $p = $conn->package();
-       $p->option(action => "recordDelete");
-       $p->option(recordIdOpaque => $oldid);
-       $p->option(record => "<dummy/>"); # Work around Zebra bug
-       $p->send("update");
-       $p->destroy();
+       _delete_record($conn, $oldid);
     }
 
     $p = $conn->package();
@@ -280,6 +287,41 @@ sub _really_rewrite_record {
 }
 
 
+sub _delete_record {
+    my($conn, $id) = @_;
+
+    # We can't delete records using recordIdOpaque, since character
+    # sets are handled differently here in extended services from how
+    # they are used in the Alvis filter's record-parsing, and so
+    # non-ASCII characters come out differently in the two contexts.
+    # Instead, we must send a record whose contents indicate the ID of
+    # that which we wish to delete.  There are two ways, both
+    # unsatisfactory: we could either fetch the actual record them
+    # resubmit it in the deletion request (which wastes a search and a
+    # fetch) or we could build a record by hand from the parsed-out
+    # components (which is error-prone and which I am not 100% certain
+    # will work since the other contents of the record will be
+    # different).  The former evil seems to be the lesser.
+
+    warn "$conn deleting record '$id'";
+
+    my $rs = $conn->search(new ZOOM::Query::CQL(cql_target($id)));
+    die "no such ID '$id'" if $rs->size() == 0;
+    my $rec = $rs->record(0);
+    my $xml = $rec->render();
+
+    my $p = $conn->package();
+    $p->option(action => "recordDelete");
+    $p->option(record => $xml);
+    $p->send("update");
+    $p->destroy();
+
+    $p = $conn->package();
+    $p->send("commit");
+    $p->destroy();
+}
+
+
 # The approach: gather declarative information about test hierarchy,
 # then go into a loop.  In the loop, we ensure that each connection is
 # running a test, and within that test a task, until its list of tests
@@ -310,15 +352,12 @@ sub _really_rewrite_record {
 #
 sub check {
     my $this = shift();
-    my($tname) = @_;
 
-    $tname = "Main" if !defined $tname;
-    $this->{tree} = $this->_gather_tests($tname)
-       or die "No tests defined for '$tname'";
-    $this->{tree}->resolve();
-    #$this->{tree}->print(0);
-    my $nskipped = 0;
+    my $topname = $this->{tree}->name();
+    my $timeout = "ZOOM::IRSpy::Test::$topname"->timeout();
+    $this->log("irspy", "beginnning with test '$topname' (timeout $timeout)");
 
+    my $nskipped = 0;
     my @conn = @{ $this->{connections} };
 
     my $nruns = 0;
@@ -354,7 +393,8 @@ sub check {
                            $conn->destroy();
                            $conn[$i0] = create
                                ZOOM::IRSpy::Connection($this,
-                                       shift @{ $this->{queue} }, async => 1);
+                                       shift @{ $this->{queue} }, async => 1,
+                                                       timeout => $timeout);
                            $conn[$i0]->option(current_test_address => "");
                            $conn[$i0]->log("irspy", "entering active pool - ",
                                            scalar(@{ $this->{queue} }),
@@ -586,7 +626,6 @@ sub _gather_tests {
 
     eval {
        require $fullName;
-       $this->log("irspy", "successfully required '$fullName'");
     }; if ($@) {
        $this->log("irspy", "couldn't require '$fullName': $@");
        $this->log("warn", "can't load test '$tname': skipping",