Merge branch 'master' of ssh://git.indexdata.com:222/home/git/pub/irspy
[irspy-moved-to-github.git] / lib / ZOOM / IRSpy.pm
index 5b7e28a..0dc97c2 100644 (file)
@@ -1,4 +1,3 @@
-
 package ZOOM::IRSpy;
 
 use 5.008;
@@ -25,6 +24,7 @@ our $VERSION = '1.02';
 our $irspy_to_zeerex_xsl = dirname(__FILE__) . '/../../xsl/irspy2zeerex.xsl';
 our $debug = 0;
 our $xslt_max_depth = 250;
+our $max_timeout_errors = 3;
 
 
 # Enumeration for callback functions to return
@@ -64,6 +64,7 @@ BEGIN {
     ZOOM::Log::mask_str("irspy_unhandled");
     ZOOM::Log::mask_str("irspy_test");
     ZOOM::Log::mask_str("irspy_task");
+    ZOOM::Log::mask_str("irspy_data");
 }
 
 sub new {
@@ -76,7 +77,7 @@ sub new {
        if defined $user;
 
     my $conn = new ZOOM::Connection($dbname, 0, @options)
-       or die "$0: can't connection to IRSpy database 'dbname'";
+       or die "$0: can't connect to IRSpy database 'dbname'";
 
     my $xslt = new XML::LibXSLT;
 
@@ -109,17 +110,38 @@ sub new {
        timeout => undef,       # Filled in by initialise()
        tests => undef,         # Tree of tests to be executed
        activeSetSize => defined $activeSetSize ? $activeSetSize : 10,
+       rules => [],            # Can be filled by apply_rules()
+       vars => {},             # Will contain name, id, version, etc.
+                               # May be written into by tests (mostly
+                               # Ping, which gets the Init response)
+                               # and read by tests for rules.
     }, $class;
     $this->log("irspy", "starting up with database '$dbname'");
 
     return $this;
 }
 
+# Read from and write to the set of vars
+sub var {
+    my $this = shift();
+    my($key, $newval) = @_;
+
+    if (defined $newval) {
+       $this->{vars}->{$key} = $newval;
+       #warn "$this: set '$key'='$newval'";
+    } else {
+       my $oldval = $this->{vars}->{$key};
+       $oldval = "" if !defined $oldval;
+       #warn "$this: got '$key'='$oldval'";
+       return $oldval;
+    }
+}
+
 # wrapper to read the IRSpy database name from environment variable / apache config
 sub connect_to_registry {
     my %args = @_;
 
-    # XXX: we could also handle her: user, password, elementSetName
+    # XXX: we could also handle here: user, password, elementSetName
 
     my $database = $ENV{IRSpyDbName} || "localhost:8018/IR-Explain---1";
 
@@ -193,6 +215,26 @@ sub restrict_modulo {
 }
 
 
+sub apply_rules {
+    my $this = shift();
+    my($fileName) = @_;
+
+    my $f = new IO::File("<$fileName")
+       or die "$0: can't open rules file '$fileName': $!";
+
+    while (my $line = <$f>) {
+       chomp $line;
+       $line =~ s/#.*//;
+       $line =~ s/\s+$//;
+       next if !$line;
+       my(@fields) = split /\s+/, $line;
+       my($name, $op, $val, $rule, @params) = @fields;
+       #warn "parsed name='$name', op='$op', val='$val', rule='$rule', params='@params'\n";
+       push @{ $this->{rules} }, [ @fields ];
+    }
+    $f->close();
+}
+
 # Records must be fetched for all records satisfying $this->{query} If
 # $this->{targets} is already set (i.e. a specific list of targets to
 # check was specified by a call to targets()), then new, empty records
@@ -323,10 +365,13 @@ sub _rewrite_irspy_record {
 }
 
 
-my $_reliabilityField = {
+my $_specialFields = {
     reliability => [ reliability => 0,
-                     "Calculated reliability of server",
-                     "e:serverInfo/e:reliability" ],
+                    "Calculated reliability of server",
+                    "e:serverInfo/e:reliability" ],
+    udb => [ udb => 0,
+            "Access Name (Unique DB)",
+            "e:databaseInfo/i:udb" ],
 };
 
 sub _rewrite_zeerex_record {
@@ -335,7 +380,14 @@ sub _rewrite_zeerex_record {
     # Add reliability score
     my $xc = irspy_xpath_context($rec);
     my($nok, $nall, $percent) = calc_reliability_stats($xc);
-    modify_xml_document($xc, $_reliabilityField, { reliability => $percent });
+    modify_xml_document($xc, $_specialFields, { reliability => $percent });
+
+    my $xpath = $_specialFields->{udb}->[3];
+    my $value = $xc->findvalue($xpath);
+    if (!defined $oldid && (!defined $value || $value eq '')) {
+       # New record with no explicit UDB: generate a UDB for it.
+       modify_xml_document($xc, $_specialFields, { udb => _next_udb() });
+    }
 
     my $p = $conn->package();
     $p->option(action => "specialUpdate");
@@ -364,6 +416,19 @@ sub _rewrite_zeerex_record {
 }
 
 
+sub _next_udb {
+    use IndexData::Utils::PersistentCounter;
+
+    my $file = $ENV{IRSPY_COUNTER_FILE}
+       or die "no IRSPY_COUNTER_FILE in environment";
+    my $counter = new IndexData::Utils::PersistentCounter($file)
+       or die "can't open counter file '$file': $!";
+    my $val = $counter->next()
+       or die "can't get counter value from '$file': $!";
+    return "irspy-$val";
+}
+
+
 sub _delete_record {
     my($conn, $id) = @_;
 
@@ -442,10 +507,12 @@ sub check {
     while (1) {
        my @copy_conn = @conn;  # avoid alias problems after splice()
        my $nconn = scalar(@copy_conn);
+
        foreach my $i0 (0 .. $#copy_conn) {
            my $conn = $copy_conn[$i0];
            #print "connection $i0 of $nconn/", scalar(@conn), " is $conn\n";
            next if !defined $conn;
+
            if (!$conn->current_task()) {
                if (!$conn->next_task()) {
                    # Out of tasks: we need a new test
@@ -459,6 +526,12 @@ sub check {
                                   "checking for next test after '$address'");
                        $nextaddr = $this->_next_test($address);
                    }
+
+                    if (ZOOM::IRSpy::Test::zoom_error_timeout_check($conn)) {
+                       $conn->log("irspy", "Got to many timeouts, stop testing");
+                       undef $nextaddr;
+                    }
+
                    if (!defined $nextaddr) {
                        $conn->log("irspy", "has no more tests: removing");
                        $this->_rewrite_irspy_record($conn);
@@ -482,6 +555,13 @@ sub check {
                        or die "invalid nextaddr '$nextaddr'";
                    $conn->option(current_test_address => $nextaddr);
                    my $tname = $node->name();
+                   if ($this->should_skip_test($tname)) {
+                       $conn->log("irspy_test",
+                           "skipping test '$nextaddr' = $tname due to rule");
+                       $nskipped += 1;
+                       goto NEXT_TEST;
+                   }
+
                    $conn->log("irspy_test",
                               "starting test '$nextaddr' = $tname");
                    my $tasks = $conn->tasks();
@@ -500,6 +580,13 @@ sub check {
 
                my $task = $conn->next_task();
                die "no next task queued for $conn" if !defined $task;
+
+               # do not run the next task if we got too many timeouts
+                if (ZOOM::IRSpy::Test::zoom_error_timeout_check($conn)) {
+                    $conn->log("irspy_task", "Got too many timeouts for this target, do not start a new task");
+                    next;
+                }
+
                $conn->log("irspy_task", "preparing task $task");
                $conn->next_task(0);
                $conn->current_task($task);
@@ -577,9 +664,9 @@ sub check {
                my $skipcount = 0;
                while (defined $node->next() &&
                       length($node->next()->address()) >= length($address)) {
-                   $conn->log("irspy_debug", "skipping from '",
+                   $conn->log("irspy_test", "skipping from '",
                               $node->address(), "' to '",
-                              $node->next()->address(), "'");
+                              $node->next()->address(), "' (", $node->next()->name(), ")");
                    $node = $node->next();
                    $skipcount++;
                }
@@ -664,6 +751,30 @@ sub check {
 }
 
 
+### This could of course call a much more general looping evaluator
+sub should_skip_test {
+    my $this = shift();
+    my($tname) = @_;
+
+    foreach my $rule (@{ $this->{rules} }) {
+       my($name, $op, $val, $rule, @params) = @$rule;
+       #warn "using name='$name', op='$op', val='$val', rule='$rule', params='@params'\n";
+       if ($op eq "~" &&
+           $rule eq "skip" &&
+           $params[0] eq $tname) {
+           my $re = $val;
+           $re =~ s/^\/(.*)\/$/$1/;
+           if ($this->var($name) =~ $re) {
+               #warn "$name '", $this->var($name), "' matches /$re/ -- skipping '$tname'";
+               return 1;
+           }
+       }
+    }
+
+    return 0;
+}
+
+
 # Exactly equivalent to ZOOM::event() except that it is tolerant to
 # undefined values in the array being passed in.
 #
@@ -734,7 +845,10 @@ sub _next_test {
     return undef if $address eq "";
 
     # Try next sibling child
-    my @components = split /:/, $address;
+    # The use of a regexp in split() is to avoid confusing Emacs's
+    # Perl mode; the third colon is to avoid looking like a POSIX
+    # named character class ... *sigh*
+    my @components = split /[:::]/, $address;
     my $last = pop @components;
     my $maybe = join(":", @components, $last+1);
     return $maybe if $this->{tree}->select($maybe);
@@ -745,6 +859,7 @@ sub _next_test {
 
 
 sub _last_sibling_test {
+    die "_last_sibling_test() called -- I thought that never happened?";
     my $this = shift();
     my($address) = @_;
 
@@ -765,10 +880,11 @@ sub _last_sibling_test {
 
 
 sub _next_sibling_test {
+    die "_next_sibling_test() called -- I thought that never happened?";
     my $this = shift();
     my($address) = @_;
 
-    my @components = split /:/, $address;
+    my @components = split /[:::]/, $address;
     my $last = pop @components;
     my $maybe = join(":", @components, $last+1);
     return $maybe if $this->{tree}->select($maybe);