WS updates. No code changes
[yaz-moved-to-github.git] / client / client.c
index 9378faf..14aa737 100644 (file)
@@ -1,20 +1,33 @@
 /* 
- * Copyright (c) 1995-2004, Index Data
+ * Copyright (C) 1995-2005, Index Data ApS
  * See the file LICENSE for details.
  *
- * $Id: client.c,v 1.257 2004-12-02 13:55:35 ja7 Exp $
+ * $Id: client.c,v 1.291 2005-06-24 19:56:52 adam Exp $
  */
 
 #include <stdio.h>
 #include <stdlib.h>
 #include <assert.h>
+#include <time.h>
+#include <ctype.h>
+#if HAVE_SYS_TYPES_H
+#include <sys/types.h>
+#endif
 #if HAVE_LOCALE_H
 #include <locale.h>
 #endif
-
 #if HAVE_LANGINFO_H
 #include <langinfo.h>
 #endif
+#if HAVE_UNISTD_H
+#include <unistd.h>
+#endif
+#if HAVE_SYS_STAT_H
+#include <sys/stat.h>
+#endif
+#if HAVE_SYS_TIME_H
+#include <sys/time.h>
+#endif
 
 #if HAVE_OPENSSL_SSL_H
 #include <openssl/bio.h>
 #include <openssl/err.h>
 #endif
 
-#include <time.h>
-#include <ctype.h>
-
 #ifdef WIN32
+#include <sys/stat.h>
 #include <io.h>
+#include <windows.h>
 #define S_ISREG(x) (x & _S_IFREG)
 #define S_ISDIR(x) (x & _S_IFDIR)
 #endif
 #include <yaz/srw.h>
 #include <yaz/yaz-ccl.h>
 #include <yaz/cql.h>
-#include <yaz/ylog.h>
+#include <yaz/log.h>
 
 #if HAVE_READLINE_READLINE_H
 #include <readline/readline.h>
-#include <unistd.h>
 #endif
 #if HAVE_READLINE_HISTORY_H
 #include <readline/history.h>
 #endif
 
-#include <sys/stat.h>
 
 #include "admin.h"
 #include "tabcomplete.h"
@@ -94,7 +104,7 @@ static enum oid_value recordsyntax = VAL_USMARC;
 static char *record_schema = 0;
 static int sent_close = 0;
 static NMEM session_mem = NULL;         /* memory handle for init-response */
-static Z_InitResponse *session = 0;     /* session parameters */
+static Z_InitResponse *session_initResponse = 0;   /* session parameters */
 static char last_scan_line[512] = "0";
 static char last_scan_query[512] = "0";
 static char ccl_fields[512] = "default.bib";
@@ -104,6 +114,8 @@ static char *esPackageName = 0;
 static char *yazProxy = 0;
 static int kilobytes = 1024;
 static char *negotiationCharset = 0;
+static int  negotiationCharsetRecords = 1;
+static int  negotiationCharsetVersion = 3;
 static char *outputCharset = 0;
 static char *marcCharset = 0;
 static char* yazLang = 0;
@@ -114,10 +126,12 @@ static FILE *marc_file = 0;
 static char *refid = NULL;
 static char *last_open_command = NULL;
 static int auto_reconnect = 0;
+static int auto_wait = 1;
 static Odr_bitmask z3950_options;
 static int z3950_version = 3;
 static int scan_stepSize = 0;
 static int scan_position = 1;
+static int scan_size = 20;
 static char cur_host[200];
 
 typedef enum {
@@ -327,7 +341,8 @@ static void send_initRequest(const char* type_and_host)
                    out,
                    (const char**)&negotiationCharset, 
                    negotiationCharset ? 1 : 0,
-                   (const char**)&yazLang, yazLang ? 1 : 0, 1);
+                   (const char**)&yazLang, yazLang ? 1 : 0, 
+                   negotiationCharsetRecords);
        }
     }
     
@@ -350,7 +365,7 @@ static int process_initResponse(Z_InitResponse *res)
     int ver = 0;
     /* save session parameters for later use */
     session_mem = odr_extract_mem(in);
-    session = res;
+    session_initResponse = res;
 
     for (ver = 0; ver < 8; ver++)
         if (!ODR_MASK_GET(res->protocolVersion, ver))
@@ -373,14 +388,18 @@ static int process_initResponse(Z_InitResponse *res)
            render_initUserInfo(uif->u.userInfo1);
        } else {
            printf("UserInformationfield:\n");
-           if (!z_External(print, (Z_External**)&uif, 0, 0)) {
+           if (!z_External(print, (Z_External**)&uif, 0, 0))
+           {
                odr_perror(print, "Printing userinfo\n");
                odr_reset(print);
            }
            if (uif->which == Z_External_octet) {
                printf("Guessing visiblestring:\n");
-               printf("'%s'\n", uif->u. octet_aligned->buf);
-           } else if (uif->which == Z_External_single) {
+               printf("'%.*s'\n", uif->u.octet_aligned->len,
+                      uif->u.octet_aligned->buf);
+           }
+           else if (uif->which == Z_External_single) 
+           {
                Odr_any *sat = uif->u.single_ASN1_type;
                oident *oid = oid_getentbyoid(uif->direct_reference);
                if (oid->value == VAL_OCLCUI) {
@@ -398,7 +417,8 @@ static int process_initResponse(Z_InitResponse *res)
                else
                {
                    /* Peek at any private Init-diagnostic APDUs */
-                   printf("### NAUGHTY: External is '%.*s'\n", sat->len, sat->buf);
+                   printf("### NAUGHTY: External is '%.*s'\n",
+                          sat->len, sat->buf);
                }
            }
            odr_reset (print);
@@ -452,11 +472,20 @@ static void render_initUserInfo(Z_OtherInformation *ui1) {
        Z_OtherInformationUnit *unit = ui1->list[i];
        printf("  %d: otherInfo unit contains ", i+1);
        if (unit->which == Z_OtherInfo_externallyDefinedInfo &&
+           unit->information.externallyDefinedInfo &&
            unit->information.externallyDefinedInfo->which ==
            Z_External_diag1) {
            render_diag(unit->information.externallyDefinedInfo->u.diag1);
-       } else {
-           printf("unsupported otherInfo unit type %d\n", unit->which);
+       } 
+       else if (unit->which != Z_OtherInfo_externallyDefinedInfo)
+       {
+           printf("unsupported otherInfo unit->which = %d\n", unit->which);
+       }
+       else 
+       {
+           printf("unsupported otherInfo unit external %d\n",
+                  unit->information.externallyDefinedInfo ? 
+                  unit->information.externallyDefinedInfo->which : -2);
        }
     }
 }
@@ -532,6 +561,74 @@ static int set_base(const char *arg)
     return 1;
 }
 
+static int parse_cmd_doc(const char **arg, ODR out, char **buf,
+                        int *len, int opt)
+{
+    const char *sep;
+    while (**arg && strchr(" \t\n\r\f", **arg))
+       (*arg)++;
+    if ((*arg)[0] == '\"' && (sep=strchr(*arg+1, '"')))
+    {
+       (*arg)++;
+       *len = sep - *arg;
+       *buf = odr_strdupn(out, *arg, *len);
+       (*arg) = sep+1;
+       return 1;
+    }
+    else if ((*arg)[0] && (*arg)[0] != '\"')
+    {
+       long fsize;
+       FILE *inf;
+       const char *fname = *arg;
+       
+       while (**arg != '\0' && **arg != ' ')
+           (*arg)++;
+           
+       inf = fopen(fname, "rb");
+       if (!inf)
+       {
+           printf("Couldn't open %s\n", fname);
+           return 0;
+       }
+       if (fseek(inf, 0L, SEEK_END) == -1)
+       {
+           printf("Couldn't seek in %s\n", fname);
+           fclose(inf);
+           return 0;
+       }
+       fsize = ftell(inf);
+       if (fseek(inf, 0L, SEEK_SET) == -1)
+       {
+           printf("Couldn't seek in %s\n", fname);
+           fclose(inf);
+           return 0;
+       }
+       *len = fsize;
+       *buf = odr_malloc(out, fsize);
+       if (fread(*buf, 1, fsize, inf) != fsize)
+       {
+           printf("Unable to read %s\n", fname);
+           fclose(inf);
+           return 0;
+       }
+       fclose(inf);
+       return 1;
+    }
+    else if (**arg == '\0')
+    {
+       if (opt)
+       {
+           *len = 0;
+           *buf = 0;
+           return 1;
+       }
+       printf("Missing doc argument\n");
+    }
+    else
+       printf("Bad doc argument %s\n", *arg);
+    return 0;
+}
+
 static int cmd_base(const char *arg)
 {
     if (!*arg)
@@ -562,19 +659,20 @@ int session_connect(const char *arg)
     if (conn)
     {
         cs_close (conn);
-        conn = NULL;
-        if (session_mem)
-        {
-            nmem_destroy (session_mem);
-            session_mem = NULL;
-        }
+        conn = 0;
     }   
+    if (session_mem)
+    {
+       nmem_destroy (session_mem);
+       session_mem = NULL;
+       session_initResponse = 0;
+    }
     cs_get_host_args(arg, &basep);
 
     strncpy(type_and_host, arg, sizeof(type_and_host)-1);
     type_and_host[sizeof(type_and_host)-1] = '\0';
 
-    cmd_open_remember_last_open_command(arg,type_and_host);
+    cmd_open_remember_last_open_command(arg, type_and_host);
 
     if (yazProxy)
         conn = cs_create_host(yazProxy, 1, &add);
@@ -743,8 +841,6 @@ static void print_record(const unsigned char *buf, size_t len)
     /* add newline if not already added ... */
     if (i <= 0 || buf[i-1] != '\n')
         printf ("\n");
-    if (marc_file)
-       fwrite (buf, 1, len, marc_file);
 }
 
 static void display_record(Z_External *r)
@@ -800,8 +896,12 @@ static void display_record(Z_External *r)
         }
     }
     if (ent && ent->value == VAL_SOIF)
+    {
         print_record((const unsigned char *) r->u.octet_aligned->buf,
                      r->u.octet_aligned->len);
+        if (marc_file)
+            fwrite (r->u.octet_aligned->buf, 1, r->u.octet_aligned->len, marc_file);
+    }
     else if (r->which == Z_External_octet)
     {
         const char *octet_buf = (char*)r->u.octet_aligned->buf;
@@ -919,6 +1019,8 @@ static void display_record(Z_External *r)
             return;
         }
         print_record(r->u.sutrs->buf, r->u.sutrs->len);
+        if (marc_file)
+            fwrite (r->u.sutrs->buf, 1, r->u.sutrs->len, marc_file);
     }
     else if (ent && ent->value == VAL_GRS1)
     {
@@ -933,8 +1035,7 @@ static void display_record(Z_External *r)
         puts (wrbuf_buf(w));
         wrbuf_free(w, 1);
     }
-    else if ( /* OPAC display not complete yet .. */
-            ent && ent->value == VAL_OPAC)
+    else if (ent && ent->value == VAL_OPAC)
     {
        int i;
        if (r->u.opac->bibliographicRecord)
@@ -1249,6 +1350,60 @@ static int send_srw(Z_SRW_PDU *sr)
 #endif
 
 #if HAVE_XML2
+static char *encode_SRW_term(ODR o, const char *q)
+{
+    const char *in_charset = "ISO-8859-1";
+    WRBUF w = wrbuf_alloc();
+    yaz_iconv_t cd;
+    char *res;
+    if (outputCharset)
+       in_charset = outputCharset;
+    cd = yaz_iconv_open("UTF-8", in_charset);
+    if (!cd)
+    {
+       wrbuf_free(w, 1);
+       return odr_strdup(o, q);
+    }
+    wrbuf_iconv_write(w, cd, q, strlen(q));
+    if (wrbuf_len(w))
+    {
+       int len = wrbuf_len(w);
+       res = odr_strdupn(o, wrbuf_buf(w), len);
+    }
+    else
+       res = odr_strdup(o, q);    
+    yaz_iconv_close(cd);
+    wrbuf_free(w, 1);
+    return res;
+}
+
+
+static int send_SRW_scanRequest(const char *arg, int pos, int num)
+{
+    Z_SRW_PDU *sr = 0;
+    
+    /* regular requestse .. */
+    sr = yaz_srw_get(out, Z_SRW_scan_request);
+
+    switch(queryType)
+    {
+    case QueryType_CQL:
+       sr->u.scan_request->query_type = Z_SRW_query_type_cql;
+       sr->u.scan_request->scanClause.cql = encode_SRW_term(out, arg);
+       break;
+    case QueryType_Prefix:
+       sr->u.scan_request->query_type = Z_SRW_query_type_pqf;
+       sr->u.scan_request->scanClause.pqf = encode_SRW_term(out, arg);
+       break;
+    default:
+       printf ("Only CQL and PQF supported in SRW\n");
+       return 0;
+    }
+    sr->u.scan_request->responsePosition = odr_intdup(out, pos);
+    sr->u.scan_request->maximumTerms = odr_intdup(out, num);
+    return send_srw(sr);
+}
+
 static int send_SRW_searchRequest(const char *arg)
 {
     Z_SRW_PDU *sr = 0;
@@ -1272,17 +1427,17 @@ static int send_SRW_searchRequest(const char *arg)
     {
     case QueryType_CQL:
        srw_sr->u.request->query_type = Z_SRW_query_type_cql;
-       srw_sr->u.request->query.cql = odr_strdup(srw_sr_odr_out, arg);
+       srw_sr->u.request->query.cql = encode_SRW_term(srw_sr_odr_out, arg);
 
        sr->u.request->query_type = Z_SRW_query_type_cql;
-       sr->u.request->query.cql = odr_strdup(out, arg);
+       sr->u.request->query.cql = encode_SRW_term(srw_sr_odr_out, arg);
        break;
     case QueryType_Prefix:
        srw_sr->u.request->query_type = Z_SRW_query_type_pqf;
-       srw_sr->u.request->query.pqf = odr_strdup(srw_sr_odr_out, arg);
+       srw_sr->u.request->query.pqf = encode_SRW_term(srw_sr_odr_out, arg);
 
        sr->u.request->query_type = Z_SRW_query_type_pqf;
-       sr->u.request->query.pqf = odr_strdup(out, arg);
+       sr->u.request->query.pqf = encode_SRW_term(srw_sr_odr_out, arg);
        break;
     default:
        printf ("Only CQL and PQF supported in SRW\n");
@@ -1755,6 +1910,11 @@ void process_ESResponse(Z_ExtendedServicesResponse *res)
             }
         }
     }
+    if (res->taskPackage && res->taskPackage->which == Z_External_octet)
+    {
+       Odr_oct *doc = res->taskPackage->u.octet_aligned;
+       printf("%.*s\n", doc->len, doc->buf);
+    }
 }
 
 const char *get_ill_element (void *clientData, const char *element)
@@ -1997,16 +2157,25 @@ static int cmd_update_common(const char *arg, int version)
     Z_APDU *apdu = zget_APDU(out, Z_APDU_extendedServicesRequest );
     Z_ExtendedServicesRequest *req = apdu->u.extendedServicesRequest;
     Z_External *r;
-    char action[20], recid[20], fname[80];
+    char action[20], recid[20];
+    char *rec_buf;
+    int rec_len;
     int action_no;
+    int noread = 0;
     Z_External *record_this = 0;
 
     if (only_z3950())
        return 0;
     *action = 0;
     *recid = 0;
-    *fname = 0;
-    sscanf (arg, "%19s %19s %79s", action, recid, fname);
+    sscanf (arg, "%19s %19s%n", action, recid, &noread);
+    if (noread == 0)
+    {
+       printf("Update must be followed by action and recid\n");
+       printf(" where action is one of insert,replace,delete.update\n");
+       printf(" recid is some record ID (any string)\n");
+       return 0;
+    }
 
     if (!strcmp (action, "insert"))
         action_no = Z_IUOriginPartToKeep_recordInsert;
@@ -2023,30 +2192,12 @@ static int cmd_update_common(const char *arg, int version)
         return 0;
     }
 
-    if (*fname)
-    {
-        FILE *inf;
-        struct stat status;
-        stat (fname, &status);
-        if (S_ISREG(status.st_mode) && (inf = fopen(fname, "r")))
-        {
-            size_t len = status.st_size;
-            char *buf = (char *) xmalloc (len);
-
-            fread (buf, 1, len, inf);
+    arg += noread;
+    if (parse_cmd_doc(&arg, out, &rec_buf, &rec_len, 1) == 0)
+       return 0;
 
-            fclose (inf);
-            
-            record_this = z_ext_record (out, VAL_TEXT_XML, buf, len);
-            
-            xfree (buf);
-        }
-        else
-        {
-            printf ("File %s doesn't exist\n", fname);
-            return 0;
-        }
-    }
+    if (rec_buf)
+       record_this = z_ext_record (out, VAL_TEXT_XML, rec_buf, rec_len);
     else
     {
         if (!record_last)
@@ -2160,6 +2311,47 @@ static int cmd_update_common(const char *arg, int version)
     return 2;
 }
 
+static int cmd_xmles(const char *arg)
+{
+    int noread = 0;
+    char oid_str[51];
+    int oid_value_xmles = VAL_XMLES;
+    Z_APDU *apdu = zget_APDU(out, Z_APDU_extendedServicesRequest);
+    Z_ExtendedServicesRequest *req = apdu->u.extendedServicesRequest;
+
+    Z_External *ext = (Z_External *) odr_malloc(out, sizeof(*ext));
+    req->taskSpecificParameters = ext;
+    ext->descriptor = 0;
+    ext->which = Z_External_octet;
+    ext->u.single_ASN1_type = (Odr_oct *) odr_malloc (out, sizeof(Odr_oct));
+
+    sscanf(arg, "%50s%n", oid_str, &noread);
+    if (noread == 0)
+    {
+       printf("Missing OID for xmles\n");
+       return 0;
+    }
+    arg += noread;
+    oid_value_xmles  = oid_getvalbyname(oid_str);
+    if (oid_value_xmles == VAL_NONE)
+    {
+       printf("Bad OID: %s\n", oid_str);
+       return 0;
+    }
+
+    if (parse_cmd_doc(&arg, out, (char **) &ext->u.single_ASN1_type->buf,
+                     &ext->u.single_ASN1_type->len, 0) == 0)
+       return 0;
+    req->packageType = yaz_oidval_to_z3950oid(out, CLASS_EXTSERV,
+                                             oid_value_xmles);
+
+    ext->direct_reference = yaz_oidval_to_z3950oid(out, CLASS_EXTSERV,
+                                                  oid_value_xmles);
+    send_apdu(apdu);
+
+    return 2;
+}
+
 static int cmd_itemorder(const char *arg)
 {
     char type[12];
@@ -2197,6 +2389,8 @@ static int cmd_options(const char *arg)
        int r;
        int pos;
        r = yaz_init_opt_encode(&z3950_options, arg, &pos);
+       if (r == -1)
+           printf("Unknown option(s) near %s\n", arg+pos);
     }
     else
     {
@@ -2232,9 +2426,14 @@ static int cmd_explain(const char *arg)
 
 static int cmd_init(const char *arg)
 {
+    if (*arg)
+    {
+        strncpy (cur_host, arg, sizeof(cur_host)-1);
+        cur_host[sizeof(cur_host)-1] = 0;
+    }
     if (!conn || protocol != PROTO_Z3950)
        return 0;
-    send_initRequest(0);
+    send_initRequest(cur_host);
     return 2;
 }
 
@@ -2461,11 +2660,6 @@ static void close_session (void)
     if (conn)
         cs_close (conn);
     conn = 0;
-    if (session_mem)
-    {
-        nmem_destroy (session_mem);
-        session_mem = NULL;
-    }
     sent_close = 0;
     odr_reset(out);
     odr_reset(in);
@@ -2554,7 +2748,9 @@ int cmd_cancel(const char *arg)
     }
     if (only_z3950())
        return 0;
-    if (!ODR_MASK_GET(session->options, Z_Options_triggerResourceCtrl))
+    if (session_initResponse &&
+       !ODR_MASK_GET(session_initResponse->options,
+                     Z_Options_triggerResourceCtrl))
     {
         printf("Target doesn't support cancel (trigger resource ctrl)\n");
         return 0;
@@ -2779,7 +2975,8 @@ int cmd_sort_generic(const char *arg, int newset)
     }
     if (only_z3950())
        return 0;
-    if (!ODR_MASK_GET(session->options, Z_Options_sort))
+    if (session_initResponse && 
+       !ODR_MASK_GET(session_initResponse->options, Z_Options_sort))
     {
         printf("Target doesn't support sort\n");
         return 0;
@@ -2817,36 +3014,68 @@ int cmd_scanpos(const char *arg)
     return 0;
 }
 
+int cmd_scansize(const char *arg)
+{
+    int r = sscanf(arg, "%d", &scan_size);
+    if (r == 0)
+        scan_size = 20;
+    return 0;
+}
+
 int cmd_scan(const char *arg)
 {
-    if (only_z3950())
-       return 0;
-    if (!conn)
-    {
-        try_reconnect();
-        
-        if (!conn) {                                                           
-            printf("Session not initialized yet\n");
-            return 0;
-        }
-    }
-    if (!ODR_MASK_GET(session->options, Z_Options_scan))
+    if (protocol == PROTO_HTTP)
     {
-        printf("Target doesn't support scan\n");
+#if HAVE_XML2
+        if (!conn)
+            cmd_open(0);
+       if (!conn)
+           return 0;
+       if (*arg)
+       {
+           if (send_SRW_scanRequest(arg, scan_position, scan_size) < 0)
+               return 0;
+       }
+       else
+       {
+           if (send_SRW_scanRequest(last_scan_line, 1, scan_size) < 0)
+               return 0;
+       }
+       return 2;
+#else
         return 0;
-    }
-    if (*arg)
-    {
-        strcpy (last_scan_query, arg);
-        if (send_scanrequest(arg, scan_position, 20, 0) < 0)
-            return 0;
+#endif
     }
     else
     {
-        if (send_scanrequest(last_scan_query, 1, 20, last_scan_line) < 0)
-            return 0;
+       if (!conn)
+       {
+           try_reconnect();
+           
+           if (!conn) {                                                                
+               printf("Session not initialized yet\n");
+               return 0;
+           }
+       }
+       if (session_initResponse && 
+           !ODR_MASK_GET(session_initResponse->options, Z_Options_scan))
+       {
+           printf("Target doesn't support scan\n");
+           return 0;
+       }
+       if (*arg)
+       {
+           strcpy (last_scan_query, arg);
+           if (send_scanrequest(arg, scan_position, scan_size, 0) < 0)
+               return 0;
+       }
+       else
+       {
+           if (send_scanrequest(last_scan_query, 1, scan_size, last_scan_line) < 0)
+               return 0;
+       }
+       return 2;
     }
-    return 2;
 }
 
 int cmd_schema(const char *arg)
@@ -2987,7 +3216,11 @@ int cmd_marccharset(const char *arg)
 
     *l1 = 0;
     if (sscanf(arg, "%29s", l1) < 1)
+    {
+       printf("MARC character set is `%s'\n", 
+               marcCharset ? marcCharset: "none");
         return 1;
+    }
     xfree (marcCharset);
     marcCharset = 0;
     if (strcmp(l1, "-"))
@@ -2995,50 +3228,82 @@ int cmd_marccharset(const char *arg)
     return 1;
 }
 
-int cmd_charset(const char* arg)
+int cmd_displaycharset(const char *arg)
 {
-    char l1[30], l2[30];
+    char l1[30];
 
-    *l1 = *l2 = 0;
-    if (sscanf(arg, "%29s %29s", l1, l2) < 1)
+    *l1 = 0;
+    if (sscanf(arg, "%29s", l1) < 1)
     {
-       printf("Current negotiation character set is `%s'\n", 
-               negotiationCharset ? negotiationCharset: "none");
-       printf("Current output character set is `%s'\n", 
+       printf("Display character set is `%s'\n", 
                outputCharset ? outputCharset: "none");
-       return 1;
-    }
-    xfree (negotiationCharset);
-    negotiationCharset = NULL;
-    if (*l1 && strcmp(l1, "-"))
-    {
-        negotiationCharset = xstrdup(l1);
-        printf ("Character set negotiation : %s\n", negotiationCharset);
     }
     else
-        printf ("Character set negotiation disabled\n");
-    if (*l2)
     {
         xfree (outputCharset);
         outputCharset = 0;
-        if (!strcmp(l2, "auto") && codeset)
+        if (!strcmp(l1, "auto") && codeset)
         {
             if (codeset)
             {
-                printf ("output charset: %s\n", codeset);
+                printf ("Display character set: %s\n", codeset);
                 outputCharset = xstrdup(codeset);
-
-
             }
             else
                 printf ("No codeset found on this system\n");
         }
-        else if (strcmp(l2, "-"))
-            outputCharset = xstrdup(l2);
-        else
-            printf ("Output charset conversion disabled\n");
+        else if (strcmp(l1, "-") && strcmp(l1, "none"))
+            outputCharset = xstrdup(l1);
     } 
+    return 1;
+}
+
+int cmd_negcharset(const char *arg)
+{
+    char l1[30];
+
+    *l1 = 0;
+    if (sscanf(arg, "%29s %d %d", l1, &negotiationCharsetRecords,
+              &negotiationCharsetVersion) < 1)
+    {
+       printf("Current negotiation character set is `%s'\n", 
+               negotiationCharset ? negotiationCharset: "none");  
+       printf("Records in charset %s\n", negotiationCharsetRecords ? 
+              "yes" : "no");
+       printf("Charneg version %d\n", negotiationCharsetVersion);
+    }
+    else
+    {
+       xfree (negotiationCharset);
+       negotiationCharset = NULL;
+       if (*l1 && strcmp(l1, "-") && strcmp(l1, "none"))
+       {
+           negotiationCharset = xstrdup(l1);
+           printf ("Character set negotiation : %s\n", negotiationCharset);
+       }
+    }
+    return 1;
+}
+
+int cmd_charset(const char* arg)
+{
+    char l1[30], l2[30], l3[30];
 
+    *l1 = *l2 = *l3 = 0;
+    if (sscanf(arg, "%29s %29s %29s", l1, l2, l3) < 1)
+    {
+       cmd_negcharset("");
+       cmd_displaycharset("");
+       cmd_marccharset("");
+    }
+    else
+    {
+       cmd_negcharset(l1);
+       if (*l2)
+           cmd_displaycharset(l2);
+       if (*l3)
+           cmd_marccharset(l3);
+    }
     return 1;
 }
 
@@ -3096,12 +3361,16 @@ int cmd_source(const char* arg, int echo )
     return 1;
 }
 
-int cmd_source_echo(const char* arg) { 
-    cmd_source( arg, 1);
+int cmd_source_echo(const char* arg)
+{ 
+    cmd_source(arg, 1);
+    return 1;
 }
 
-int cmd_source_noecho(const char* arg) {
-    cmd_source( arg, 0 );
+int cmd_source_noecho(const char* arg)
+{
+    cmd_source(arg, 0);
+    return 1;
 }
 
 
@@ -3202,6 +3471,28 @@ int cmd_set_auto_reconnect(const char* arg)
     return 0;
 }
 
+
+int cmd_set_auto_wait(const char* arg)
+{  
+    if(strlen(arg)==0) {
+        auto_wait = ! auto_wait;
+    } else if(strcmp(arg,"on")==0) {
+        auto_wait = 1;
+    } else if(strcmp(arg,"off")==0) {
+        auto_wait = 0;         
+    } else {
+        printf("Error use on or off\n");
+        return 1;
+    }
+    
+    if (auto_wait)
+        printf("Set auto wait enabled.\n");
+    else
+        printf("Set auto wait disabled.\n");
+    
+    return 0;
+}
+
 int cmd_set_marcdump(const char* arg)
 {
     if(marc_file && marc_file != stderr) { /* don't close stdout*/
@@ -3378,7 +3669,7 @@ static void initialize(void)
 
 
 #if HAVE_GETTIMEOFDAY
-struct timeval tv_start, tv_end;
+struct timeval tv_start;
 #endif
 
 #if HAVE_XML2
@@ -3432,6 +3723,48 @@ static void handle_srw_response(Z_SRW_searchRetrieveResponse *res)
        handle_srw_record(res->records + i);
 }
 
+static void handle_srw_scan_term(Z_SRW_scanTerm *term)
+{
+    if (term->displayTerm)
+       printf("%s:", term->displayTerm);
+    else if (term->value)
+       printf("%s:", term->value);
+    else
+       printf("No value:");
+    if (term->numberOfRecords)
+       printf(" %d", *term->numberOfRecords);
+    if (term->whereInList)
+       printf(" %s", term->whereInList);
+    if (term->value && term->displayTerm)
+       printf(" %s", term->value);
+
+    strcpy(last_scan_line, term->value);
+    printf("\n");
+}
+
+static void handle_srw_scan_response(Z_SRW_scanResponse *res)
+{
+    int i;
+
+    printf ("Received SRW Scan Response\n");
+    
+    for (i = 0; i<res->num_diagnostics; i++)
+    {
+       if (res->diagnostics[i].uri)
+           printf ("SRW diagnostic %s\n",
+                   res->diagnostics[i].uri);
+       else
+           printf ("SRW diagnostic missing or could not be decoded\n");
+       if (res->diagnostics[i].message)
+            printf ("Message: %s\n", res->diagnostics[i].message);
+       if (res->diagnostics[i].details)
+            printf ("Details: %s\n", res->diagnostics[i].details);
+    }
+    if (res->terms)
+       for (i = 0; i<res->num_terms; i++)
+           handle_srw_scan_term(res->terms + i);
+}
+
 static void http_response(Z_HTTP_Response *hres)
 {
     int ret = -1;
@@ -3459,6 +3792,8 @@ static void http_response(Z_HTTP_Response *hres)
                 handle_srw_response(sr->u.response);
             else if (sr->which == Z_SRW_explain_response)
                 handle_srw_explain_response(sr->u.explain_response);
+            else if (sr->which == Z_SRW_scan_response)
+                handle_srw_scan_response(sr->u.scan_response);
             else
                 ret = -1;
         }
@@ -3508,12 +3843,16 @@ static void http_response(Z_HTTP_Response *hres)
 }
 #endif
 
-void wait_and_handle_response() 
+void wait_and_handle_response(int one_response_only) 
 {
     int reconnect_ok = 1;
     int res;
     char *netbuffer= 0;
     int netbufferlen = 0;
+#if HAVE_GETTIMEOFDAY
+    int got_tv_end = 0;
+    struct timeval tv_end;
+#endif
     Z_GDU *gdu;
     
     while(conn)
@@ -3546,6 +3885,11 @@ void wait_and_handle_response()
             close_session();
             break;
         }
+#if HAVE_GETTIMEOFDAY
+       if (got_tv_end == 0)
+           gettimeofday (&tv_end, 0); /* count first one only */
+       got_tv_end++;
+#endif
         odr_reset(out);
         odr_reset(in); /* release APDU from last round */
         record_last = 0;
@@ -3633,13 +3977,14 @@ void wait_and_handle_response()
             http_response(gdu->u.HTTP_Response);
         }
 #endif
+       if (one_response_only)
+           break;
         if (conn && !cs_more(conn))
             break;
     }
-    if (conn)
-    {
 #if HAVE_GETTIMEOFDAY
-        gettimeofday (&tv_end, 0);
+    if (got_tv_end)
+    {
 #if 0
         printf ("S/U S/U=%ld/%ld %ld/%ld",
                 (long) tv_start.tv_sec,
@@ -3650,8 +3995,8 @@ void wait_and_handle_response()
         printf ("Elapsed: %.6f\n",
                 (double) tv_end.tv_usec / 1e6 + tv_end.tv_sec -
                 ((double) tv_start.tv_usec / 1e6 + tv_start.tv_sec));
-#endif
     }
+#endif
     xfree (netbuffer);
 }
 
@@ -3790,6 +4135,7 @@ int cmd_list_all(const char* args) {
     if(yazProxy) printf("using proxy          : %s\n",yazProxy);               
     
     printf("auto_reconnect       : %s\n",auto_reconnect?"on":"off");
+    printf("auto_wait            : %s\n",auto_wait?"on":"off");
     
     if (!auth) {
         printf("Authentication       : none\n");
@@ -3871,6 +4217,20 @@ int cmd_clear_otherinfo(const char* args)
     return 0;
 }
 
+int cmd_wait_response(const char *arg)
+{
+    int wait_for = atoi(arg);
+    int i=0;
+    if( wait_for < 1 ) {
+       wait_for = 1;
+    };
+    
+    for( i=0 ; i < wait_for ; ++i ) {
+       wait_and_handle_response(1);
+    };
+    return 0;
+}
+
 static int cmd_help (const char *line);
 
 typedef char *(*completerFunctionType)(const char *text, int state);
@@ -3892,6 +4252,7 @@ static struct {
     {"scan", cmd_scan, "<term>",NULL,0,NULL},
     {"scanstep", cmd_scanstep, "<size>",NULL,0,NULL},
     {"scanpos", cmd_scanpos, "<size>",NULL,0,NULL},
+    {"scansize", cmd_scansize, "<size>",NULL,0,NULL},
     {"sort", cmd_sort, "<sortkey> <flag> <sortkey> <flag> ...",NULL,0,NULL},
     {"sort+", cmd_sort_newset, "<sortkey> <flag> <sortkey> <flag> ...",NULL,0,NULL},
     {"authentication", cmd_authentication, "<acctstring>",NULL,0,NULL},
@@ -3910,11 +4271,14 @@ static struct {
     {"querytype", cmd_querytype, "<type>",complete_querytype,0,NULL},
     {"refid", cmd_refid, "<id>",NULL,0,NULL},
     {"itemorder", cmd_itemorder, "ill|item <itemno>",NULL,0,NULL},
-    {"update", cmd_update, "<action> <recid> [<file>]",NULL,0,NULL},
-    {"update0", cmd_update0, "<action> <recid> [<file>]",NULL,0,NULL},
+    {"update", cmd_update, "<action> <recid> [<doc>]",NULL,0,NULL},
+    {"update0", cmd_update0, "<action> <recid> [<doc>]",NULL,0,NULL},
+    {"xmles", cmd_xmles, "<OID> <doc>",NULL,0,NULL},
     {"packagename", cmd_packagename, "<packagename>",NULL,0,NULL},
     {"proxy", cmd_proxy, "[('tcp'|'ssl')]<host>[':'<port>]",NULL,0,NULL},
     {"charset", cmd_charset, "<nego_charset> <output_charset>",NULL,0,NULL},
+    {"negcharset", cmd_negcharset, "<nego_charset>",NULL,0,NULL},
+    {"displaycharset", cmd_displaycharset, "<output_charset>",NULL,0,NULL},
     {"marccharset", cmd_marccharset, "<charset_name>",NULL,0,NULL},
     {"lang", cmd_lang, "<language_code>",NULL,0,NULL},
     {".", cmd_source_echo, "<filename>",NULL,1,NULL},
@@ -3925,6 +4289,7 @@ static struct {
     {"set_cclfile", cmd_set_cclfile," <filename>",NULL,1,NULL},
     {"set_cqlfile", cmd_set_cqlfile," <filename>",NULL,1,NULL},
     {"set_auto_reconnect", cmd_set_auto_reconnect," on|off",complete_auto_reconnect,1,NULL},
+    {"set_auto_wait", cmd_set_auto_wait," on|off",complete_auto_reconnect,1,NULL},
     {"set_otherinfo", cmd_set_otherinfo,"<otherinfoinddex> <oid> <string>",NULL,0,NULL},
     {"sleep", cmd_sleep,"<seconds>",NULL,0,NULL},
     {"register_oid", cmd_register_oid,"<name> <class> <oid>",NULL,0,NULL},
@@ -3934,6 +4299,7 @@ static struct {
     {"list_otherinfo",cmd_list_otherinfo,"[otherinfoinddex]",NULL,0,NULL},
     {"list_all",cmd_list_all,"",NULL,0,NULL},
     {"clear_otherinfo",cmd_clear_otherinfo,"",NULL,0,NULL},
+    {"wait_response",cmd_wait_response,"<number>",NULL,0,NULL},
     /* Server Admin Functions */
     {"adm-reindex", cmd_adm_reindex, "<database-name>",NULL,0,NULL},
     {"adm-truncate", cmd_adm_truncate, "('database'|'index')<object-name>",NULL,0,NULL},
@@ -3965,29 +4331,48 @@ static int cmd_help (const char *line)
     for (i = 0; cmd_array[i].cmd; i++)
         if (*topic == 0 || strcmp (topic, cmd_array[i].cmd) == 0)
             printf("   %s %s\n", cmd_array[i].cmd, cmd_array[i].ad);
-    if (strcmp (topic, "find") == 0)
-    {
-        printf ("RPN:\n");
-        printf (" \"term\"                        Simple Term\n");
-        printf (" @attr [attset] type=value op  Attribute\n");
-        printf (" @and opl opr                  And\n");
-        printf (" @or opl opr                   Or\n");
-        printf (" @not opl opr                  And-Not\n");
-        printf (" @set set                      Result set\n");
-        printf ("\n");
-        printf ("Bib-1 attribute types\n");
-        printf ("1=Use:         ");
-        printf ("4=Title 7=ISBN 8=ISSN 30=Date 62=Abstract 1003=Author 1016=Any\n");
-        printf ("2=Relation:    ");
-        printf ("1<   2<=  3=  4>=  5>  6!=  102=Relevance\n");
-        printf ("3=Position:    ");
-        printf ("1=First in Field  2=First in subfield  3=Any position\n");
-        printf ("4=Structure:   ");
-        printf ("1=Phrase  2=Word  3=Key  4=Year  5=Date  6=WordList\n");
-        printf ("5=Truncation:  ");
-        printf ("1=Right  2=Left  3=L&R  100=No  101=#  102=Re-1  103=Re-2\n");
-        printf ("6=Completeness:");
-        printf ("1=Incomplete subfield  2=Complete subfield  3=Complete field\n");
+    if (!strcmp(topic, "find"))
+    {
+        printf("RPN:\n");
+        printf(" \"term\"                        Simple Term\n");
+        printf(" @attr [attset] type=value op  Attribute\n");
+        printf(" @and opl opr                  And\n");
+        printf(" @or opl opr                   Or\n");
+        printf(" @not opl opr                  And-Not\n");
+        printf(" @set set                      Result set\n");
+       printf(" @prox exl dist ord rel uc ut  Proximity. Use help prox\n");
+        printf("\n");
+        printf("Bib-1 attribute types\n");
+        printf("1=Use:         ");
+        printf("4=Title 7=ISBN 8=ISSN 30=Date 62=Abstract 1003=Author 1016=Any\n");
+        printf("2=Relation:    ");
+        printf("1<   2<=  3=  4>=  5>  6!=  102=Relevance\n");
+        printf("3=Position:    ");
+        printf("1=First in Field  2=First in subfield  3=Any position\n");
+        printf("4=Structure:   ");
+        printf("1=Phrase  2=Word  3=Key  4=Year  5=Date  6=WordList\n");
+        printf("5=Truncation:  ");
+        printf("1=Right  2=Left  3=L&R  100=No  101=#  102=Re-1  103=Re-2\n");
+        printf("6=Completeness:");
+        printf("1=Incomplete subfield  2=Complete subfield  3=Complete field\n");
+    }
+    if (!strcmp(topic, "prox"))
+    {
+       printf("Proximity:\n");
+       printf(" @prox exl dist ord rel uc ut\n");
+       printf(" exl:  exclude flag . 0=include, 1=exclude.\n");
+       printf(" dist: distance integer.\n");
+       printf(" ord:  order flag. 0=unordered, 1=ordered.\n");
+       printf(" rel:  relation integer. 1<  2<=  3= 4>=  5>  6!= .\n");
+       printf(" uc:   unit class. k=known, p=private.\n");
+       printf(" ut:   unit type. 1=character, 2=word, 3=sentence,\n");
+       printf("        4=paragraph, 5=section, 6=chapter, 7=document,\n");
+       printf("        8=element, 9=subelement, 10=elementType, 11=byte.\n");
+       printf("\nExamples:\n");
+       printf(" Search for a and b in-order at most 3 words apart:\n");
+       printf("  @prox 0 3 1 2 k 2 a b\n");
+       printf(" Search for any order of a and b next to each other:\n");
+       printf("  @prox 0 1 0 3 k 2 a b\n");
     }
     return 1;
 }
@@ -4077,15 +4462,14 @@ void process_cmd_line(char* line)
     if (!cmd_array[i].cmd) /* dump our help-screen */
     {
         printf("Unknown command: %s.\n", word);
-        printf("use help for list of commands\n");
-        /* cmd_help (""); */
+        printf("Type 'help' for list of commands\n");
         res = 1;
     }
     
     if(apdu_file) fflush(apdu_file);
     
-    if (res >= 2)
-        wait_and_handle_response();
+    if (res >= 2 && auto_wait)
+        wait_and_handle_response(0);
     
     if(apdu_file)
         fflush(apdu_file);
@@ -4267,6 +4651,12 @@ int main(int argc, char **argv)
                 strcpy (open_command, "open ");
                 strcat (open_command, arg);
             }
+           else
+           {
+               fprintf(stderr, "%s: Specify at most one server address\n",
+                       prog);
+               exit(1);
+           }
             break;
        case 'd':
            dump_file_prefix = arg;
@@ -4325,10 +4715,18 @@ int main(int argc, char **argv)
            show_version();
             break;
         default:
-            fprintf (stderr, "Usage: %s [-m <marclog>] [ -a <apdulog>] "
-                     "[-b berdump] [-c cclfields] \n"
-                    "[-q cqlfields] [-p <proxy-addr>] [-u <auth>] "
-                     "[-k size] [-d dump] [-V] [<server-addr>]\n",
+            fprintf (stderr, "Usage: %s "
+                    " [-a <apdulog>]"
+                     " [-b berdump]"
+                    " [-d dump]\n"
+                    " [-c cclfields]"
+                     " [-k size]"
+                    " [-m <marclog>]\n" 
+                    " [-p <proxy-addr>]"
+                    " [-q cqlfields]"
+                    " [-u <auth>]"
+                    " [-V]"
+                    " [<server-addr>]\n",
                      prog);
             exit (1);
         }      
@@ -4359,12 +4757,3 @@ int main(int argc, char **argv)
     client ();
     exit (0);
 }
-
-/*
- * Local variables:
- * tab-width: 8
- * c-basic-offset: 4
- * End:
- * vim600: sw=4 ts=8 fdm=marker
- * vim<600: sw=4 ts=8
- */