zutil/pquery.c

   1 /*
   2  * Copyright (c) 1995-2002, Index Data.
   3  * See the file LICENSE for details.
   4  *
   5  * $Id: pquery.c,v 1.13 2002-03-24 16:19:23 adam Exp $
   6  */
   7
   8 #include <stdio.h>
   9 #include <string.h>
  10 #include <stdlib.h>
  11
  12 #include <yaz/proto.h>
  13 #include <yaz/oid.h>
  14 #include <yaz/pquery.h>
  15
  16 static oid_value p_query_dfset = VAL_NONE;
  17
  18 struct lex_info {
  19     const char *query_buf;
  20     const char *lex_buf;
  21     size_t lex_len;
  22     int query_look;
  23     char *left_sep;
  24     char *right_sep;
  25     int escape_char;
  26     int term_type;
  27 };
  28
  29 static Z_RPNStructure *rpn_structure (struct lex_info *li, ODR o, oid_proto,
  30                                       int num_attr, int max_attr,
  31                                       int *attr_list, char **attr_clist,
  32                                       oid_value *attr_set);
  33
  34 static enum oid_value query_oid_getvalbyname (struct lex_info *li)
  35 {
  36     enum oid_value value;
  37     char buf[32];
  38
  39     if (li->lex_len > 31)
  40         return VAL_NONE;
  41     memcpy (buf, li->lex_buf, li->lex_len);
  42     buf[li->lex_len] = '\0';
  43     value = oid_getvalbyname (buf);
  44     return value;
  45 }
  46
  47 static int compare_term (struct lex_info *li, const char *src, size_t off)
  48 {
  49     size_t len=strlen(src);
  50
  51     if (li->lex_len == len+off && !memcmp (li->lex_buf+off, src, len-off))
  52         return 1;
  53     return 0;
  54 }
  55
  56 static int query_token (struct lex_info *li)
  57 {
  58     int sep_char = ' ';
  59     const char *sep_match;
  60     const char **qptr = &li->query_buf;
  61
  62     while (**qptr == ' ')
  63         (*qptr)++;
  64     if (**qptr == '\0')
  65         return 0;
  66     li->lex_len = 0;
  67     if ((sep_match = strchr (li->left_sep, **qptr)))
  68     {
  69         sep_char = li->right_sep[sep_match - li->left_sep];
  70         ++(*qptr);
  71     }
  72     li->lex_buf = *qptr;
  73
  74     if (**qptr == li->escape_char && isdigit ((*qptr)[1]))
  75     {
  76         ++(li->lex_len);
  77         ++(*qptr);
  78         return 'l';
  79     }
  80     while (**qptr && **qptr != sep_char)
  81     {
  82         if (**qptr == '\\')
  83         {
  84             ++(li->lex_len);
  85             ++(*qptr);
  86         }
  87         ++(li->lex_len);
  88         ++(*qptr);
  89     }
  90     if (**qptr)
  91         ++(*qptr);
  92     if (li->lex_len >= 1 && li->lex_buf[0] == li->escape_char)
  93     {
  94         if (compare_term (li, "and", 1))
  95             return 'a';
  96         if (compare_term (li, "or", 1))
  97             return 'o';
  98         if (compare_term (li, "not", 1))
  99             return 'n';
 100         if (compare_term (li, "attr", 1))
 101             return 'l';
 102         if (compare_term (li, "set", 1))
 103             return 's';
 104         if (compare_term (li, "attrset", 1))
 105             return 'r';
 106         if (compare_term (li, "prox", 1))
 107             return 'p';
 108         if (compare_term (li, "term", 1))
 109             return 'y';
 110     }
 111     return 't';
 112 }
 113
 114 static int lex (struct lex_info *li)
 115 {
 116     return li->query_look = query_token (li);
 117 }
 118
 119 static int escape_string(char *out_buf, const char *in, int len)
 120 {
 121
 122     char *out = out_buf;
 123     while (--len >= 0)
 124         if (*in == '\\' && len > 0)
 125         {
 126             --len;
 127             switch (*++in)
 128             {
 129             case 't':
 130                 *out++ = '\t';
 131                 break;
 132             case 'n':
 133                 *out++ = '\n';
 134                 break;
 135             case 'r':
 136                 *out++ = '\r';
 137                 break;
 138             case 'f':
 139                 *out++ = '\f';
 140                 break;
 141             case 'x':
 142                 if (len > 1)
 143                 {
 144                     char s[4];
 145                     int n = 0;
 146                     s[0] = *++in;
 147                     s[1] = *++in;
 148                     s[2] = '\0';
 149                     len = len - 2;
 150                     sscanf (s, "%x", &n);
 151                     *out++ = n;
 152                 }
 153                 break;
 154             case '0':
 155             case '1':
 156             case '2':
 157             case '3':
 158                 if (len > 1)
 159                 {
 160                     char s[4];
 161                     int n = 0;
 162                     s[0] = *in;
 163                     s[1] = *++in;
 164                     s[2] = *++in;
 165                     s[3] = '\0';
 166                     len = len - 2;
 167                     sscanf (s, "%o", &n);
 168                     *out++ = n;
 169                 }
 170                 break;
 171             default:
 172                 *out++ = *in;
 173                 break;
 174             }
 175             in++;
 176         }
 177         else
 178             *out++ = *in++;
 179     return out - out_buf;
 180 }
 181
 182 static int p_query_parse_attr(struct lex_info *li, ODR o,
 183                               int num_attr, int *attr_list,
 184                               char **attr_clist, oid_value *attr_set)
 185 {
 186     const char *cp;
 187     if (!(cp = strchr (li->lex_buf, '=')) ||
 188         (size_t) (cp-li->lex_buf) > li->lex_len)
 189     {
 190         attr_set[num_attr] = query_oid_getvalbyname (li);
 191         if (attr_set[num_attr] == VAL_NONE)
 192             return 0;
 193         lex (li);
 194
 195         if (!(cp = strchr (li->lex_buf, '=')))
 196             return 0;
 197     }
 198     else
 199     {
 200         if (num_attr > 0)
 201             attr_set[num_attr] = attr_set[num_attr-1];
 202         else
 203             attr_set[num_attr] = VAL_NONE;
 204     }
 205     attr_list[2*num_attr] = atoi(li->lex_buf);
 206         cp++;
 207     if (*cp >= '0' && *cp <= '9')
 208     {
 209         attr_list[2*num_attr+1] = atoi (cp);
 210         attr_clist[num_attr] = 0;
 211     }
 212     else
 213     {
 214         int len = li->lex_len - (cp - li->lex_buf);
 215         attr_list[2*num_attr+1] = 0;
 216         attr_clist[num_attr] = (char *) odr_malloc (o, len+1);
 217         len = escape_string(attr_clist[num_attr], cp, len);
 218         attr_clist[num_attr][len] = '\0';
 219     }
 220     return 1;
 221 }
 222
 223 static Z_AttributesPlusTerm *rpn_term (struct lex_info *li, ODR o,
 224                                        oid_proto proto,
 225                                        int num_attr, int *attr_list,
 226                                        char **attr_clist, oid_value *attr_set)
 227 {
 228     Z_AttributesPlusTerm *zapt;
 229     Odr_oct *term_octet;
 230     Z_Term *term;
 231     Z_AttributeElement **elements;
 232
 233     zapt = (Z_AttributesPlusTerm *)odr_malloc (o, sizeof(*zapt));
 234     term_octet = (Odr_oct *)odr_malloc (o, sizeof(*term_octet));
 235     term = (Z_Term *)odr_malloc (o, sizeof(*term));
 236
 237     if (!num_attr)
 238         elements = (Z_AttributeElement**)odr_nullval();
 239     else
 240     {
 241         int i, k = 0;
 242         int *attr_tmp;
 243
 244         elements = (Z_AttributeElement**)
 245             odr_malloc (o, num_attr * sizeof(*elements));
 246
 247         attr_tmp = (int *)odr_malloc (o, num_attr * 2 * sizeof(int));
 248         memcpy (attr_tmp, attr_list, num_attr * 2 * sizeof(int));
 249         for (i = num_attr; --i >= 0; )
 250         {
 251             int j;
 252             for (j = i+1; j<num_attr; j++)
 253                 if (attr_tmp[2*j] == attr_tmp[2*i])
 254                     break;
 255             if (j < num_attr)
 256                 continue;
 257             elements[k] =
 258                 (Z_AttributeElement*)odr_malloc (o,sizeof(**elements));
 259             elements[k]->attributeType = &attr_tmp[2*i];
 260             elements[k]->attributeSet =
 261                 yaz_oidval_to_z3950oid(o, CLASS_ATTSET, attr_set[i]);
 262
 263             if (attr_clist[i])
 264             {
 265                 elements[k]->which = Z_AttributeValue_complex;
 266                 elements[k]->value.complex = (Z_ComplexAttribute *)
 267                     odr_malloc (o, sizeof(Z_ComplexAttribute));
 268                 elements[k]->value.complex->num_list = 1;
 269                 elements[k]->value.complex->list =
 270                     (Z_StringOrNumeric **)
 271                     odr_malloc (o, 1 * sizeof(Z_StringOrNumeric *));
 272                 elements[k]->value.complex->list[0] =
 273                     (Z_StringOrNumeric *)
 274                     odr_malloc (o, sizeof(Z_StringOrNumeric));
 275                 elements[k]->value.complex->list[0]->which =
 276                     Z_StringOrNumeric_string;
 277                 elements[k]->value.complex->list[0]->u.string =
 278                     attr_clist[i];
 279                 elements[k]->value.complex->semanticAction = (int **)
 280                     odr_nullval();
 281                 elements[k]->value.complex->num_semanticAction = 0;
 282             }
 283             else
 284             {
 285                 elements[k]->which = Z_AttributeValue_numeric;
 286                 elements[k]->value.numeric = &attr_tmp[2*i+1];
 287             }
 288             k++;
 289         }
 290         num_attr = k;
 291     }
 292     zapt->attributes = (Z_AttributeList *)
 293         odr_malloc (o, sizeof(*zapt->attributes));
 294     zapt->attributes->num_attributes = num_attr;
 295     zapt->attributes->attributes = elements;
 296
 297     zapt->term = term;
 298     term->which = Z_Term_general;
 299     term->u.general = term_octet;
 300     term_octet->buf = (unsigned char *)odr_malloc (o, li->lex_len);
 301     term_octet->size = term_octet->len =
 302         escape_string ((char *) (term_octet->buf), li->lex_buf, li->lex_len);
 303     return zapt;
 304 }
 305
 306 static Z_Operand *rpn_simple (struct lex_info *li, ODR o, oid_proto proto,
 307                               int num_attr, int *attr_list, char **attr_clist,
 308                               oid_value *attr_set)
 309 {
 310     Z_Operand *zo;
 311
 312     zo = (Z_Operand *)odr_malloc (o, sizeof(*zo));
 313     switch (li->query_look)
 314     {
 315     case 't':
 316         zo->which = Z_Operand_APT;
 317         if (!(zo->u.attributesPlusTerm =
 318               rpn_term (li, o, proto, num_attr, attr_list, attr_clist,
 319                         attr_set)))
 320             return 0;
 321         lex (li);
 322         break;
 323     case 's':
 324         lex (li);
 325         if (!li->query_look)
 326             return 0;
 327         zo->which = Z_Operand_resultSetId;
 328         zo->u.resultSetId = (char *)odr_malloc (o, li->lex_len+1);
 329         memcpy (zo->u.resultSetId, li->lex_buf, li->lex_len);
 330         zo->u.resultSetId[li->lex_len] = '\0';
 331         lex (li);
 332         break;
 333     default:
 334         return 0;
 335     }
 336     return zo;
 337 }
 338
 339 static Z_ProximityOperator *rpn_proximity (struct lex_info *li, ODR o)
 340 {
 341     Z_ProximityOperator *p = (Z_ProximityOperator *)odr_malloc (o, sizeof(*p));
 342
 343     if (!lex (li))
 344         return NULL;
 345     if (*li->lex_buf == '1')
 346     {
 347         p->exclusion = (int *)odr_malloc (o, sizeof(*p->exclusion));
 348         *p->exclusion = 1;
 349     }
 350     else if (*li->lex_buf == '0')
 351     {
 352         p->exclusion = (int *)odr_malloc (o, sizeof(*p->exclusion));
 353         *p->exclusion = 0;
 354     }
 355     else
 356         p->exclusion = NULL;
 357
 358     if (!lex (li))
 359         return NULL;
 360     p->distance = (int *)odr_malloc (o, sizeof(*p->distance));
 361     *p->distance = atoi (li->lex_buf);
 362
 363     if (!lex (li))
 364         return NULL;
 365     p->ordered = (int *)odr_malloc (o, sizeof(*p->ordered));
 366     *p->ordered = atoi (li->lex_buf);
 367
 368     if (!lex (li))
 369         return NULL;
 370     p->relationType = (int *)odr_malloc (o, sizeof(*p->relationType));
 371     *p->relationType = atoi (li->lex_buf);
 372
 373     if (!lex (li))
 374         return NULL;
 375     if (*li->lex_buf == 'k')
 376         p->which = 0;
 377     else if (*li->lex_buf == 'p')
 378         p->which = 1;
 379     else
 380         p->which = atoi (li->lex_buf);
 381
 382     if (!lex (li))
 383         return NULL;
 384     p->which = Z_ProximityOperator_known;
 385     p->u.known = (int *)odr_malloc (o, sizeof(*p->u.known));
 386     *p->u.known = atoi (li->lex_buf);
 387     return p;
 388 }
 389
 390 static Z_Complex *rpn_complex (struct lex_info *li, ODR o, oid_proto proto,
 391                                int num_attr, int max_attr,
 392                                int *attr_list, char **attr_clist,
 393                                oid_value *attr_set)
 394 {
 395     Z_Complex *zc;
 396     Z_Operator *zo;
 397
 398     zc = (Z_Complex *)odr_malloc (o, sizeof(*zc));
 399     zo = (Z_Operator *)odr_malloc (o, sizeof(*zo));
 400     zc->roperator = zo;
 401     switch (li->query_look)
 402     {
 403     case 'a':
 404         zo->which = Z_Operator_and;
 405         zo->u.and_not = odr_nullval();
 406         break;
 407     case 'o':
 408         zo->which = Z_Operator_or;
 409         zo->u.and_not = odr_nullval();
 410         break;
 411     case 'n':
 412         zo->which = Z_Operator_and_not;
 413         zo->u.and_not = odr_nullval();
 414         break;
 415     case 'p':
 416         zo->which = Z_Operator_prox;
 417         zo->u.prox = rpn_proximity (li, o);
 418         if (!zo->u.prox)
 419             return NULL;
 420         break;
 421     default:
 422         return NULL;
 423     }
 424     lex (li);
 425     if (!(zc->s1 =
 426           rpn_structure (li, o, proto, num_attr, max_attr, attr_list,
 427                          attr_clist, attr_set)))
 428         return NULL;
 429     if (!(zc->s2 =
 430           rpn_structure (li, o, proto, num_attr, max_attr, attr_list,
 431                          attr_clist, attr_set)))
 432         return NULL;
 433     return zc;
 434 }
 435
 436 static Z_RPNStructure *rpn_structure (struct lex_info *li, ODR o,
 437                                       oid_proto proto,
 438                                       int num_attr, int max_attr,
 439                                       int *attr_list,
 440                                       char **attr_clist,
 441                                       oid_value *attr_set)
 442 {
 443     Z_RPNStructure *sz;
 444
 445     sz = (Z_RPNStructure *)odr_malloc (o, sizeof(*sz));
 446     switch (li->query_look)
 447     {
 448     case 'a':
 449     case 'o':
 450     case 'n':
 451     case 'p':
 452         sz->which = Z_RPNStructure_complex;
 453         if (!(sz->u.complex =
 454               rpn_complex (li, o, proto, num_attr, max_attr, attr_list,
 455                            attr_clist, attr_set)))
 456             return NULL;
 457         break;
 458     case 't':
 459     case 's':
 460         sz->which = Z_RPNStructure_simple;
 461         if (!(sz->u.simple =
 462               rpn_simple (li, o, proto, num_attr, attr_list,
 463                           attr_clist, attr_set)))
 464             return NULL;
 465         break;
 466     case 'l':
 467         lex (li);
 468         if (!li->query_look)
 469             return NULL;
 470         if (num_attr >= max_attr)
 471             return NULL;
 472         if (!p_query_parse_attr(li, o, num_attr, attr_list,
 473                                 attr_clist, attr_set))
 474             return 0;
 475         num_attr++;
 476         lex (li);
 477         return
 478             rpn_structure (li, o, proto, num_attr, max_attr, attr_list,
 479                            attr_clist,  attr_set);
 480     case 'y':
 481         lex (li);
 482         if (!li->query_look)
 483             return NULL;
 484         if (compare_term (li, "general", 0))
 485             li->term_type = Z_Term_general;
 486         else if (compare_term (li, "numeric", 0))
 487             li->term_type = Z_Term_numeric;
 488         else if (compare_term (li, "string", 0))
 489             li->term_type = Z_Term_characterString;
 490         else if (compare_term (li, "oid", 0))
 491             li->term_type = Z_Term_oid;
 492         else if (compare_term (li, "datetime", 0))
 493             li->term_type = Z_Term_dateTime;
 494         else if (compare_term (li, "null", 0))
 495             li->term_type = Z_Term_null;
 496         lex (li);
 497         return
 498             rpn_structure (li, o, proto, num_attr, max_attr, attr_list,
 499                            attr_clist, attr_set);
 500     case 0:                /* operator/operand expected! */
 501         return NULL;
 502     }
 503     return sz;
 504 }
 505
 506 Z_RPNQuery *p_query_rpn_mk (ODR o, struct lex_info *li, oid_proto proto,
 507                             const char *qbuf)
 508 {
 509     Z_RPNQuery *zq;
 510     int attr_array[1024];
 511     char *attr_clist[512];
 512     oid_value attr_set[512];
 513     oid_value topSet = VAL_NONE;
 514
 515     zq = (Z_RPNQuery *)odr_malloc (o, sizeof(*zq));
 516     lex (li);
 517     if (li->query_look == 'r')
 518     {
 519         lex (li);
 520         topSet = query_oid_getvalbyname (li);
 521         if (topSet == VAL_NONE)
 522             return NULL;
 523
 524         lex (li);
 525     }
 526     if (topSet == VAL_NONE)
 527         topSet = p_query_dfset;
 528     if (topSet == VAL_NONE)
 529         topSet = VAL_BIB1;
 530
 531     zq->attributeSetId = yaz_oidval_to_z3950oid(o, CLASS_ATTSET, topSet);
 532
 533     if (!zq->attributeSetId)
 534         return 0;
 535
 536     if (!(zq->RPNStructure = rpn_structure (li, o, proto, 0, 512,
 537                                             attr_array, attr_clist, attr_set)))
 538         return NULL;
 539     return zq;
 540 }
 541
 542 Z_RPNQuery *p_query_rpn (ODR o, oid_proto proto,
 543                          const char *qbuf)
 544 {
 545     struct lex_info li;
 546
 547     li.left_sep = "{\"";
 548     li.right_sep = "}\"";
 549     li.escape_char = '@';
 550     li.term_type = Z_Term_general;
 551     li.query_buf = qbuf;
 552     return p_query_rpn_mk (o, &li, proto, qbuf);
 553 }
 554
 555
 556 Z_AttributesPlusTerm *p_query_scan_mk (struct lex_info *li,
 557                                        ODR o, oid_proto proto,
 558                                        Odr_oid **attributeSetP,
 559                                        const char *qbuf)
 560 {
 561     int attr_list[1024];
 562     char *attr_clist[512];
 563     oid_value attr_set[512];
 564     int num_attr = 0;
 565     int max_attr = 512;
 566     oid_value topSet = VAL_NONE;
 567
 568     lex (li);
 569     if (li->query_look == 'r')
 570     {
 571         lex (li);
 572         topSet = query_oid_getvalbyname (li);
 573
 574         lex (li);
 575     }
 576     if (topSet == VAL_NONE)
 577         topSet = p_query_dfset;
 578     if (topSet == VAL_NONE)
 579         topSet = VAL_BIB1;
 580
 581     *attributeSetP = yaz_oidval_to_z3950oid (o, CLASS_ATTSET, topSet);
 582
 583     while (li->query_look == 'l')
 584     {
 585         lex (li);
 586         if (!li->query_look)
 587             return 0;
 588         if (num_attr >= max_attr)
 589             return 0;
 590         if (!p_query_parse_attr(li, o, num_attr, attr_list,
 591                                 attr_clist, attr_set))
 592             return 0;
 593         num_attr++;
 594         lex (li);
 595     }
 596     if (!li->query_look)
 597         return NULL;
 598     return rpn_term (li, o, proto, num_attr, attr_list, attr_clist, attr_set);
 599 }
 600
 601 Z_AttributesPlusTerm *p_query_scan (ODR o, oid_proto proto,
 602                                     Odr_oid **attributeSetP,
 603                                     const char *qbuf)
 604 {
 605     struct lex_info li;
 606
 607     li.left_sep = "{\"";
 608     li.right_sep = "}\"";
 609     li.escape_char = '@';
 610     li.term_type = Z_Term_general;
 611     li.query_buf = qbuf;
 612
 613     return p_query_scan_mk (&li, o, proto, attributeSetP, qbuf);
 614 }
 615
 616 int p_query_attset (const char *arg)
 617 {
 618     p_query_dfset = oid_getvalbyname (arg);
 619     return (p_query_dfset == VAL_NONE) ? -1 : 0;
 620 }
 621