zutil/pquery.c

   1 /*
   2  * Copyright (c) 1995-2002, Index Data.
   3  * See the file LICENSE for details.
   4  *
   5  * $Id: pquery.c,v 1.12 2002-01-23 20:25:42 adam Exp $
   6  */
   7
   8 #include <stdio.h>
   9 #include <string.h>
  10 #include <stdlib.h>
  11
  12 #include <yaz/proto.h>
  13 #include <yaz/oid.h>
  14 #include <yaz/pquery.h>
  15
  16 static oid_value p_query_dfset = VAL_NONE;
  17
  18 struct lex_info {
  19     const char *query_buf;
  20     const char *lex_buf;
  21     size_t lex_len;
  22     int query_look;
  23     char *left_sep;
  24     char *right_sep;
  25     int escape_char;
  26     int term_type;
  27 };
  28
  29 static Z_RPNStructure *rpn_structure (struct lex_info *li, ODR o, oid_proto,
  30                                       int num_attr, int max_attr,
  31                                       int *attr_list, char **attr_clist,
  32                                       oid_value *attr_set);
  33
  34 static enum oid_value query_oid_getvalbyname (struct lex_info *li)
  35 {
  36     enum oid_value value;
  37     char buf[32];
  38
  39     if (li->lex_len > 31)
  40         return VAL_NONE;
  41     memcpy (buf, li->lex_buf, li->lex_len);
  42     buf[li->lex_len] = '\0';
  43     value = oid_getvalbyname (buf);
  44     return value;
  45 }
  46
  47 static int compare_term (struct lex_info *li, const char *src, size_t off)
  48 {
  49     size_t len=strlen(src);
  50
  51     if (li->lex_len == len+off && !memcmp (li->lex_buf+off, src, len-off))
  52         return 1;
  53     return 0;
  54 }
  55
  56 static int query_token (struct lex_info *li)
  57 {
  58     int sep_char = ' ';
  59     const char *sep_match;
  60     const char **qptr = &li->query_buf;
  61
  62     while (**qptr == ' ')
  63         (*qptr)++;
  64     if (**qptr == '\0')
  65         return 0;
  66     li->lex_len = 0;
  67     if ((sep_match = strchr (li->left_sep, **qptr)))
  68     {
  69         sep_char = li->right_sep[sep_match - li->left_sep];
  70         ++(*qptr);
  71     }
  72     li->lex_buf = *qptr;
  73
  74     while (**qptr && **qptr != sep_char)
  75     {
  76         if (**qptr == '\\')
  77         {
  78             ++(li->lex_len);
  79             ++(*qptr);
  80         }
  81         ++(li->lex_len);
  82         ++(*qptr);
  83     }
  84     if (**qptr)
  85         ++(*qptr);
  86     if (li->lex_len >= 1 && li->lex_buf[0] == li->escape_char)
  87     {
  88         if (compare_term (li, "and", 1))
  89             return 'a';
  90         if (compare_term (li, "or", 1))
  91             return 'o';
  92         if (compare_term (li, "not", 1))
  93             return 'n';
  94         if (compare_term (li, "attr", 1))
  95             return 'l';
  96         if (compare_term (li, "set", 1))
  97             return 's';
  98         if (compare_term (li, "attrset", 1))
  99             return 'r';
 100         if (compare_term (li, "prox", 1))
 101             return 'p';
 102         if (compare_term (li, "term", 1))
 103             return 'y';
 104     }
 105     return 't';
 106 }
 107
 108 static int lex (struct lex_info *li)
 109 {
 110     return li->query_look = query_token (li);
 111 }
 112
 113 static int escape_string(char *out_buf, const char *in, int len)
 114 {
 115
 116     char *out = out_buf;
 117     while (--len >= 0)
 118         if (*in == '\\' && len > 0)
 119         {
 120             --len;
 121             switch (*++in)
 122             {
 123             case 't':
 124                 *out++ = '\t';
 125                 break;
 126             case 'n':
 127                 *out++ = '\n';
 128                 break;
 129             case 'r':
 130                 *out++ = '\r';
 131                 break;
 132             case 'f':
 133                 *out++ = '\f';
 134                 break;
 135             case 'x':
 136                 if (len > 1)
 137                 {
 138                     char s[4];
 139                     int n = 0;
 140                     s[0] = *++in;
 141                     s[1] = *++in;
 142                     s[2] = '\0';
 143                     len = len - 2;
 144                     sscanf (s, "%x", &n);
 145                     *out++ = n;
 146                 }
 147                 break;
 148             case '0':
 149             case '1':
 150             case '2':
 151             case '3':
 152                 if (len > 1)
 153                 {
 154                     char s[4];
 155                     int n = 0;
 156                     s[0] = *in;
 157                     s[1] = *++in;
 158                     s[2] = *++in;
 159                     s[3] = '\0';
 160                     len = len - 2;
 161                     sscanf (s, "%o", &n);
 162                     *out++ = n;
 163                 }
 164                 break;
 165             default:
 166                 *out++ = *in;
 167                 break;
 168             }
 169             in++;
 170         }
 171         else
 172             *out++ = *in++;
 173     return out - out_buf;
 174 }
 175
 176 static int p_query_parse_attr(struct lex_info *li, ODR o,
 177                               int num_attr, int *attr_list,
 178                               char **attr_clist, oid_value *attr_set)
 179 {
 180     const char *cp;
 181     if (!(cp = strchr (li->lex_buf, '=')) ||
 182         (size_t) (cp-li->lex_buf) > li->lex_len)
 183     {
 184         attr_set[num_attr] = query_oid_getvalbyname (li);
 185         if (attr_set[num_attr] == VAL_NONE)
 186             return 0;
 187         lex (li);
 188
 189         if (!(cp = strchr (li->lex_buf, '=')))
 190             return 0;
 191     }
 192     else
 193     {
 194         if (num_attr > 0)
 195             attr_set[num_attr] = attr_set[num_attr-1];
 196         else
 197             attr_set[num_attr] = VAL_NONE;
 198     }
 199     attr_list[2*num_attr] = atoi(li->lex_buf);
 200         cp++;
 201     if (*cp >= '0' && *cp <= '9')
 202     {
 203         attr_list[2*num_attr+1] = atoi (cp);
 204         attr_clist[num_attr] = 0;
 205     }
 206     else
 207     {
 208         int len = li->lex_len - (cp - li->lex_buf);
 209         attr_list[2*num_attr+1] = 0;
 210         attr_clist[num_attr] = (char *) odr_malloc (o, len+1);
 211         len = escape_string(attr_clist[num_attr], cp, len);
 212         attr_clist[num_attr][len] = '\0';
 213     }
 214     return 1;
 215 }
 216
 217 static Z_AttributesPlusTerm *rpn_term (struct lex_info *li, ODR o,
 218                                        oid_proto proto,
 219                                        int num_attr, int *attr_list,
 220                                        char **attr_clist, oid_value *attr_set)
 221 {
 222     Z_AttributesPlusTerm *zapt;
 223     Odr_oct *term_octet;
 224     Z_Term *term;
 225     Z_AttributeElement **elements;
 226
 227     zapt = (Z_AttributesPlusTerm *)odr_malloc (o, sizeof(*zapt));
 228     term_octet = (Odr_oct *)odr_malloc (o, sizeof(*term_octet));
 229     term = (Z_Term *)odr_malloc (o, sizeof(*term));
 230
 231     if (!num_attr)
 232         elements = (Z_AttributeElement**)odr_nullval();
 233     else
 234     {
 235         int i, k = 0;
 236         int *attr_tmp;
 237
 238         elements = (Z_AttributeElement**)
 239             odr_malloc (o, num_attr * sizeof(*elements));
 240
 241         attr_tmp = (int *)odr_malloc (o, num_attr * 2 * sizeof(int));
 242         memcpy (attr_tmp, attr_list, num_attr * 2 * sizeof(int));
 243         for (i = num_attr; --i >= 0; )
 244         {
 245             int j;
 246             for (j = i+1; j<num_attr; j++)
 247                 if (attr_tmp[2*j] == attr_tmp[2*i])
 248                     break;
 249             if (j < num_attr)
 250                 continue;
 251             elements[k] =
 252                 (Z_AttributeElement*)odr_malloc (o,sizeof(**elements));
 253             elements[k]->attributeType = &attr_tmp[2*i];
 254             elements[k]->attributeSet =
 255                 yaz_oidval_to_z3950oid(o, CLASS_ATTSET, attr_set[i]);
 256
 257             if (attr_clist[i])
 258             {
 259                 elements[k]->which = Z_AttributeValue_complex;
 260                 elements[k]->value.complex = (Z_ComplexAttribute *)
 261                     odr_malloc (o, sizeof(Z_ComplexAttribute));
 262                 elements[k]->value.complex->num_list = 1;
 263                 elements[k]->value.complex->list =
 264                     (Z_StringOrNumeric **)
 265                     odr_malloc (o, 1 * sizeof(Z_StringOrNumeric *));
 266                 elements[k]->value.complex->list[0] =
 267                     (Z_StringOrNumeric *)
 268                     odr_malloc (o, sizeof(Z_StringOrNumeric));
 269                 elements[k]->value.complex->list[0]->which =
 270                     Z_StringOrNumeric_string;
 271                 elements[k]->value.complex->list[0]->u.string =
 272                     attr_clist[i];
 273                 elements[k]->value.complex->semanticAction = (int **)
 274                     odr_nullval();
 275                 elements[k]->value.complex->num_semanticAction = 0;
 276             }
 277             else
 278             {
 279                 elements[k]->which = Z_AttributeValue_numeric;
 280                 elements[k]->value.numeric = &attr_tmp[2*i+1];
 281             }
 282             k++;
 283         }
 284         num_attr = k;
 285     }
 286     zapt->attributes = (Z_AttributeList *)
 287         odr_malloc (o, sizeof(*zapt->attributes));
 288     zapt->attributes->num_attributes = num_attr;
 289     zapt->attributes->attributes = elements;
 290
 291     zapt->term = term;
 292     term->which = Z_Term_general;
 293     term->u.general = term_octet;
 294     term_octet->buf = (unsigned char *)odr_malloc (o, li->lex_len);
 295     term_octet->size = term_octet->len =
 296         escape_string ((char *) (term_octet->buf), li->lex_buf, li->lex_len);
 297     return zapt;
 298 }
 299
 300 static Z_Operand *rpn_simple (struct lex_info *li, ODR o, oid_proto proto,
 301                               int num_attr, int *attr_list, char **attr_clist,
 302                               oid_value *attr_set)
 303 {
 304     Z_Operand *zo;
 305
 306     zo = (Z_Operand *)odr_malloc (o, sizeof(*zo));
 307     switch (li->query_look)
 308     {
 309     case 't':
 310         zo->which = Z_Operand_APT;
 311         if (!(zo->u.attributesPlusTerm =
 312               rpn_term (li, o, proto, num_attr, attr_list, attr_clist,
 313                         attr_set)))
 314             return 0;
 315         lex (li);
 316         break;
 317     case 's':
 318         lex (li);
 319         if (!li->query_look)
 320             return 0;
 321         zo->which = Z_Operand_resultSetId;
 322         zo->u.resultSetId = (char *)odr_malloc (o, li->lex_len+1);
 323         memcpy (zo->u.resultSetId, li->lex_buf, li->lex_len);
 324         zo->u.resultSetId[li->lex_len] = '\0';
 325         lex (li);
 326         break;
 327     default:
 328         return 0;
 329     }
 330     return zo;
 331 }
 332
 333 static Z_ProximityOperator *rpn_proximity (struct lex_info *li, ODR o)
 334 {
 335     Z_ProximityOperator *p = (Z_ProximityOperator *)odr_malloc (o, sizeof(*p));
 336
 337     if (!lex (li))
 338         return NULL;
 339     if (*li->lex_buf == '1')
 340     {
 341         p->exclusion = (int *)odr_malloc (o, sizeof(*p->exclusion));
 342         *p->exclusion = 1;
 343     }
 344     else if (*li->lex_buf == '0')
 345     {
 346         p->exclusion = (int *)odr_malloc (o, sizeof(*p->exclusion));
 347         *p->exclusion = 0;
 348     }
 349     else
 350         p->exclusion = NULL;
 351
 352     if (!lex (li))
 353         return NULL;
 354     p->distance = (int *)odr_malloc (o, sizeof(*p->distance));
 355     *p->distance = atoi (li->lex_buf);
 356
 357     if (!lex (li))
 358         return NULL;
 359     p->ordered = (int *)odr_malloc (o, sizeof(*p->ordered));
 360     *p->ordered = atoi (li->lex_buf);
 361
 362     if (!lex (li))
 363         return NULL;
 364     p->relationType = (int *)odr_malloc (o, sizeof(*p->relationType));
 365     *p->relationType = atoi (li->lex_buf);
 366
 367     if (!lex (li))
 368         return NULL;
 369     if (*li->lex_buf == 'k')
 370         p->which = 0;
 371     else if (*li->lex_buf == 'p')
 372         p->which = 1;
 373     else
 374         p->which = atoi (li->lex_buf);
 375
 376     if (!lex (li))
 377         return NULL;
 378     p->which = Z_ProximityOperator_known;
 379     p->u.known = (int *)odr_malloc (o, sizeof(*p->u.known));
 380     *p->u.known = atoi (li->lex_buf);
 381     return p;
 382 }
 383
 384 static Z_Complex *rpn_complex (struct lex_info *li, ODR o, oid_proto proto,
 385                                int num_attr, int max_attr,
 386                                int *attr_list, char **attr_clist,
 387                                oid_value *attr_set)
 388 {
 389     Z_Complex *zc;
 390     Z_Operator *zo;
 391
 392     zc = (Z_Complex *)odr_malloc (o, sizeof(*zc));
 393     zo = (Z_Operator *)odr_malloc (o, sizeof(*zo));
 394     zc->roperator = zo;
 395     switch (li->query_look)
 396     {
 397     case 'a':
 398         zo->which = Z_Operator_and;
 399         zo->u.and_not = odr_nullval();
 400         break;
 401     case 'o':
 402         zo->which = Z_Operator_or;
 403         zo->u.and_not = odr_nullval();
 404         break;
 405     case 'n':
 406         zo->which = Z_Operator_and_not;
 407         zo->u.and_not = odr_nullval();
 408         break;
 409     case 'p':
 410         zo->which = Z_Operator_prox;
 411         zo->u.prox = rpn_proximity (li, o);
 412         if (!zo->u.prox)
 413             return NULL;
 414         break;
 415     default:
 416         return NULL;
 417     }
 418     lex (li);
 419     if (!(zc->s1 =
 420           rpn_structure (li, o, proto, num_attr, max_attr, attr_list,
 421                          attr_clist, attr_set)))
 422         return NULL;
 423     if (!(zc->s2 =
 424           rpn_structure (li, o, proto, num_attr, max_attr, attr_list,
 425                          attr_clist, attr_set)))
 426         return NULL;
 427     return zc;
 428 }
 429
 430 static Z_RPNStructure *rpn_structure (struct lex_info *li, ODR o,
 431                                       oid_proto proto,
 432                                       int num_attr, int max_attr,
 433                                       int *attr_list,
 434                                       char **attr_clist,
 435                                       oid_value *attr_set)
 436 {
 437     Z_RPNStructure *sz;
 438
 439     sz = (Z_RPNStructure *)odr_malloc (o, sizeof(*sz));
 440     switch (li->query_look)
 441     {
 442     case 'a':
 443     case 'o':
 444     case 'n':
 445     case 'p':
 446         sz->which = Z_RPNStructure_complex;
 447         if (!(sz->u.complex =
 448               rpn_complex (li, o, proto, num_attr, max_attr, attr_list,
 449                            attr_clist, attr_set)))
 450             return NULL;
 451         break;
 452     case 't':
 453     case 's':
 454         sz->which = Z_RPNStructure_simple;
 455         if (!(sz->u.simple =
 456               rpn_simple (li, o, proto, num_attr, attr_list,
 457                           attr_clist, attr_set)))
 458             return NULL;
 459         break;
 460     case 'l':
 461         lex (li);
 462         if (!li->query_look)
 463             return NULL;
 464         if (num_attr >= max_attr)
 465             return NULL;
 466         if (!p_query_parse_attr(li, o, num_attr, attr_list,
 467                                 attr_clist, attr_set))
 468             return 0;
 469         num_attr++;
 470         lex (li);
 471         return
 472             rpn_structure (li, o, proto, num_attr, max_attr, attr_list,
 473                            attr_clist,  attr_set);
 474     case 'y':
 475         lex (li);
 476         if (!li->query_look)
 477             return NULL;
 478         if (compare_term (li, "general", 0))
 479             li->term_type = Z_Term_general;
 480         else if (compare_term (li, "numeric", 0))
 481             li->term_type = Z_Term_numeric;
 482         else if (compare_term (li, "string", 0))
 483             li->term_type = Z_Term_characterString;
 484         else if (compare_term (li, "oid", 0))
 485             li->term_type = Z_Term_oid;
 486         else if (compare_term (li, "datetime", 0))
 487             li->term_type = Z_Term_dateTime;
 488         else if (compare_term (li, "null", 0))
 489             li->term_type = Z_Term_null;
 490         lex (li);
 491         return
 492             rpn_structure (li, o, proto, num_attr, max_attr, attr_list,
 493                            attr_clist, attr_set);
 494     case 0:                /* operator/operand expected! */
 495         return NULL;
 496     }
 497     return sz;
 498 }
 499
 500 Z_RPNQuery *p_query_rpn_mk (ODR o, struct lex_info *li, oid_proto proto,
 501                             const char *qbuf)
 502 {
 503     Z_RPNQuery *zq;
 504     int attr_array[1024];
 505     char *attr_clist[512];
 506     oid_value attr_set[512];
 507     oid_value topSet = VAL_NONE;
 508
 509     zq = (Z_RPNQuery *)odr_malloc (o, sizeof(*zq));
 510     lex (li);
 511     if (li->query_look == 'r')
 512     {
 513         lex (li);
 514         topSet = query_oid_getvalbyname (li);
 515         if (topSet == VAL_NONE)
 516             return NULL;
 517
 518         lex (li);
 519     }
 520     if (topSet == VAL_NONE)
 521         topSet = p_query_dfset;
 522     if (topSet == VAL_NONE)
 523         topSet = VAL_BIB1;
 524
 525     zq->attributeSetId = yaz_oidval_to_z3950oid(o, CLASS_ATTSET, topSet);
 526
 527     if (!zq->attributeSetId)
 528         return 0;
 529
 530     if (!(zq->RPNStructure = rpn_structure (li, o, proto, 0, 512,
 531                                             attr_array, attr_clist, attr_set)))
 532         return NULL;
 533     return zq;
 534 }
 535
 536 Z_RPNQuery *p_query_rpn (ODR o, oid_proto proto,
 537                          const char *qbuf)
 538 {
 539     struct lex_info li;
 540
 541     li.left_sep = "{\"";
 542     li.right_sep = "}\"";
 543     li.escape_char = '@';
 544     li.term_type = Z_Term_general;
 545     li.query_buf = qbuf;
 546     return p_query_rpn_mk (o, &li, proto, qbuf);
 547 }
 548
 549
 550 Z_AttributesPlusTerm *p_query_scan_mk (struct lex_info *li,
 551                                        ODR o, oid_proto proto,
 552                                        Odr_oid **attributeSetP,
 553                                        const char *qbuf)
 554 {
 555     int attr_list[1024];
 556     char *attr_clist[512];
 557     oid_value attr_set[512];
 558     int num_attr = 0;
 559     int max_attr = 512;
 560     oid_value topSet = VAL_NONE;
 561
 562     lex (li);
 563     if (li->query_look == 'r')
 564     {
 565         lex (li);
 566         topSet = query_oid_getvalbyname (li);
 567
 568         lex (li);
 569     }
 570     if (topSet == VAL_NONE)
 571         topSet = p_query_dfset;
 572     if (topSet == VAL_NONE)
 573         topSet = VAL_BIB1;
 574
 575     *attributeSetP = yaz_oidval_to_z3950oid (o, CLASS_ATTSET, topSet);
 576
 577     while (li->query_look == 'l')
 578     {
 579         lex (li);
 580         if (!li->query_look)
 581             return 0;
 582         if (num_attr >= max_attr)
 583             return 0;
 584         if (!p_query_parse_attr(li, o, num_attr, attr_list,
 585                                 attr_clist, attr_set))
 586             return 0;
 587         num_attr++;
 588         lex (li);
 589     }
 590     if (!li->query_look)
 591         return NULL;
 592     return rpn_term (li, o, proto, num_attr, attr_list, attr_clist, attr_set);
 593 }
 594
 595 Z_AttributesPlusTerm *p_query_scan (ODR o, oid_proto proto,
 596                                     Odr_oid **attributeSetP,
 597                                     const char *qbuf)
 598 {
 599     struct lex_info li;
 600
 601     li.left_sep = "{\"";
 602     li.right_sep = "}\"";
 603     li.escape_char = '@';
 604     li.term_type = Z_Term_general;
 605     li.query_buf = qbuf;
 606
 607     return p_query_scan_mk (&li, o, proto, attributeSetP, qbuf);
 608 }
 609
 610 int p_query_attset (const char *arg)
 611 {
 612     p_query_dfset = oid_getvalbyname (arg);
 613     return (p_query_dfset == VAL_NONE) ? -1 : 0;
 614 }
 615