src/pquery.c

   1 /* This file is part of the YAZ toolkit.
   2  * Copyright (C) 1995-2013 Index Data
   3  * See the file LICENSE for details.
   4  */
   5 /**
   6  * \file pquery.c
   7  * \brief Implements PQF parsing
   8  */
   9 #if HAVE_CONFIG_H
  10 #include <config.h>
  11 #endif
  12
  13 #include <stdio.h>
  14 #include <string.h>
  15 #include <stdlib.h>
  16
  17 #include <yaz/proto.h>
  18 #include <yaz/oid_db.h>
  19 #include <yaz/pquery.h>
  20
  21 struct yaz_pqf_parser {
  22     const char *query_buf;
  23     const char *query_ptr;
  24     const char *lex_buf;
  25     size_t lex_len;
  26     int query_look;
  27     char *left_sep;
  28     char *right_sep;
  29     int escape_char;
  30     int term_type;
  31     int external_type;
  32     int error;
  33 };
  34
  35 static Z_RPNStructure *rpn_structure(struct yaz_pqf_parser *li, ODR o,
  36                                      int num_attr, int max_attr,
  37                                      Odr_int *attr_list, char **attr_clist,
  38                                      Odr_oid **attr_set);
  39
  40 static Odr_oid *query_oid_getvalbyname(struct yaz_pqf_parser *li, ODR o)
  41 {
  42     char buf[32];
  43
  44     if (li->lex_len >= sizeof(buf)-1)
  45         return 0;
  46     memcpy(buf, li->lex_buf, li->lex_len);
  47     buf[li->lex_len] = '\0';
  48     return yaz_string_to_oid_odr(yaz_oid_std(), CLASS_ATTSET, buf, o);
  49 }
  50
  51 static int compare_term(struct yaz_pqf_parser *li, const char *src,
  52                         size_t off)
  53 {
  54     size_t len=strlen(src);
  55
  56     if (li->lex_len == len+off && !memcmp(li->lex_buf+off, src, len-off))
  57         return 1;
  58     return 0;
  59 }
  60
  61 static int query_token(struct yaz_pqf_parser *li)
  62 {
  63     int sep_char = ' ';
  64     const char *sep_match;
  65     const char **qptr = &li->query_ptr;
  66
  67     while (**qptr == ' ')
  68         (*qptr)++;
  69     if (**qptr == '\0')
  70         return 0;
  71     li->lex_len = 0;
  72     if ((sep_match = strchr(li->left_sep, **qptr)))
  73     {
  74         sep_char = li->right_sep[sep_match - li->left_sep];
  75         ++(*qptr);
  76     }
  77     li->lex_buf = *qptr;
  78
  79     if (**qptr == li->escape_char && yaz_isdigit((*qptr)[1]))
  80     {
  81         ++(li->lex_len);
  82         ++(*qptr);
  83         return 'l';
  84     }
  85     while (**qptr && **qptr != sep_char)
  86     {
  87         if (**qptr == '\\' && (*qptr)[1])
  88         {
  89             ++(li->lex_len);
  90             ++(*qptr);
  91         }
  92         ++(li->lex_len);
  93         ++(*qptr);
  94     }
  95     if (**qptr)
  96         ++(*qptr);
  97     if (sep_char == ' ' &&
  98         li->lex_len >= 1 && li->lex_buf[0] == li->escape_char)
  99     {
 100         if (compare_term(li, "and", 1))
 101             return 'a';
 102         if (compare_term(li, "or", 1))
 103             return 'o';
 104         if (compare_term(li, "not", 1))
 105             return 'n';
 106         if (compare_term(li, "attr", 1))
 107             return 'l';
 108         if (compare_term(li, "set", 1))
 109             return 's';
 110         if (compare_term(li, "attrset", 1))
 111             return 'r';
 112         if (compare_term(li, "prox", 1))
 113             return 'p';
 114         if (compare_term(li, "term", 1))
 115             return 'y';
 116     }
 117     return 't';
 118 }
 119
 120 static int lex(struct yaz_pqf_parser *li)
 121 {
 122     return li->query_look = query_token(li);
 123 }
 124
 125 static int escape_string(char *out_buf, const char *in, int len)
 126 {
 127
 128     char *out = out_buf;
 129     while (--len >= 0)
 130         if (*in == '\\' && len > 0)
 131         {
 132             --len;
 133             switch (*++in)
 134             {
 135             case 't':
 136                 *out++ = '\t';
 137                 break;
 138             case 'n':
 139                 *out++ = '\n';
 140                 break;
 141             case 'r':
 142                 *out++ = '\r';
 143                 break;
 144             case 'f':
 145                 *out++ = '\f';
 146                 break;
 147             case 'x':
 148                 if (len > 1)
 149                 {
 150                     char s[4];
 151                     int n = 0;
 152                     s[0] = *++in;
 153                     s[1] = *++in;
 154                     s[2] = '\0';
 155                     len = len - 2;
 156                     sscanf(s, "%x", &n);
 157                     *out++ = n;
 158                 }
 159                 break;
 160             case '0':
 161             case '1':
 162             case '2':
 163             case '3':
 164                 if (len > 1)
 165                 {
 166                     char s[4];
 167                     int n = 0;
 168                     s[0] = *in;
 169                     s[1] = *++in;
 170                     s[2] = *++in;
 171                     s[3] = '\0';
 172                     len = len - 2;
 173                     sscanf(s, "%o", &n);
 174                     *out++ = n;
 175                 }
 176                 break;
 177             default:
 178                 *out++ = *in;
 179                 break;
 180             }
 181             in++;
 182         }
 183         else
 184             *out++ = *in++;
 185     return out - out_buf;
 186 }
 187
 188 static int p_query_parse_attr(struct yaz_pqf_parser *li, ODR o,
 189                               int num_attr, Odr_int *attr_list,
 190                               char **attr_clist, Odr_oid **attr_set)
 191 {
 192     const char *cp;
 193     size_t i;
 194
 195     if (!(cp = strchr(li->lex_buf, '=')) ||
 196         (size_t) (cp-li->lex_buf) > li->lex_len)
 197     {
 198         attr_set[num_attr] = query_oid_getvalbyname(li, o);
 199         if (attr_set[num_attr] == 0)
 200         {
 201             li->error = YAZ_PQF_ERROR_ATTSET;
 202             return 0;
 203         }
 204         if (!lex(li))
 205         {
 206             li->error = YAZ_PQF_ERROR_MISSING;
 207             return 0;
 208         }
 209         if (!(cp = strchr(li->lex_buf, '=')))
 210         {
 211             li->error = YAZ_PQF_ERROR_BADATTR;
 212             return 0;
 213         }
 214     }
 215     else
 216     {
 217         if (num_attr > 0)
 218             attr_set[num_attr] = attr_set[num_attr-1];
 219         else
 220             attr_set[num_attr] = 0;
 221     }
 222     if (*li->lex_buf < '0' || *li->lex_buf > '9')
 223     {
 224         li->error = YAZ_PQF_ERROR_BAD_INTEGER;
 225         return 0;
 226     }
 227     attr_list[2*num_attr] = odr_atoi(li->lex_buf);
 228     cp++;
 229
 230     /* inspect value .. and make it a integer if it appears to be */
 231     for (i = cp - li->lex_buf; i < li->lex_len; i++)
 232         if (li->lex_buf[i] < '0' || li->lex_buf[i] > '9')
 233         {
 234             int len = li->lex_len - (cp - li->lex_buf);
 235             attr_list[2*num_attr+1] = 0;
 236             attr_clist[num_attr] = (char *) odr_malloc(o, len+1);
 237             len = escape_string(attr_clist[num_attr], cp, len);
 238             attr_clist[num_attr][len] = '\0';
 239             return 1;
 240         }
 241     attr_list[2*num_attr+1] = odr_atoi(cp);
 242     attr_clist[num_attr] = 0;
 243     return 1;
 244 }
 245
 246 static Z_AttributeList *get_attributeList(ODR o,
 247                                           int num_attr, Odr_int *attr_list,
 248                                           char **attr_clist, Odr_oid **attr_set)
 249 {
 250     int i, k = 0;
 251     Odr_int *attr_tmp;
 252     Z_AttributeElement **elements;
 253     Z_AttributeList *attributes= (Z_AttributeList *)
 254         odr_malloc(o, sizeof(*attributes));
 255     attributes->num_attributes = num_attr;
 256     if (!num_attr)
 257     {
 258         attributes->attributes = (Z_AttributeElement**)odr_nullval();
 259         return attributes;
 260     }
 261     elements = (Z_AttributeElement**)
 262         odr_malloc(o, num_attr * sizeof(*elements));
 263
 264     attr_tmp = (Odr_int *)odr_malloc(o, num_attr * 2 * sizeof(*attr_tmp));
 265     memcpy(attr_tmp, attr_list, num_attr * 2 * sizeof(*attr_tmp));
 266     for (i = num_attr; --i >= 0; )
 267     {
 268         int j;
 269         for (j = i+1; j<num_attr; j++)
 270             if (attr_tmp[2*j] == attr_tmp[2*i])
 271                 break;
 272         if (j < num_attr)
 273             continue;
 274         elements[k] =
 275             (Z_AttributeElement*)odr_malloc(o,sizeof(**elements));
 276         elements[k]->attributeType = &attr_tmp[2*i];
 277         elements[k]->attributeSet = attr_set[i];
 278
 279         if (attr_clist[i])
 280         {
 281             elements[k]->which = Z_AttributeValue_complex;
 282             elements[k]->value.complex = (Z_ComplexAttribute *)
 283                 odr_malloc(o, sizeof(Z_ComplexAttribute));
 284             elements[k]->value.complex->num_list = 1;
 285             elements[k]->value.complex->list =
 286                 (Z_StringOrNumeric **)
 287                 odr_malloc(o, 1 * sizeof(Z_StringOrNumeric *));
 288             elements[k]->value.complex->list[0] =
 289                 (Z_StringOrNumeric *)
 290                 odr_malloc(o, sizeof(Z_StringOrNumeric));
 291             elements[k]->value.complex->list[0]->which =
 292                 Z_StringOrNumeric_string;
 293             elements[k]->value.complex->list[0]->u.string =
 294                 attr_clist[i];
 295             elements[k]->value.complex->semanticAction = 0;
 296             elements[k]->value.complex->num_semanticAction = 0;
 297         }
 298         else
 299         {
 300             elements[k]->which = Z_AttributeValue_numeric;
 301             elements[k]->value.numeric = &attr_tmp[2*i+1];
 302         }
 303         k++;
 304     }
 305     attributes->num_attributes = k;
 306     attributes->attributes = elements;
 307     return attributes;
 308 }
 309
 310 Z_Term *z_Term_create(ODR o, int term_type, const char *buf, size_t len)
 311 {
 312     Z_Term *term = (Z_Term *)odr_malloc(o, sizeof(*term));
 313     Odr_oct *term_octet = (Odr_oct *)odr_malloc(o, sizeof(*term_octet));
 314     term_octet->buf = (unsigned char *)odr_malloc(o, 1 + len);
 315     memcpy(term_octet->buf, buf, len);
 316     term_octet->len = len;
 317 #if OCT_SIZE
 318     term_octet->size = len;
 319 #endif
 320     term_octet->buf[term_octet->len] = 0;  /* null terminate */
 321
 322     switch (term_type)
 323     {
 324     case Z_Term_general:
 325         term->which = Z_Term_general;
 326         term->u.general = term_octet;
 327         break;
 328     case Z_Term_characterString:
 329         term->which = Z_Term_characterString;
 330         term->u.characterString = (char*) term_octet->buf;
 331         /* null terminated above */
 332         break;
 333     case Z_Term_numeric:
 334         term->which = Z_Term_numeric;
 335         term->u.numeric = odr_intdup(o, odr_atoi((const char*) term_octet->buf));
 336         break;
 337     case Z_Term_null:
 338         term->which = Z_Term_null;
 339         term->u.null = odr_nullval();
 340         break;
 341     case Z_Term_external:
 342         term->which = Z_Term_external;
 343         term->u.external = 0;
 344         break;
 345     default:
 346         term->which = Z_Term_null;
 347         term->u.null = odr_nullval();
 348         break;
 349     }
 350     return term;
 351 }
 352
 353 static Z_AttributesPlusTerm *rpn_term_attributes(
 354     struct yaz_pqf_parser *li, ODR o, Z_AttributeList *attributes)
 355 {
 356     char *es_str = odr_malloc(o, li->lex_len+1);
 357     int es_len = escape_string(es_str, li->lex_buf, li->lex_len);
 358     Z_Term *term = z_Term_create(o, li->term_type, es_str, es_len);
 359     Z_AttributesPlusTerm *zapt = (Z_AttributesPlusTerm *)
 360         odr_malloc(o, sizeof(*zapt));
 361
 362     zapt->term = term;
 363     zapt->attributes = attributes;
 364     return zapt;
 365 }
 366
 367 static Z_AttributesPlusTerm *rpn_term(struct yaz_pqf_parser *li, ODR o,
 368                                       int num_attr, Odr_int *attr_list,
 369                                       char **attr_clist, Odr_oid **attr_set)
 370 {
 371     return rpn_term_attributes(li, o, get_attributeList(o, num_attr, attr_list, attr_clist, attr_set));
 372 }
 373
 374 static Z_Operand *rpn_simple(struct yaz_pqf_parser *li, ODR o,
 375                              int num_attr, Odr_int *attr_list,
 376                              char **attr_clist,
 377                              Odr_oid **attr_set)
 378 {
 379     Z_Operand *zo;
 380
 381     zo = (Z_Operand *)odr_malloc(o, sizeof(*zo));
 382     switch (li->query_look)
 383     {
 384     case 't':
 385         zo->which = Z_Operand_APT;
 386         if (!(zo->u.attributesPlusTerm =
 387               rpn_term(li, o, num_attr, attr_list, attr_clist, attr_set)))
 388             return 0;
 389         lex(li);
 390         break;
 391     case 's':
 392         lex(li);
 393         if (!li->query_look)
 394         {
 395             li->error = YAZ_PQF_ERROR_MISSING;
 396             return 0;
 397         }
 398         zo->which = Z_Operand_resultSetId;
 399         zo->u.resultSetId = (char *)odr_malloc(o, li->lex_len+1);
 400         memcpy(zo->u.resultSetId, li->lex_buf, li->lex_len);
 401         zo->u.resultSetId[li->lex_len] = '\0';
 402         lex(li);
 403         break;
 404     default:
 405         /* we're only called if one of the above types are seens so
 406            this shouldn't happen */
 407         li->error = YAZ_PQF_ERROR_INTERNAL;
 408         return 0;
 409     }
 410     return zo;
 411 }
 412
 413 static Z_ProximityOperator *rpn_proximity(struct yaz_pqf_parser *li, ODR o)
 414 {
 415     Z_ProximityOperator *p = (Z_ProximityOperator *)odr_malloc(o, sizeof(*p));
 416
 417     if (!lex(li))
 418     {
 419         li->error = YAZ_PQF_ERROR_MISSING;
 420         return NULL;
 421     }
 422     if (*li->lex_buf == '1')
 423         p->exclusion = odr_booldup(o, 1);
 424     else if (*li->lex_buf == '0')
 425         p->exclusion = odr_booldup(o, 0);
 426     else if (*li->lex_buf == 'v' || *li->lex_buf == 'n')
 427         p->exclusion = NULL;
 428     else
 429     {
 430         li->error = YAZ_PQF_ERROR_PROXIMITY;
 431         return NULL;
 432     }
 433
 434     if (!lex(li))
 435     {
 436         li->error = YAZ_PQF_ERROR_MISSING;
 437         return NULL;
 438     }
 439     if (*li->lex_buf >= '0' && *li->lex_buf <= '9')
 440         p->distance = odr_intdup(o, odr_atoi(li->lex_buf));
 441     else
 442     {
 443         li->error = YAZ_PQF_ERROR_BAD_INTEGER;
 444         return NULL;
 445     }
 446
 447     if (!lex(li))
 448     {
 449         li->error = YAZ_PQF_ERROR_MISSING;
 450         return NULL;
 451     }
 452     if (*li->lex_buf == '1')
 453         p->ordered = odr_booldup(o, 1);
 454     else if (*li->lex_buf == '0')
 455         p->ordered = odr_booldup(o, 0);
 456     else
 457     {
 458         li->error = YAZ_PQF_ERROR_PROXIMITY;
 459         return NULL;
 460     }
 461
 462     if (!lex (li))
 463     {
 464         li->error = YAZ_PQF_ERROR_MISSING;
 465         return NULL;
 466     }
 467     if (*li->lex_buf >= '0' && *li->lex_buf <= '9')
 468         p->relationType = odr_intdup(o, odr_atoi(li->lex_buf));
 469     else
 470     {
 471         li->error = YAZ_PQF_ERROR_BAD_INTEGER;
 472         return NULL;
 473     }
 474
 475     if (!lex(li))
 476     {
 477         li->error = YAZ_PQF_ERROR_MISSING;
 478         return NULL;
 479     }
 480     if (*li->lex_buf == 'k')
 481         p->which = Z_ProximityOperator_known;
 482     else if (*li->lex_buf == 'p')
 483         p->which = Z_ProximityOperator_private;
 484     else
 485         p->which = atoi(li->lex_buf);
 486
 487     if (p->which != Z_ProximityOperator_known
 488         && p->which != Z_ProximityOperator_private)
 489     {
 490         li->error = YAZ_PQF_ERROR_PROXIMITY;
 491         return NULL;
 492     }
 493
 494     if (!lex(li))
 495     {
 496         li->error = YAZ_PQF_ERROR_MISSING;
 497         return NULL;
 498     }
 499     if (*li->lex_buf >= '0' && *li->lex_buf <= '9')
 500         p->u.known = odr_intdup(o, odr_atoi(li->lex_buf));
 501     else
 502     {
 503         li->error = YAZ_PQF_ERROR_BAD_INTEGER;
 504         return NULL;
 505     }
 506     return p;
 507 }
 508
 509 static Z_Complex *rpn_complex(struct yaz_pqf_parser *li, ODR o,
 510                               int num_attr, int max_attr,
 511                               Odr_int *attr_list, char **attr_clist,
 512                               Odr_oid **attr_set)
 513 {
 514     Z_Complex *zc;
 515     Z_Operator *zo;
 516
 517     zc = (Z_Complex *)odr_malloc(o, sizeof(*zc));
 518     zo = (Z_Operator *)odr_malloc(o, sizeof(*zo));
 519     zc->roperator = zo;
 520     switch (li->query_look)
 521     {
 522     case 'a':
 523         zo->which = Z_Operator_and;
 524         zo->u.op_and = odr_nullval();
 525         break;
 526     case 'o':
 527         zo->which = Z_Operator_or;
 528         zo->u.op_or = odr_nullval();
 529         break;
 530     case 'n':
 531         zo->which = Z_Operator_and_not;
 532         zo->u.and_not = odr_nullval();
 533         break;
 534     case 'p':
 535         zo->which = Z_Operator_prox;
 536         zo->u.prox = rpn_proximity(li, o);
 537         if (!zo->u.prox)
 538             return NULL;
 539         break;
 540     default:
 541         /* we're only called if one of the above types are seens so
 542            this shouldn't happen */
 543         li->error = YAZ_PQF_ERROR_INTERNAL;
 544         return NULL;
 545     }
 546     lex(li);
 547     if (!(zc->s1 =
 548           rpn_structure(li, o, num_attr, max_attr, attr_list,
 549                         attr_clist, attr_set)))
 550         return NULL;
 551     if (!(zc->s2 =
 552           rpn_structure(li, o, num_attr, max_attr, attr_list,
 553                         attr_clist, attr_set)))
 554         return NULL;
 555     return zc;
 556 }
 557
 558 static void rpn_term_type(struct yaz_pqf_parser *li)
 559 {
 560     if (!li->query_look)
 561         return ;
 562     if (compare_term(li, "general", 0))
 563         li->term_type = Z_Term_general;
 564     else if (compare_term(li, "numeric", 0))
 565         li->term_type = Z_Term_numeric;
 566     else if (compare_term(li, "string", 0))
 567         li->term_type = Z_Term_characterString;
 568     else if (compare_term(li, "oid", 0))
 569         li->term_type = Z_Term_oid;
 570     else if (compare_term(li, "datetime", 0))
 571         li->term_type = Z_Term_dateTime;
 572     else if (compare_term(li, "null", 0))
 573         li->term_type = Z_Term_null;
 574 #if 0
 575     else if (compare_term(li, "range", 0))
 576     {
 577         /* prepare for external: range search .. */
 578         li->term_type = Z_Term_external;
 579         li->external_type = VAL_MULTISRCH2;
 580     }
 581 #endif
 582     lex(li);
 583 }
 584
 585 static Z_RPNStructure *rpn_structure(struct yaz_pqf_parser *li, ODR o,
 586                                      int num_attr, int max_attr,
 587                                      Odr_int *attr_list,
 588                                      char **attr_clist,
 589                                      Odr_oid **attr_set)
 590 {
 591     Z_RPNStructure *sz;
 592
 593     sz = (Z_RPNStructure *)odr_malloc(o, sizeof(*sz));
 594     switch (li->query_look)
 595     {
 596     case 'a':
 597     case 'o':
 598     case 'n':
 599     case 'p':
 600         sz->which = Z_RPNStructure_complex;
 601         if (!(sz->u.complex =
 602               rpn_complex(li, o, num_attr, max_attr, attr_list,
 603                           attr_clist, attr_set)))
 604             return NULL;
 605         break;
 606     case 't':
 607     case 's':
 608         sz->which = Z_RPNStructure_simple;
 609         if (!(sz->u.simple =
 610               rpn_simple(li, o, num_attr, attr_list,
 611                          attr_clist, attr_set)))
 612             return NULL;
 613         break;
 614     case 'l':
 615         lex(li);
 616         if (!li->query_look)
 617         {
 618             li->error = YAZ_PQF_ERROR_MISSING;
 619             return 0;
 620         }
 621         if (num_attr >= max_attr)
 622         {
 623             li->error = YAZ_PQF_ERROR_TOOMANY;
 624             return 0;
 625         }
 626         if (!p_query_parse_attr(li, o, num_attr, attr_list,
 627                                 attr_clist, attr_set))
 628             return 0;
 629         num_attr++;
 630         lex(li);
 631         return
 632             rpn_structure(li, o, num_attr, max_attr, attr_list,
 633                           attr_clist,  attr_set);
 634     case 'y':
 635         lex(li);
 636         rpn_term_type(li);
 637         return
 638             rpn_structure(li, o, num_attr, max_attr, attr_list,
 639                           attr_clist, attr_set);
 640     case 0:                /* operator/operand expected! */
 641         li->error = YAZ_PQF_ERROR_MISSING;
 642         return 0;
 643     }
 644     return sz;
 645 }
 646
 647 static Z_RPNQuery *p_query_rpn_mk(ODR o, struct yaz_pqf_parser *li)
 648 {
 649     Z_RPNQuery *zq;
 650     Odr_int attr_array[1024];
 651     char *attr_clist[512];
 652     Odr_oid *attr_set[512];
 653     Odr_oid *top_set = 0;
 654
 655     zq = (Z_RPNQuery *)odr_malloc(o, sizeof(*zq));
 656     lex(li);
 657     if (li->query_look == 'r')
 658     {
 659         lex(li);
 660         top_set = query_oid_getvalbyname(li, o);
 661         if (!top_set)
 662         {
 663             li->error = YAZ_PQF_ERROR_ATTSET;
 664             return NULL;
 665         }
 666         lex(li);
 667     }
 668     if (!top_set)
 669     {
 670         top_set = odr_oiddup(o, yaz_oid_attset_bib_1);
 671     }
 672
 673     zq->attributeSetId = top_set;
 674
 675     if (!zq->attributeSetId)
 676     {
 677         li->error = YAZ_PQF_ERROR_ATTSET;
 678         return 0;
 679     }
 680
 681     if (!(zq->RPNStructure = rpn_structure(li, o, 0, 512,
 682                                            attr_array, attr_clist, attr_set)))
 683         return 0;
 684     if (li->query_look)
 685     {
 686         li->error = YAZ_PQF_ERROR_EXTRA;
 687         return 0;
 688     }
 689     return zq;
 690 }
 691
 692 static void pqf_parser_begin(struct yaz_pqf_parser *li, const char *buf)
 693 {
 694     li->query_buf = li->query_ptr = buf;
 695     li->lex_buf = 0;
 696 }
 697
 698 Z_RPNQuery *p_query_rpn(ODR o, const char *qbuf)
 699 {
 700     struct yaz_pqf_parser li;
 701
 702     li.error = 0;
 703     li.left_sep = "{\"";
 704     li.right_sep = "}\"";
 705     li.escape_char = '@';
 706     li.term_type = Z_Term_general;
 707
 708     pqf_parser_begin(&li, qbuf);
 709     return p_query_rpn_mk(o, &li);
 710 }
 711
 712 static Z_AttributeList *p_query_scan_attributes_mk(struct yaz_pqf_parser *li,
 713                                              ODR o,
 714                                              Odr_oid **attributeSetP)
 715 {
 716     Odr_int attr_list[1024];
 717     char *attr_clist[512];
 718     Odr_oid *attr_set[512];
 719     int num_attr = 0;
 720     int max_attr = 512;
 721     Odr_oid *top_set = 0;
 722
 723     lex(li);
 724     if (li->query_look == 'r')
 725     {
 726         lex(li);
 727         top_set = query_oid_getvalbyname(li, o);
 728         if (!top_set)
 729         {
 730             li->error = YAZ_PQF_ERROR_ATTSET;
 731             return NULL;
 732         }
 733         lex(li);
 734     }
 735     if (!top_set)
 736     {
 737         top_set = odr_oiddup(o, yaz_oid_attset_bib_1);
 738     }
 739     *attributeSetP = top_set;
 740
 741     while (1)
 742     {
 743         if (li->query_look == 'l')
 744         {
 745             lex(li);
 746             if (!li->query_look)
 747             {
 748                 li->error = YAZ_PQF_ERROR_MISSING;
 749                 return 0;
 750             }
 751             if (num_attr >= max_attr)
 752             {
 753                 li->error = YAZ_PQF_ERROR_TOOMANY;
 754                 return 0;
 755             }
 756             if (!p_query_parse_attr(li, o, num_attr, attr_list,
 757                                     attr_clist, attr_set))
 758                 return 0;
 759             num_attr++;
 760             lex(li);
 761         }
 762         else if (li->query_look == 'y')
 763         {
 764             lex(li);
 765             rpn_term_type(li);
 766         }
 767         else
 768             break;
 769     }
 770     return get_attributeList(o, num_attr, attr_list, attr_clist, attr_set);
 771 }
 772
 773 static Z_AttributesPlusTerm *p_query_scan_mk(struct yaz_pqf_parser *li,
 774                                              ODR o,
 775                                              Odr_oid **attributeSetP)
 776 {
 777     Z_AttributeList *attr_list = p_query_scan_attributes_mk(li, o, attributeSetP);
 778     Z_AttributesPlusTerm *apt;
 779
 780     if (!li->query_look)
 781     {
 782         li->error = YAZ_PQF_ERROR_MISSING;
 783         return 0;
 784     }
 785     apt = rpn_term_attributes(li, o, attr_list);
 786
 787     lex(li);
 788
 789     if (li->query_look != 0)
 790     {
 791         li->error = YAZ_PQF_ERROR_EXTRA;
 792         return 0;
 793     }
 794     return apt;
 795 }
 796
 797 YAZ_PQF_Parser yaz_pqf_create(void)
 798 {
 799     YAZ_PQF_Parser p = (YAZ_PQF_Parser) xmalloc(sizeof(*p));
 800
 801     p->error = 0;
 802     p->left_sep = "{\"";
 803     p->right_sep = "}\"";
 804     p->escape_char = '@';
 805     p->term_type = Z_Term_general;
 806
 807     return p;
 808 }
 809
 810 void yaz_pqf_destroy(YAZ_PQF_Parser p)
 811 {
 812     xfree(p);
 813 }
 814
 815 Z_RPNQuery *yaz_pqf_parse(YAZ_PQF_Parser p, ODR o, const char *qbuf)
 816 {
 817     if (!p)
 818         return 0;
 819     pqf_parser_begin(p, qbuf);
 820     return p_query_rpn_mk(o, p);
 821 }
 822
 823 Z_AttributesPlusTerm *yaz_pqf_scan(YAZ_PQF_Parser p, ODR o,
 824                                    Odr_oid **attributeSetP,
 825                                    const char *qbuf)
 826 {
 827     if (!p)
 828         return 0;
 829     pqf_parser_begin(p, qbuf);
 830     return p_query_scan_mk(p, o, attributeSetP);
 831 }
 832
 833 Z_AttributeList *yaz_pqf_scan_attribute_list(YAZ_PQF_Parser p, ODR o,
 834                                              Odr_oid **attributeSetP,
 835                                              const char *qbuf)
 836 {
 837     if (!p)
 838         return 0;
 839     pqf_parser_begin(p, qbuf);
 840     return p_query_scan_attributes_mk(p, o, attributeSetP);
 841 }
 842
 843 static Z_FacetField* parse_facet(ODR odr, const char *facet)
 844 {
 845     YAZ_PQF_Parser pqf_parser = yaz_pqf_create();
 846     struct yaz_pqf_parser *li = pqf_parser;
 847     Odr_oid *attributeSetId;
 848     Z_FacetField *facet_field = 0;
 849     Z_AttributeList *attribute_list;
 850
 851     pqf_parser_begin(pqf_parser, facet);
 852     attribute_list = p_query_scan_attributes_mk(li, odr, &attributeSetId);
 853     if (attribute_list)
 854     {
 855         facet_field = (Z_FacetField *) odr_malloc(odr, sizeof(*facet_field));
 856         facet_field->attributes = attribute_list;
 857         facet_field->num_terms = 0;
 858         facet_field->terms = odr_malloc(odr, 10 * sizeof(*facet_field->terms));
 859         while (li->query_look == 't')
 860         {
 861             if (facet_field->num_terms < 10)
 862             {
 863                 char *es_str = odr_malloc(odr, li->lex_len+1);
 864                 int es_len = escape_string(es_str, li->lex_buf, li->lex_len);
 865                 Z_Term *term = z_Term_create(odr, li->term_type, es_str, es_len);
 866
 867                 facet_field->terms[facet_field->num_terms] =
 868                     (Z_FacetTerm *) odr_malloc(odr, sizeof(Z_FacetTerm));
 869                 facet_field->terms[facet_field->num_terms]->term = term;
 870                 facet_field->terms[facet_field->num_terms]->count =
 871                     odr_intdup(odr, 0);
 872                 facet_field->num_terms++;
 873             }
 874             lex(li);
 875         }
 876     }
 877     yaz_pqf_destroy(pqf_parser);
 878     return facet_field;
 879 }
 880
 881 Z_FacetList *yaz_pqf_parse_facet_list(ODR o, const char *qbuf)
 882 {
 883     char **darray;
 884     int num;
 885
 886     nmem_strsplit(odr_getmem(o), ",", qbuf, &darray, &num);
 887     if (num > 0)
 888     {
 889         int i;
 890         Z_FacetList *fl = (Z_FacetList*) odr_malloc(o, sizeof(*fl));
 891         fl->num = num;
 892         fl->elements = (Z_FacetField **)
 893             odr_malloc(o, num * sizeof(*fl->elements));
 894         for (i = 0; i < num; i++)
 895         {
 896             fl->elements[i] = parse_facet(o, darray[i]);
 897             if (!fl->elements[i])
 898                 return 0;
 899         }
 900         return fl;
 901     }
 902     else
 903         return 0;
 904 }
 905
 906 int yaz_pqf_error(YAZ_PQF_Parser p, const char **msg, size_t *off)
 907 {
 908     switch (p->error)
 909     {
 910     case YAZ_PQF_ERROR_NONE:
 911         *msg = "no error"; break;
 912     case YAZ_PQF_ERROR_EXTRA:
 913         *msg = "extra token"; break;
 914     case YAZ_PQF_ERROR_MISSING:
 915         *msg = "missing token"; break;
 916     case YAZ_PQF_ERROR_ATTSET:
 917         *msg = "unknown attribute set"; break;
 918     case YAZ_PQF_ERROR_TOOMANY:
 919         *msg = "too many attributes"; break;
 920     case YAZ_PQF_ERROR_BADATTR:
 921         *msg = "bad attribute specification"; break;
 922     case YAZ_PQF_ERROR_INTERNAL:
 923         *msg = "internal error"; break;
 924     case YAZ_PQF_ERROR_PROXIMITY:
 925         *msg = "proximity error"; break;
 926     case YAZ_PQF_ERROR_BAD_INTEGER:
 927         *msg = "bad integer"; break;
 928     default:
 929         *msg = "unknown error"; break;
 930     }
 931     *off = p->query_ptr - p->query_buf;
 932     return p->error;
 933 }
 934 /*
 935  * Local variables:
 936  * c-basic-offset: 4
 937  * c-file-style: "Stroustrup"
 938  * indent-tabs-mode: nil
 939  * End:
 940  * vim: shiftwidth=4 tabstop=8 expandtab
 941  */
 942