5117cfdfdad5d3ebbe78b56f361c23afd0be23e4
[idzebra-moved-to-github.git] / data1 / d1_marc.c
1 /* $Id: d1_marc.c,v 1.6.2.3 2005-02-02 08:03:40 adam Exp $
2    Copyright (C) 1995,1996,1997,1998,1999,2000,2001,2002,2003
3    Index Data Aps
4
5 This file is part of the Zebra server.
6
7 Zebra is free software; you can redistribute it and/or modify it under
8 the terms of the GNU General Public License as published by the Free
9 Software Foundation; either version 2, or (at your option) any later
10 version.
11
12 Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
13 WARRANTY; without even the implied warranty of MERCHANTABILITY or
14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
15 for more details.
16
17 You should have received a copy of the GNU General Public License
18 along with Zebra; see the file LICENSE.zebra.  If not, write to the
19 Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
20 02111-1307, USA.
21 */
22
23 /* converts data1 tree to ISO2709/MARC record */
24
25 #include <assert.h>
26 #include <stdlib.h>
27 #include <string.h>
28
29 #include <yaz/oid.h>
30 #include <yaz/log.h>
31 #include <yaz/marcdisp.h>
32 #include <yaz/readconf.h>
33 #include <yaz/xmalloc.h>
34 #include <yaz/tpath.h>
35 #include <data1.h>
36
37 data1_marctab *data1_read_marctab (data1_handle dh, const char *file)
38 {
39     FILE *f;
40     NMEM mem = data1_nmem_get (dh);
41     data1_marctab *res = (data1_marctab *)nmem_malloc(mem, sizeof(*res));
42     char line[512], *argv[50];
43     int lineno = 0;
44     int argc;
45     
46     if (!(f = data1_path_fopen(dh, file, "r")))
47     {
48         yaz_log(LOG_WARN|LOG_ERRNO, "%s", file);
49         return 0;
50     }
51
52     res->name = 0;
53     res->reference = VAL_NONE;
54     res->next = 0;
55     res->length_data_entry = 4;
56     res->length_starting = 5;
57     res->length_implementation = 0;
58     strcpy(res->future_use, "4");
59
60     strcpy(res->record_status, "n");
61     strcpy(res->implementation_codes, "    ");
62     res->indicator_length = 2;
63     res->identifier_length = 2;
64     res->force_indicator_length = -1;
65     res->force_identifier_length = -1;
66     strcpy(res->user_systems, "z  ");
67     
68     while ((argc = readconf_line(f, &lineno, line, 512, argv, 50)))
69         if (!strcmp(*argv, "name"))
70         {
71             if (argc != 2)
72             {
73                 yaz_log(LOG_WARN, "%s:%d:Missing arg for %s", file, lineno,
74                         *argv);
75                 continue;
76             }
77             res->name = nmem_strdup(mem, argv[1]);
78         }
79         else if (!strcmp(*argv, "reference"))
80         {
81             if (argc != 2)
82             {
83                 yaz_log(LOG_WARN, "%s:%d: Missing arg for %s", file, lineno,
84                         *argv);
85                 continue;
86             }
87             if ((res->reference = oid_getvalbyname(argv[1])) == VAL_NONE)
88             {
89                 yaz_log(LOG_WARN, "%s:%d: Unknown tagset reference '%s'",
90                         file, lineno, argv[1]);
91                 continue;
92             }
93         }
94         else if (!strcmp(*argv, "length-data-entry"))
95         {
96             if (argc != 2)
97             {
98                 yaz_log(LOG_WARN, "%s:%d: Missing arg for %s", file, lineno,
99                         *argv);
100                 continue;
101             }
102             res->length_data_entry = atoi(argv[1]);
103         }
104         else if (!strcmp(*argv, "length-starting"))
105         {
106             if (argc != 2)
107             {
108                 yaz_log(LOG_WARN, "%s:%d: Missing arg for %s", file, lineno,
109                         *argv);
110                 continue;
111             }
112             res->length_starting = atoi(argv[1]);
113         }
114         else if (!strcmp(*argv, "length-implementation"))
115         {
116             if (argc != 2)
117             {
118                 yaz_log(LOG_WARN, "%s:%d: Missing arg for %s", file, lineno,
119                         *argv);
120                 continue;
121             }
122             res->length_implementation = atoi(argv[1]);
123         }
124         else if (!strcmp(*argv, "future-use"))
125         {
126             if (argc != 2)
127             {
128                 yaz_log(LOG_WARN, "%s:%d: Missing arg for %s", file, lineno,
129                         *argv);
130                 continue;
131             }
132             strncpy(res->future_use, argv[1], 2);
133         }
134         else if (!strcmp(*argv, "force-indicator-length"))
135         {
136             if (argc != 2)
137             {
138                 yaz_log(LOG_WARN, "%s:%d: Missing arg for %s", file, lineno,
139                         *argv);
140                 continue;
141             }
142             res->force_indicator_length = atoi(argv[1]);
143         }
144         else if (!strcmp(*argv, "force-identifier-length"))
145         {
146             if (argc != 2)
147             {
148                 yaz_log(LOG_WARN, "%s:%d: Missing arg for %s", file, lineno,
149                         *argv);
150                 continue;
151             }
152             res->force_identifier_length = atoi(argv[1]);
153         }
154         else
155             yaz_log(LOG_WARN, "%s:%d: Unknown directive '%s'", file, lineno,
156                     *argv);
157
158     fclose(f);
159     return res;
160 }
161
162
163 /*
164  * Locate some data under this node. This routine should handle variants
165  * prettily.
166  */
167 static char *get_data(data1_node *n, int *len, int chop)
168 {
169     char *r;
170
171     while (n)
172     {
173         if (n->which == DATA1N_data)
174         {
175             int i;
176             *len = n->u.data.len;
177             
178             
179             if (chop)
180             {
181                 for (i = 0; i<*len; i++)
182                     if (!d1_isspace(n->u.data.data[i]))
183                         break;
184                 while (*len && d1_isspace(n->u.data.data[*len - 1]))
185                     (*len)--;
186                 *len = *len - i;
187                 if (*len > 0)
188                     return n->u.data.data + i;
189             }
190             else
191                 if (*len > 0)
192                     return n->u.data.data;
193         }
194         if (n->which == DATA1N_tag)
195             n = n->child;
196         else if (n->which == DATA1N_data)
197             n = n->next;
198         else
199             break;      
200     }
201     r = "";
202     *len = strlen(r);
203     return r;
204 }
205
206 static void memint (char *p, int val, int len)
207 {
208     char buf[10];
209
210     if (len == 1)
211         *p = val + '0';
212     else
213     {
214         sprintf (buf, "%08d", val);
215         memcpy (p, buf+8-len, len);
216     }
217 }
218
219 /* check for indicator. non MARCXML only */
220 static int is_indicator (data1_marctab *p, data1_node *subf)
221 {
222     if (p->indicator_length != 2 ||
223         (subf && subf->which == DATA1N_tag && strlen(subf->u.tag.tag) == 2))
224         return 1;
225     return 0;
226 }
227
228 static int nodetomarc(data1_handle dh,
229                       data1_marctab *p, data1_node *n, int selected,
230                       char **buf, int *size)
231 {
232     char leader[24];
233
234     int len = 26;
235     int dlen;
236     int base_address = 25;
237     int entry_p, data_p;
238     char *op;
239     data1_node *field, *subf;
240
241 #if 0
242     data1_pr_tree(dh, n, stdout);
243 #endif
244     yaz_log (LOG_DEBUG, "nodetomarc");
245
246     memcpy (leader+5, p->record_status, 1);
247     memcpy (leader+6, p->implementation_codes, 4);
248     memint (leader+10, p->indicator_length, 1);
249     memint (leader+11, p->identifier_length, 1);
250     memcpy (leader+17, p->user_systems, 3);
251     memint (leader+20, p->length_data_entry, 1);
252     memint (leader+21, p->length_starting, 1);
253     memint (leader+22, p->length_implementation, 1);
254     memcpy (leader+23, p->future_use, 1);
255
256     for (field = n->child; field; field = field->next)
257     {
258         int control_field = 0;  /* 00X fields - usually! */
259         int marc_xml = 0;
260
261         if (field->which != DATA1N_tag)
262             continue;
263         if (selected && !field->u.tag.node_selected)
264             continue;
265             
266         subf = field->child;
267         if (!subf)
268             continue;
269         
270         if (!yaz_matchstr(field->u.tag.tag, "mc?"))
271             continue;
272         else if (!strcmp(field->u.tag.tag, "leader"))
273         {
274             int dlen = 0;
275             char *dbuf = get_data(subf, &dlen, 0);
276             if (dlen > 24)
277                 dlen = 24;
278             if (dbuf && dlen > 0)
279                 memcpy (leader, dbuf, dlen);
280             continue;
281         }
282         else if (!strcmp(field->u.tag.tag, "controlfield"))
283         {
284             control_field = 1;
285             marc_xml = 1;
286         }
287         else if (!strcmp(field->u.tag.tag, "datafield"))
288         {
289             control_field = 0;
290             marc_xml = 1;
291         }
292         else if (subf->which == DATA1N_data)
293         {
294             control_field = 1;
295             marc_xml = 0;
296         }
297         else
298         {
299             control_field = 0;
300             marc_xml = 0;
301         }
302
303         len += 4 + p->length_data_entry + p->length_starting
304             + p->length_implementation;
305         base_address += 3 + p->length_data_entry + p->length_starting
306             + p->length_implementation;
307
308         if (!control_field)
309             len += p->indicator_length;  
310
311         /* we'll allow no indicator if length is not 2 */
312         /* select when old XML format, since indicator is an element */
313         if (marc_xml == 0 && is_indicator (p, subf))
314             subf = subf->child;
315         
316         for (; subf; subf = subf->next)
317         {
318             if (!control_field)
319                 len += p->identifier_length;
320             get_data(subf, &dlen, 1);
321             len += dlen;
322         }
323     }
324
325     if (!*buf)
326         *buf = (char *)xmalloc(*size = len);
327     else if (*size <= len)
328         *buf = (char *)xrealloc(*buf, *size = len);
329         
330     op = *buf;
331
332     /* we know the base address now */
333     memint (leader+12, base_address, 5);
334
335     /* copy temp leader to real output buf op */
336     memcpy (op, leader, 24);
337     memint (op, len, 5);
338     
339     entry_p = 24;
340     data_p = base_address;
341
342     for (field = n->child; field; field = field->next)
343     {
344         int control_field = 0;
345         int marc_xml = 0;
346         const char *tag = 0;
347
348         int data_0 = data_p;
349         char indicator_data[6];
350
351         memset (indicator_data, ' ', sizeof(indicator_data)-1);
352         indicator_data[sizeof(indicator_data)-1] = '\0';
353
354         if (field->which != DATA1N_tag)
355             continue;
356
357         if (selected && !field->u.tag.node_selected)
358             continue;
359
360         subf = field->child;
361         if (!subf)
362             continue;
363         
364         if (!yaz_matchstr(field->u.tag.tag, "mc?"))
365             continue;
366         else if (!strcmp(field->u.tag.tag, "leader"))
367             continue;
368         else if (!strcmp(field->u.tag.tag, "controlfield"))
369         {
370             control_field = 1;
371             marc_xml = 1;
372         }
373         else if (!strcmp(field->u.tag.tag, "datafield"))
374         {
375             control_field = 0;
376             marc_xml = 1;
377         }
378         else if (subf->which == DATA1N_data)
379         {
380             control_field = 1;
381             marc_xml = 0;
382         }
383         else
384         {
385             control_field = 0;
386             marc_xml = 0;
387         }
388         if (marc_xml == 0 && is_indicator (p, subf))
389         {
390             strncpy(indicator_data, subf->u.tag.tag, sizeof(indicator_data)-1);
391             subf = subf->child;
392         }
393         else if (marc_xml == 1 && !control_field)
394         {
395             data1_xattr *xa;
396             for (xa = field->u.tag.attributes; xa; xa = xa->next)
397             {
398                 if (!strcmp(xa->name, "ind1"))
399                     indicator_data[0] = xa->value[0];
400                 if (!strcmp(xa->name, "ind2"))
401                     indicator_data[1] = xa->value[0];
402                 if (!strcmp(xa->name, "ind3"))
403                     indicator_data[2] = xa->value[0];
404             }
405         }
406         if (!control_field)
407         {
408             memcpy (op + data_p, indicator_data, p->indicator_length);
409             data_p += p->indicator_length;
410         }
411         for (; subf; subf = subf->next)
412         {
413             char *data;
414
415             if (!control_field)
416             {
417                 const char *identifier = "a";
418                 if (marc_xml)
419                 {
420                     if (subf->which == DATA1N_tag &&
421                         !strcmp(subf->u.tag.tag, "subfield"))
422                     {
423                         data1_xattr *xa;
424                         for (xa = subf->u.tag.attributes; xa; xa = xa->next)
425                             if (!strcmp(xa->name, "code"))
426                                 identifier = xa->value;
427                     }
428                 }
429                 else if (subf->which != DATA1N_tag)
430                     yaz_log(LOG_WARN, "Malformed fields for marc output.");
431                 else
432                     identifier = subf->u.tag.tag;
433                 op[data_p] = ISO2709_IDFS;
434                 memcpy (op + data_p+1, identifier, p->identifier_length-1);
435                 data_p += p->identifier_length;
436             }
437             data = get_data(subf, &dlen, 1);
438             memcpy (op + data_p, data, dlen);
439             data_p += dlen;
440         }
441         op[data_p++] = ISO2709_FS;
442
443         if (marc_xml)
444         {
445             data1_xattr *xa;
446             for (xa = field->u.tag.attributes; xa; xa = xa->next)
447                 if (!strcmp(xa->name, "tag"))
448                     tag = xa->value;
449         }
450         else
451             tag = field->u.tag.tag;
452
453         if (!tag || strlen(tag) != 3)
454             tag = "000";
455         memcpy (op + entry_p, tag, 3);
456         
457         entry_p += 3;
458         memint (op + entry_p, data_p - data_0, p->length_data_entry);
459         entry_p += p->length_data_entry;
460         memint (op + entry_p, data_0 - base_address, p->length_starting);
461         entry_p += p->length_starting;
462         entry_p += p->length_implementation;
463     }
464     op[entry_p++] = ISO2709_FS;
465     assert (entry_p == base_address);
466     op[data_p++] = ISO2709_RS;
467     assert (data_p == len);
468     return len;
469 }
470
471 char *data1_nodetomarc(data1_handle dh, data1_marctab *p, data1_node *n,
472                        int selected, int *len)
473 {
474     int *size;
475     char **buf = data1_get_map_buf (dh, &size);
476
477     n = data1_get_root_tag (dh, n);
478     if (!n)
479         return 0;
480     *len = nodetomarc(dh, p, n, selected, buf, size);
481     return *buf;
482 }