util/nmem.c

   1 /*
   2  * Copyright (c) 1995-1999, Index Data.
   3  * See the file LICENSE for details.
   4  * Sebastian Hammer, Adam Dickmeiss
   5  *
   6  * $Log: nmem.c,v $
   7  * Revision 1.20  2000-01-06 14:59:13  adam
   8  * Added oid_init/oid_exit. Changed oid_exit.
   9  *
  10  * Revision 1.19  1999/11/30 13:47:12  adam
  11  * Improved installation. Moved header files to include/yaz.
  12  *
  13  * Revision 1.18  1999/08/27 09:40:32  adam
  14  * Renamed logf function to yaz_log. Removed VC++ project files.
  15  *
  16  * Revision 1.17  1999/07/13 13:28:25  adam
  17  * Better debugging for NMEM routines.
  18  *
  19  * Revision 1.16  1999/03/31 11:18:25  adam
  20  * Implemented odr_strdup. Added Reference ID to backend server API.
  21  *
  22  * Revision 1.15  1999/02/11 09:10:26  adam
  23  * Function nmem_init only mandatory on Windows.
  24  *
  25  * Revision 1.14  1999/02/02 13:57:40  adam
  26  * Uses preprocessor define WIN32 instead of WINDOWS to build code
  27  * for Microsoft WIN32.
  28  *
  29  * Revision 1.13  1998/10/19 15:24:21  adam
  30  * New nmem utility, nmem_transfer, that transfer blocks from one
  31  * NMEM to another.
  32  *
  33  * Revision 1.12  1998/10/13 16:00:18  adam
  34  * Implemented nmem_critical_{enter,leave}.
  35  *
  36  * Revision 1.11  1998/08/21 14:13:36  adam
  37  * Added GNU Configure script to build Makefiles.
  38  *
  39  * Revision 1.10  1998/07/20 12:35:57  adam
  40  * Added more memory diagnostics (when NMEM_DEBUG is 1).
  41  *
  42  * Revision 1.9  1998/07/07 15:49:01  adam
  43  * Reduced chunk size.
  44  *
  45  * Revision 1.8  1998/07/03 14:21:27  adam
  46  * Added critical sections for pthreads-library. Thanks to Ian Ibbotson,
  47  * Fretwell Downing Informatics.
  48  *
  49  * Revision 1.7  1998/02/11 11:53:36  adam
  50  * Changed code so that it compiles as C++.
  51  *
  52  * Revision 1.6  1997/10/31 12:20:09  adam
  53  * Improved memory debugging for xmalloc/nmem.c. References to NMEM
  54  * instead of ODR in n ESPEC-1 handling in source d1_espec.c.
  55  * Bug fix: missing fclose in data1_read_espec1.
  56  *
  57  * Revision 1.5  1997/10/06 09:09:52  adam
  58  * Function mmem_exit releases memory used by the freelists.
  59  *
  60  * Revision 1.4  1997/09/29 07:12:50  adam
  61  * NMEM thread safe. NMEM must be initialized before use (sigh) -
  62  * routine nmem_init/nmem_exit implemented.
  63  *
  64  * Revision 1.3  1997/07/21 12:47:38  adam
  65  * Moved definition of nmem_control and nmem_block.
  66  *
  67  * Revision 1.2  1995/12/13 13:44:37  quinn
  68  * Modified Data1-system to use nmem
  69  *
  70  * Revision 1.1  1995/11/13  09:27:52  quinn
  71  * Fiddling with the variant stuff.
  72  *
  73  *
  74  */
  75
  76 /*
  77  * This is a simple and fairly wasteful little module for nibble memory
  78  * allocation. Evemtually we'll put in something better.
  79  */
  80
  81 #include <assert.h>
  82 #include <string.h>
  83 #include <yaz/xmalloc.h>
  84 #include <yaz/nmem.h>
  85 #include <yaz/log.h>
  86 #ifdef WIN32
  87 #include <windows.h>
  88 #elif _REENTRANT
  89
  90 #if HAVE_PTHREAD_H
  91 #include <pthread.h>
  92 #elif HAVE_THREAD_H
  93 #include <thread.h>
  94 #endif
  95
  96 #endif
  97
  98 #define NMEM_CHUNK (4*1024)
  99
 100 #ifdef WIN32
 101 static CRITICAL_SECTION critical_section;
 102 #define NMEM_ENTER EnterCriticalSection(&critical_section)
 103 #define NMEM_LEAVE LeaveCriticalSection(&critical_section)
 104 #elif _REENTRANT
 105 static pthread_mutex_t nmem_mutex = PTHREAD_MUTEX_INITIALIZER;
 106 #define NMEM_ENTER pthread_mutex_lock(&nmem_mutex);
 107 #define NMEM_LEAVE pthread_mutex_unlock(&nmem_mutex);
 108 #else
 109 #define NMEM_ENTER
 110 #define NMEM_LEAVE
 111 #endif
 112
 113 static nmem_block *freelist = NULL;        /* "global" freelists */
 114 static nmem_control *cfreelist = NULL;
 115 static int nmem_active_no = 0;
 116 static int nmem_init_flag = 0;
 117
 118 #if NMEM_DEBUG
 119 struct nmem_debug {
 120     void *p;
 121     char file[40];
 122     int line;
 123     struct nmem_debug *next;
 124 };
 125
 126 struct nmem_debug *nmem_debug_list = 0;
 127 #endif
 128
 129 static void free_block(nmem_block *p)
 130 {
 131     p->next = freelist;
 132     freelist = p;
 133 #if NMEM_DEBUG
 134     yaz_log (LOG_DEBUG, "nmem free_block p=%p", p);
 135 #endif
 136 }
 137
 138 #if NMEM_DEBUG
 139 void nmem_print_list (void)
 140 {
 141     struct nmem_debug *p;
 142
 143     yaz_log (LOG_DEBUG, "nmem print list");
 144     NMEM_ENTER;
 145     for (p = nmem_debug_list; p; p = p->next)
 146         yaz_log (LOG_DEBUG, " %s:%d p=%p", p->file, p->line, p->p);
 147     NMEM_LEAVE;
 148 }
 149 #endif
 150 /*
 151  * acquire a block with a minimum of size free bytes.
 152  */
 153 static nmem_block *get_block(int size)
 154 {
 155     nmem_block *r, *l;
 156
 157 #if NMEM_DEBUG
 158     yaz_log (LOG_DEBUG, "nmem get_block size=%d", size);
 159 #endif
 160     for (r = freelist, l = 0; r; l = r, r = r->next)
 161         if (r->size >= size)
 162             break;
 163     if (r)
 164     {
 165 #if NMEM_DEBUG
 166         yaz_log (LOG_DEBUG, "nmem get_block found free block p=%p", r);
 167 #endif
 168         if (l)
 169             l->next = r->next;
 170         else
 171             freelist = r->next;
 172     }
 173     else
 174     {
 175         int get = NMEM_CHUNK;
 176
 177         if (get < size)
 178             get = size;
 179 #if NMEM_DEBUG
 180         yaz_log (LOG_DEBUG, "nmem get_block alloc new block size=%d", get);
 181 #endif
 182         r = (nmem_block *)xmalloc(sizeof(*r));
 183         r->buf = (char *)xmalloc(r->size = get);
 184     }
 185     r->top = 0;
 186     return r;
 187 }
 188
 189 void nmem_reset(NMEM n)
 190 {
 191     nmem_block *t;
 192
 193 #if NMEM_DEBUG
 194     yaz_log (LOG_DEBUG, "nmem_reset p=%p", n);
 195 #endif
 196     if (!n)
 197         return;
 198     NMEM_ENTER;
 199     while (n->blocks)
 200     {
 201         t = n->blocks;
 202         n->blocks = n->blocks->next;
 203         free_block(t);
 204     }
 205     n->total = 0;
 206     NMEM_LEAVE;
 207 }
 208
 209 #if NMEM_DEBUG
 210 void *nmem_malloc_f (const char *file, int line, NMEM n, int size)
 211 #else
 212 void *nmem_malloc(NMEM n, int size)
 213 #endif
 214 {
 215     struct nmem_block *p;
 216     char *r;
 217
 218 #if NMEM_DEBUG
 219     yaz_log (LOG_DEBUG, "%s:%d: nmem_malloc p=%p size=%d", file, line,
 220                      n, size);
 221 #endif
 222     if (!n)
 223     {
 224         abort ();
 225         return xmalloc(size);
 226     }
 227 #ifdef WIN32
 228     assert (nmem_init_flag);
 229 #endif
 230     NMEM_ENTER;
 231     p = n->blocks;
 232     if (!p || p->size - p->top < size)
 233     {
 234         p = get_block(size);
 235         p->next = n->blocks;
 236         n->blocks = p;
 237     }
 238     r = p->buf + p->top;
 239     /* align size */
 240     p->top += (size + (sizeof(long) - 1)) & ~(sizeof(long) - 1);
 241     n->total += size;
 242     NMEM_LEAVE;
 243     return r;
 244 }
 245
 246 int nmem_total(NMEM n)
 247 {
 248     return n->total;
 249 }
 250
 251 #if NMEM_DEBUG
 252 NMEM nmem_create_f(const char *file, int line)
 253 #else
 254 NMEM nmem_create(void)
 255 #endif
 256 {
 257     NMEM r;
 258 #if NMEM_DEBUG
 259     struct nmem_debug *debug_p;
 260 #endif
 261
 262     NMEM_ENTER;
 263     nmem_active_no++;
 264     r = cfreelist;
 265     if (r)
 266         cfreelist = cfreelist->next;
 267     else
 268         r = (nmem_control *)xmalloc(sizeof(*r));
 269     NMEM_LEAVE;
 270
 271 #if NMEM_DEBUG
 272     yaz_log (LOG_DEBUG, "%s:%d: nmem_create %d p=%p", file, line,
 273                      nmem_active_no, r);
 274 #endif
 275     r->blocks = 0;
 276     r->total = 0;
 277     r->next = 0;
 278
 279 #if NMEM_DEBUG
 280     for (debug_p = nmem_debug_list; debug_p; debug_p = debug_p->next)
 281         if (debug_p->p == r)
 282         {
 283             yaz_log (LOG_FATAL, "multi used block in nmem");
 284             abort ();
 285         }
 286     debug_p = xmalloc (sizeof(*debug_p));
 287     strncpy (debug_p->file, file, sizeof(debug_p->file)-1);
 288     debug_p->file[sizeof(debug_p->file)-1] = '\0';
 289     debug_p->line = line;
 290     debug_p->p = r;
 291     debug_p->next = nmem_debug_list;
 292     nmem_debug_list = debug_p;
 293
 294     nmem_print_list();
 295 #endif
 296     return r;
 297 }
 298
 299 #if NMEM_DEBUG
 300 void nmem_destroy_f(const char *file, int line, NMEM n)
 301 #else
 302 void nmem_destroy(NMEM n)
 303 #endif
 304 {
 305 #if NMEM_DEBUG
 306     struct nmem_debug **debug_p;
 307     int ok = 0;
 308 #endif
 309     if (!n)
 310         return;
 311
 312 #if NMEM_DEBUG
 313     yaz_log (LOG_DEBUG, "%s:%d: nmem_destroy %d p=%p", file, line,
 314                      nmem_active_no-1, n);
 315     NMEM_ENTER;
 316     for (debug_p = &nmem_debug_list; *debug_p; debug_p = &(*debug_p)->next)
 317         if ((*debug_p)->p == n)
 318         {
 319             struct nmem_debug *debug_save = *debug_p;
 320             *debug_p = (*debug_p)->next;
 321             xfree (debug_save);
 322             ok = 1;
 323             break;
 324         }
 325     NMEM_LEAVE;
 326     nmem_print_list();
 327     if (!ok)
 328     {
 329         yaz_log (LOG_WARN, "%s:%d destroying unallocated nmem block p=%p",
 330                  file, line, n);
 331         return;
 332     }
 333 #endif
 334     nmem_reset(n);
 335     NMEM_ENTER;
 336     nmem_active_no--;
 337     n->next = cfreelist;
 338     cfreelist = n;
 339     NMEM_LEAVE;
 340 }
 341
 342 void nmem_transfer (NMEM dst, NMEM src)
 343 {
 344     nmem_block *t;
 345     while ((t=src->blocks))
 346     {
 347         src->blocks = t->next;
 348         t->next = dst->blocks;
 349         dst->blocks = t;
 350     }
 351     dst->total += src->total;
 352     src->total = 0;
 353 }
 354
 355 void nmem_critical_enter (void)
 356 {
 357     NMEM_ENTER;
 358 }
 359
 360 void nmem_critical_leave (void)
 361 {
 362     NMEM_LEAVE;
 363 }
 364
 365 void nmem_init (void)
 366 {
 367     nmem_init_flag = 1;
 368 #ifdef WIN32
 369     InitializeCriticalSection(&critical_section);
 370 #endif
 371     nmem_active_no = 0;
 372     freelist = NULL;
 373     cfreelist = NULL;
 374 }
 375
 376 void nmem_exit (void)
 377 {
 378     while (freelist)
 379     {
 380         struct nmem_block *fl = freelist;
 381         freelist = freelist->next;
 382         xfree (fl->buf);
 383         xfree (fl);
 384     }
 385     while (cfreelist)
 386     {
 387         struct nmem_control *cfl = cfreelist;
 388         cfreelist = cfreelist->next;
 389         xfree (cfl);
 390     }
 391     nmem_init_flag = 0;
 392 #ifdef WIN32
 393     DeleteCriticalSection(&critical_section);
 394 #endif
 395 }
 396