util/nmem.c

   1 /*
   2  * Copyright (c) 1995-2000, Index Data.
   3  * See the file LICENSE for details.
   4  * Sebastian Hammer, Adam Dickmeiss
   5  *
   6  * $Log: nmem.c,v $
   7  * Revision 1.21  2000-02-29 13:44:55  adam
   8  * Check for config.h (currently not generated).
   9  *
  10  * Revision 1.20  2000/01/06 14:59:13  adam
  11  * Added oid_init/oid_exit. Changed oid_exit.
  12  *
  13  * Revision 1.19  1999/11/30 13:47:12  adam
  14  * Improved installation. Moved header files to include/yaz.
  15  *
  16  * Revision 1.18  1999/08/27 09:40:32  adam
  17  * Renamed logf function to yaz_log. Removed VC++ project files.
  18  *
  19  * Revision 1.17  1999/07/13 13:28:25  adam
  20  * Better debugging for NMEM routines.
  21  *
  22  * Revision 1.16  1999/03/31 11:18:25  adam
  23  * Implemented odr_strdup. Added Reference ID to backend server API.
  24  *
  25  * Revision 1.15  1999/02/11 09:10:26  adam
  26  * Function nmem_init only mandatory on Windows.
  27  *
  28  * Revision 1.14  1999/02/02 13:57:40  adam
  29  * Uses preprocessor define WIN32 instead of WINDOWS to build code
  30  * for Microsoft WIN32.
  31  *
  32  * Revision 1.13  1998/10/19 15:24:21  adam
  33  * New nmem utility, nmem_transfer, that transfer blocks from one
  34  * NMEM to another.
  35  *
  36  * Revision 1.12  1998/10/13 16:00:18  adam
  37  * Implemented nmem_critical_{enter,leave}.
  38  *
  39  * Revision 1.11  1998/08/21 14:13:36  adam
  40  * Added GNU Configure script to build Makefiles.
  41  *
  42  * Revision 1.10  1998/07/20 12:35:57  adam
  43  * Added more memory diagnostics (when NMEM_DEBUG is 1).
  44  *
  45  * Revision 1.9  1998/07/07 15:49:01  adam
  46  * Reduced chunk size.
  47  *
  48  * Revision 1.8  1998/07/03 14:21:27  adam
  49  * Added critical sections for pthreads-library. Thanks to Ian Ibbotson,
  50  * Fretwell Downing Informatics.
  51  *
  52  * Revision 1.7  1998/02/11 11:53:36  adam
  53  * Changed code so that it compiles as C++.
  54  *
  55  * Revision 1.6  1997/10/31 12:20:09  adam
  56  * Improved memory debugging for xmalloc/nmem.c. References to NMEM
  57  * instead of ODR in n ESPEC-1 handling in source d1_espec.c.
  58  * Bug fix: missing fclose in data1_read_espec1.
  59  *
  60  * Revision 1.5  1997/10/06 09:09:52  adam
  61  * Function mmem_exit releases memory used by the freelists.
  62  *
  63  * Revision 1.4  1997/09/29 07:12:50  adam
  64  * NMEM thread safe. NMEM must be initialized before use (sigh) -
  65  * routine nmem_init/nmem_exit implemented.
  66  *
  67  * Revision 1.3  1997/07/21 12:47:38  adam
  68  * Moved definition of nmem_control and nmem_block.
  69  *
  70  * Revision 1.2  1995/12/13 13:44:37  quinn
  71  * Modified Data1-system to use nmem
  72  *
  73  * Revision 1.1  1995/11/13  09:27:52  quinn
  74  * Fiddling with the variant stuff.
  75  *
  76  *
  77  */
  78
  79 /*
  80  * This is a simple and fairly wasteful little module for nibble memory
  81  * allocation. Evemtually we'll put in something better.
  82  */
  83 #if HAVE_CONFIG_H
  84 #include <config.h>
  85 #endif
  86
  87 #include <assert.h>
  88 #include <string.h>
  89 #include <yaz/xmalloc.h>
  90 #include <yaz/nmem.h>
  91 #include <yaz/log.h>
  92 #ifdef WIN32
  93 #include <windows.h>
  94 #elif _REENTRANT
  95
  96 #if HAVE_PTHREAD_H
  97 #include <pthread.h>
  98 #elif HAVE_THREAD_H
  99 #include <thread.h>
 100 #endif
 101
 102 #endif
 103
 104 #define NMEM_CHUNK (4*1024)
 105
 106 #ifdef WIN32
 107 static CRITICAL_SECTION critical_section;
 108 #define NMEM_ENTER EnterCriticalSection(&critical_section)
 109 #define NMEM_LEAVE LeaveCriticalSection(&critical_section)
 110 #elif _REENTRANT
 111 static pthread_mutex_t nmem_mutex = PTHREAD_MUTEX_INITIALIZER;
 112 #define NMEM_ENTER pthread_mutex_lock(&nmem_mutex);
 113 #define NMEM_LEAVE pthread_mutex_unlock(&nmem_mutex);
 114 #else
 115 #define NMEM_ENTER
 116 #define NMEM_LEAVE
 117 #endif
 118
 119 static nmem_block *freelist = NULL;        /* "global" freelists */
 120 static nmem_control *cfreelist = NULL;
 121 static int nmem_active_no = 0;
 122 static int nmem_init_flag = 0;
 123
 124 #if NMEM_DEBUG
 125 struct nmem_debug {
 126     void *p;
 127     char file[40];
 128     int line;
 129     struct nmem_debug *next;
 130 };
 131
 132 struct nmem_debug *nmem_debug_list = 0;
 133 #endif
 134
 135 static void free_block(nmem_block *p)
 136 {
 137     p->next = freelist;
 138     freelist = p;
 139 #if NMEM_DEBUG
 140     yaz_log (LOG_DEBUG, "nmem free_block p=%p", p);
 141 #endif
 142 }
 143
 144 #if NMEM_DEBUG
 145 void nmem_print_list (void)
 146 {
 147     struct nmem_debug *p;
 148
 149     yaz_log (LOG_DEBUG, "nmem print list");
 150     NMEM_ENTER;
 151     for (p = nmem_debug_list; p; p = p->next)
 152         yaz_log (LOG_DEBUG, " %s:%d p=%p", p->file, p->line, p->p);
 153     NMEM_LEAVE;
 154 }
 155 #endif
 156 /*
 157  * acquire a block with a minimum of size free bytes.
 158  */
 159 static nmem_block *get_block(int size)
 160 {
 161     nmem_block *r, *l;
 162
 163 #if NMEM_DEBUG
 164     yaz_log (LOG_DEBUG, "nmem get_block size=%d", size);
 165 #endif
 166     for (r = freelist, l = 0; r; l = r, r = r->next)
 167         if (r->size >= size)
 168             break;
 169     if (r)
 170     {
 171 #if NMEM_DEBUG
 172         yaz_log (LOG_DEBUG, "nmem get_block found free block p=%p", r);
 173 #endif
 174         if (l)
 175             l->next = r->next;
 176         else
 177             freelist = r->next;
 178     }
 179     else
 180     {
 181         int get = NMEM_CHUNK;
 182
 183         if (get < size)
 184             get = size;
 185 #if NMEM_DEBUG
 186         yaz_log (LOG_DEBUG, "nmem get_block alloc new block size=%d", get);
 187 #endif
 188         r = (nmem_block *)xmalloc(sizeof(*r));
 189         r->buf = (char *)xmalloc(r->size = get);
 190     }
 191     r->top = 0;
 192     return r;
 193 }
 194
 195 void nmem_reset(NMEM n)
 196 {
 197     nmem_block *t;
 198
 199 #if NMEM_DEBUG
 200     yaz_log (LOG_DEBUG, "nmem_reset p=%p", n);
 201 #endif
 202     if (!n)
 203         return;
 204     NMEM_ENTER;
 205     while (n->blocks)
 206     {
 207         t = n->blocks;
 208         n->blocks = n->blocks->next;
 209         free_block(t);
 210     }
 211     n->total = 0;
 212     NMEM_LEAVE;
 213 }
 214
 215 #if NMEM_DEBUG
 216 void *nmem_malloc_f (const char *file, int line, NMEM n, int size)
 217 #else
 218 void *nmem_malloc(NMEM n, int size)
 219 #endif
 220 {
 221     struct nmem_block *p;
 222     char *r;
 223
 224 #if NMEM_DEBUG
 225     yaz_log (LOG_DEBUG, "%s:%d: nmem_malloc p=%p size=%d", file, line,
 226                      n, size);
 227 #endif
 228     if (!n)
 229     {
 230         abort ();
 231         return xmalloc(size);
 232     }
 233 #ifdef WIN32
 234     assert (nmem_init_flag);
 235 #endif
 236     NMEM_ENTER;
 237     p = n->blocks;
 238     if (!p || p->size - p->top < size)
 239     {
 240         p = get_block(size);
 241         p->next = n->blocks;
 242         n->blocks = p;
 243     }
 244     r = p->buf + p->top;
 245     /* align size */
 246     p->top += (size + (sizeof(long) - 1)) & ~(sizeof(long) - 1);
 247     n->total += size;
 248     NMEM_LEAVE;
 249     return r;
 250 }
 251
 252 int nmem_total(NMEM n)
 253 {
 254     return n->total;
 255 }
 256
 257 #if NMEM_DEBUG
 258 NMEM nmem_create_f(const char *file, int line)
 259 #else
 260 NMEM nmem_create(void)
 261 #endif
 262 {
 263     NMEM r;
 264 #if NMEM_DEBUG
 265     struct nmem_debug *debug_p;
 266 #endif
 267
 268     NMEM_ENTER;
 269     nmem_active_no++;
 270     r = cfreelist;
 271     if (r)
 272         cfreelist = cfreelist->next;
 273     else
 274         r = (nmem_control *)xmalloc(sizeof(*r));
 275     NMEM_LEAVE;
 276
 277 #if NMEM_DEBUG
 278     yaz_log (LOG_DEBUG, "%s:%d: nmem_create %d p=%p", file, line,
 279                      nmem_active_no, r);
 280 #endif
 281     r->blocks = 0;
 282     r->total = 0;
 283     r->next = 0;
 284
 285 #if NMEM_DEBUG
 286     for (debug_p = nmem_debug_list; debug_p; debug_p = debug_p->next)
 287         if (debug_p->p == r)
 288         {
 289             yaz_log (LOG_FATAL, "multi used block in nmem");
 290             abort ();
 291         }
 292     debug_p = xmalloc (sizeof(*debug_p));
 293     strncpy (debug_p->file, file, sizeof(debug_p->file)-1);
 294     debug_p->file[sizeof(debug_p->file)-1] = '\0';
 295     debug_p->line = line;
 296     debug_p->p = r;
 297     debug_p->next = nmem_debug_list;
 298     nmem_debug_list = debug_p;
 299
 300     nmem_print_list();
 301 #endif
 302     return r;
 303 }
 304
 305 #if NMEM_DEBUG
 306 void nmem_destroy_f(const char *file, int line, NMEM n)
 307 #else
 308 void nmem_destroy(NMEM n)
 309 #endif
 310 {
 311 #if NMEM_DEBUG
 312     struct nmem_debug **debug_p;
 313     int ok = 0;
 314 #endif
 315     if (!n)
 316         return;
 317
 318 #if NMEM_DEBUG
 319     yaz_log (LOG_DEBUG, "%s:%d: nmem_destroy %d p=%p", file, line,
 320                      nmem_active_no-1, n);
 321     NMEM_ENTER;
 322     for (debug_p = &nmem_debug_list; *debug_p; debug_p = &(*debug_p)->next)
 323         if ((*debug_p)->p == n)
 324         {
 325             struct nmem_debug *debug_save = *debug_p;
 326             *debug_p = (*debug_p)->next;
 327             xfree (debug_save);
 328             ok = 1;
 329             break;
 330         }
 331     NMEM_LEAVE;
 332     nmem_print_list();
 333     if (!ok)
 334     {
 335         yaz_log (LOG_WARN, "%s:%d destroying unallocated nmem block p=%p",
 336                  file, line, n);
 337         return;
 338     }
 339 #endif
 340     nmem_reset(n);
 341     NMEM_ENTER;
 342     nmem_active_no--;
 343     n->next = cfreelist;
 344     cfreelist = n;
 345     NMEM_LEAVE;
 346 }
 347
 348 void nmem_transfer (NMEM dst, NMEM src)
 349 {
 350     nmem_block *t;
 351     while ((t=src->blocks))
 352     {
 353         src->blocks = t->next;
 354         t->next = dst->blocks;
 355         dst->blocks = t;
 356     }
 357     dst->total += src->total;
 358     src->total = 0;
 359 }
 360
 361 void nmem_critical_enter (void)
 362 {
 363     NMEM_ENTER;
 364 }
 365
 366 void nmem_critical_leave (void)
 367 {
 368     NMEM_LEAVE;
 369 }
 370
 371 void nmem_init (void)
 372 {
 373     nmem_init_flag = 1;
 374 #ifdef WIN32
 375     InitializeCriticalSection(&critical_section);
 376 #endif
 377     nmem_active_no = 0;
 378     freelist = NULL;
 379     cfreelist = NULL;
 380 }
 381
 382 void nmem_exit (void)
 383 {
 384     while (freelist)
 385     {
 386         struct nmem_block *fl = freelist;
 387         freelist = freelist->next;
 388         xfree (fl->buf);
 389         xfree (fl);
 390     }
 391     while (cfreelist)
 392     {
 393         struct nmem_control *cfl = cfreelist;
 394         cfreelist = cfreelist->next;
 395         xfree (cfl);
 396     }
 397     nmem_init_flag = 0;
 398 #ifdef WIN32
 399     DeleteCriticalSection(&critical_section);
 400 #endif
 401 }
 402