src/nmem.c

   1 /*
   2  * Copyright (C) 1995-2007, Index Data ApS
   3  * See the file LICENSE for details.
   4  *
   5  * $Id: nmem.c,v 1.29 2007-04-12 13:52:57 adam Exp $
   6  */
   7
   8 /**
   9  * \file nmem.c
  10  * \brief Implements Nibble Memory
  11  *
  12  * This is a simple and fairly wasteful little module for nibble memory
  13  * allocation. Evemtually we'll put in something better.
  14  *
  15  * FIXME - it also has some semaphore stuff, and stuff to handle errno.
  16  *         These should be moved to some other place!
  17  */
  18 #if HAVE_CONFIG_H
  19 #include <config.h>
  20 #endif
  21
  22 #include <assert.h>
  23 #include <stdlib.h>
  24 #include <string.h>
  25 #include <errno.h>
  26 #include <stddef.h>
  27 #include <yaz/xmalloc.h>
  28 #include <yaz/nmem.h>
  29 #include <yaz/log.h>
  30
  31 #ifdef WIN32
  32 #include <windows.h>
  33 #endif
  34
  35 #if YAZ_POSIX_THREADS
  36 #include <pthread.h>
  37 #endif
  38
  39 #if YAZ_GNU_THREADS
  40 #include <pth.h>
  41 #endif
  42
  43 #define NMEM_CHUNK (4*1024)
  44
  45 struct nmem_block
  46 {
  47     char *buf;              /* memory allocated in this block */
  48     size_t size;            /* size of buf */
  49     size_t top;             /* top of buffer */
  50     struct nmem_block *next;
  51 };
  52
  53 struct nmem_control
  54 {
  55     int total;
  56     struct nmem_block *blocks;
  57     struct nmem_control *next;
  58 };
  59
  60 struct align {
  61     char x;
  62     union {
  63         char c;
  64         short s;
  65         int i;
  66         long l;
  67 #if HAVE_LONG_LONG
  68         long long ll;
  69 #endif
  70         float f;
  71         double d;
  72     } u;
  73 };
  74
  75 #define NMEM_ALIGN (offsetof(struct align, u))
  76
  77 static int log_level = 0;
  78 static int log_level_initialized = 0;
  79
  80 #ifdef WIN32
  81 static CRITICAL_SECTION critical_section;
  82 #define NMEM_ENTER EnterCriticalSection(&critical_section)
  83 #define NMEM_LEAVE LeaveCriticalSection(&critical_section)
  84 struct nmem_mutex {
  85     CRITICAL_SECTION m_handle;
  86 };
  87 #elif YAZ_POSIX_THREADS
  88 static pthread_mutex_t nmem_mutex = PTHREAD_MUTEX_INITIALIZER;
  89 #define NMEM_ENTER pthread_mutex_lock(&nmem_mutex);
  90 #define NMEM_LEAVE pthread_mutex_unlock(&nmem_mutex);
  91 struct nmem_mutex {
  92     pthread_mutex_t m_handle;
  93 };
  94 #elif YAZ_GNU_THREADS
  95 static pth_mutex_t nmem_mutex = PTH_MUTEX_INIT;
  96 #define NMEM_ENTER pth_mutex_acquire(&nmem_mutex, 0, 0)
  97 #define NMEM_LEAVE pth_mutex_release(&nmem_mutex)
  98 struct nmem_mutex {
  99     pth_mutex_t m_handle;
 100 };
 101 #else
 102 #define NMEM_ENTER
 103 #define NMEM_LEAVE
 104 struct nmem_mutex {
 105     int dummy;
 106 };
 107 #endif
 108
 109 size_t nmem_memory_in_use = 0;
 110 size_t nmem_memory_free = 0;
 111
 112 YAZ_EXPORT void nmem_mutex_create(NMEM_MUTEX *p)
 113 {
 114     NMEM_ENTER;
 115     if (!*p)
 116     {
 117         *p = (NMEM_MUTEX) malloc(sizeof(**p));
 118 #ifdef WIN32
 119         InitializeCriticalSection(&(*p)->m_handle);
 120 #elif YAZ_POSIX_THREADS
 121         pthread_mutex_init(&(*p)->m_handle, 0);
 122 #elif YAZ_GNU_THREADS
 123         pth_mutex_init(&(*p)->m_handle);
 124 #endif
 125     }
 126     NMEM_LEAVE;
 127     if (!log_level_initialized)
 128     {
 129         log_level_initialized = 1;
 130         log_level = yaz_log_module_level("nmem");
 131     }
 132
 133 }
 134
 135 YAZ_EXPORT void nmem_mutex_enter(NMEM_MUTEX p)
 136 {
 137     if (p)
 138     {
 139 #ifdef WIN32
 140         EnterCriticalSection(&p->m_handle);
 141 #elif YAZ_POSIX_THREADS
 142         pthread_mutex_lock(&p->m_handle);
 143 #endif
 144     }
 145 }
 146
 147 YAZ_EXPORT void nmem_mutex_leave(NMEM_MUTEX p)
 148 {
 149     if (p)
 150     {
 151 #ifdef WIN32
 152         LeaveCriticalSection(&p->m_handle);
 153 #elif YAZ_POSIX_THREADS
 154         pthread_mutex_unlock(&p->m_handle);
 155 #endif
 156     }
 157 }
 158
 159 YAZ_EXPORT void nmem_mutex_destroy(NMEM_MUTEX *p)
 160 {
 161     if (*p)
 162     {
 163 #ifdef WIN32
 164         DeleteCriticalSection(&(*p)->m_handle);
 165 #endif
 166         free(*p);
 167         *p = 0;
 168     }
 169 }
 170
 171 /** \brief free NMEM memory blocks . Reused in get_block */
 172 static struct nmem_block *freelist = NULL;
 173
 174 /** \brief free NMEM control blocks. Reused in nmem_create */
 175 static struct nmem_control *cfreelist = NULL;
 176
 177 /** \brief number NMEM's in use (number of nmem_controls not in free list) */
 178 static int nmem_active_no = 0;
 179
 180 /** \brief NMEM usage counter */
 181 static int nmem_init_flag = 0;
 182
 183 /** \brief whether nmem blocks should be reassigned to heap */
 184 static int nmem_release_in_heap = 0;
 185
 186 #if NMEM_DEBUG
 187 struct nmem_debug_info {
 188     void *p;
 189     char file[40];
 190     int line;
 191     struct nmem_debug_info *next;
 192 };
 193
 194 struct nmem_debug_info *nmem_debug_list = 0;
 195 #endif
 196
 197 static void free_block(struct nmem_block *p)
 198 {
 199     nmem_memory_in_use -= p->size;
 200     if (nmem_release_in_heap)
 201     {
 202         xfree(p->buf);
 203         xfree(p);
 204     }
 205     else
 206     {
 207         memset(p->buf, 'Y', p->size);
 208         p->next = freelist;
 209         freelist = p;
 210         nmem_memory_free += p->size;
 211     }
 212     if (log_level)
 213         yaz_log (log_level, "nmem free_block p=%p", p);
 214 }
 215
 216 #if NMEM_DEBUG
 217 void nmem_print_list (void)
 218 {
 219     if (log_level)
 220         nmem_print_list_l(log_level);
 221 }
 222
 223 void nmem_print_list_l (int level)
 224 {
 225     struct nmem_debug_info *p;
 226
 227     yaz_log (level, "nmem print list");
 228     NMEM_ENTER;
 229     for (p = nmem_debug_list; p; p = p->next)
 230         yaz_log (level, " %s:%d p=%p size=%d", p->file, p->line, p->p,
 231                  nmem_total(p->p));
 232     NMEM_LEAVE;
 233 }
 234 #endif
 235 /*
 236  * acquire a block with a minimum of size free bytes.
 237  */
 238 static struct nmem_block *get_block(size_t size)
 239 {
 240     struct nmem_block *r, *l;
 241
 242     if (log_level)
 243         yaz_log (log_level, "nmem get_block size=%ld", (long) size);
 244
 245     for (r = freelist, l = 0; r; l = r, r = r->next)
 246         if (r->size >= size)
 247             break;
 248     if (r)
 249     {
 250         if (log_level)
 251             yaz_log (log_level, "nmem get_block found free block p=%p", r);
 252         if (l)
 253             l->next = r->next;
 254         else
 255             freelist = r->next;
 256         nmem_memory_free -= r->size;
 257     }
 258     else
 259     {
 260         size_t get = NMEM_CHUNK;
 261
 262         if (get < size)
 263             get = size;
 264         if(log_level)
 265             yaz_log (log_level, "nmem get_block alloc new block size=%ld",
 266                      (long) get);
 267
 268         r = (struct nmem_block *) xmalloc(sizeof(*r));
 269         r->buf = (char *)xmalloc(r->size = get);
 270     }
 271     nmem_memory_in_use += r->size;
 272     r->top = 0;
 273     return r;
 274 }
 275
 276 void nmem_reset(NMEM n)
 277 {
 278     struct nmem_block *t;
 279
 280     yaz_log (log_level, "nmem_reset p=%p", n);
 281     if (!n)
 282         return;
 283     NMEM_ENTER;
 284     while (n->blocks)
 285     {
 286         t = n->blocks;
 287         n->blocks = n->blocks->next;
 288         free_block(t);
 289     }
 290     n->total = 0;
 291     NMEM_LEAVE;
 292 }
 293
 294 #if NMEM_DEBUG
 295 void *nmem_malloc_f (const char *file, int line, NMEM n, int size)
 296 #else
 297 void *nmem_malloc(NMEM n, int size)
 298 #endif
 299 {
 300     struct nmem_block *p;
 301     char *r;
 302
 303 #if NMEM_DEBUG
 304     if (log_level)
 305         yaz_log (log_level, "%s:%d: nmem_malloc p=%p size=%d",
 306                 file, line, n, size);
 307 #endif
 308     if (!n)
 309     {
 310         yaz_log (YLOG_FATAL, "calling nmem_malloc with an null pointer");
 311         abort ();
 312     }
 313 #ifdef WIN32
 314     assert (nmem_init_flag);
 315 #endif
 316     NMEM_ENTER;
 317     p = n->blocks;
 318     if (!p || p->size < size + p->top)
 319     {
 320         p = get_block(size);
 321         p->next = n->blocks;
 322         n->blocks = p;
 323     }
 324     r = p->buf + p->top;
 325     /* align size */
 326     p->top += (size + (NMEM_ALIGN - 1)) & ~(NMEM_ALIGN - 1);
 327     n->total += size;
 328     NMEM_LEAVE;
 329     return r;
 330 }
 331
 332 int nmem_total(NMEM n)
 333 {
 334     return n->total;
 335 }
 336
 337 #if NMEM_DEBUG
 338 NMEM nmem_create_f(const char *file, int line)
 339 #else
 340 NMEM nmem_create(void)
 341 #endif
 342 {
 343     NMEM r;
 344 #if NMEM_DEBUG
 345     struct nmem_debug_info *debug_p;
 346 #endif
 347     if (!log_level_initialized)
 348     {
 349         log_level = yaz_log_module_level("nmem");
 350         log_level_initialized = 1;
 351     }
 352
 353     NMEM_ENTER;
 354     nmem_active_no++;
 355     r = cfreelist;
 356     if (r)
 357         cfreelist = cfreelist->next;
 358     else
 359         r = (struct nmem_control *)xmalloc(sizeof(*r));
 360     NMEM_LEAVE;
 361
 362 #if NMEM_DEBUG
 363     yaz_log (YLOG_DEBUG, "%s:%d: nmem_create %d p=%p", file, line,
 364                      nmem_active_no, r);
 365 #endif
 366     r->blocks = 0;
 367     r->total = 0;
 368     r->next = 0;
 369
 370 #if NMEM_DEBUG
 371     for (debug_p = nmem_debug_list; debug_p; debug_p = debug_p->next)
 372         if (debug_p->p == r)
 373         {
 374             yaz_log (YLOG_FATAL, "multi used block in nmem");
 375             abort ();
 376         }
 377     debug_p = xmalloc (sizeof(*debug_p));
 378     strncpy (debug_p->file, file, sizeof(debug_p->file)-1);
 379     debug_p->file[sizeof(debug_p->file)-1] = '\0';
 380     debug_p->line = line;
 381     debug_p->p = r;
 382     debug_p->next = nmem_debug_list;
 383     nmem_debug_list = debug_p;
 384
 385     nmem_print_list();
 386 #endif
 387     return r;
 388 }
 389
 390 #if NMEM_DEBUG
 391 void nmem_destroy_f(const char *file, int line, NMEM n)
 392 #else
 393 void nmem_destroy(NMEM n)
 394 #endif
 395 {
 396 #if NMEM_DEBUG
 397     struct nmem_debug_info **debug_p;
 398     int ok = 0;
 399 #endif
 400     if (!n)
 401         return;
 402
 403 #if NMEM_DEBUG
 404     yaz_log (log_level, "%s:%d: nmem_destroy %d p=%p", file, line,
 405                      nmem_active_no-1, n);
 406     NMEM_ENTER;
 407     for (debug_p = &nmem_debug_list; *debug_p; debug_p = &(*debug_p)->next)
 408         if ((*debug_p)->p == n)
 409         {
 410             struct nmem_debug_info *debug_save = *debug_p;
 411             *debug_p = (*debug_p)->next;
 412             xfree (debug_save);
 413             ok = 1;
 414             break;
 415         }
 416     NMEM_LEAVE;
 417     nmem_print_list();
 418     if (!ok)
 419     {
 420         yaz_log (YLOG_WARN, "%s:%d destroying unallocated nmem block p=%p",
 421                  file, line, n);
 422         return;
 423     }
 424 #endif
 425     nmem_reset(n);
 426     NMEM_ENTER;
 427     nmem_active_no--;
 428     if (nmem_release_in_heap)
 429     {
 430         xfree(n);
 431     }
 432     else
 433     {
 434         n->next = cfreelist;
 435         cfreelist = n;
 436     }
 437     NMEM_LEAVE;
 438 }
 439
 440 void nmem_transfer (NMEM dst, NMEM src)
 441 {
 442     struct nmem_block *t;
 443     while ((t = src->blocks))
 444     {
 445         src->blocks = t->next;
 446         t->next = dst->blocks;
 447         dst->blocks = t;
 448     }
 449     dst->total += src->total;
 450     src->total = 0;
 451 }
 452
 453 void nmem_get_memory_in_use(size_t *p)
 454 {
 455     NMEM_ENTER;
 456     *p = nmem_memory_in_use;
 457     NMEM_LEAVE;
 458 }
 459
 460 void nmem_get_memory_free(size_t *p)
 461 {
 462     NMEM_ENTER;
 463     *p = nmem_memory_free;
 464     NMEM_LEAVE;
 465 }
 466
 467 void nmem_critical_enter (void)
 468 {
 469     NMEM_ENTER;
 470 }
 471
 472 void nmem_critical_leave (void)
 473 {
 474     NMEM_LEAVE;
 475 }
 476
 477 void nmem_init (void)
 478 {
 479     if (++nmem_init_flag == 1)
 480     {
 481 #ifdef WIN32
 482         InitializeCriticalSection(&critical_section);
 483 #elif YAZ_GNU_THREADS
 484         pth_init ();
 485 #endif
 486         nmem_active_no = 0;
 487         freelist = NULL;
 488         cfreelist = NULL;
 489     }
 490     if (!log_level_initialized)
 491     {
 492         log_level = yaz_log_module_level("nmem");
 493         log_level_initialized = 1;
 494     }
 495 }
 496
 497 void nmem_exit (void)
 498 {
 499     if (--nmem_init_flag == 0)
 500     {
 501         while (freelist)
 502         {
 503             struct nmem_block *fl = freelist;
 504             nmem_memory_free -= fl->size;
 505             freelist = freelist->next;
 506             xfree (fl->buf);
 507             xfree (fl);
 508         }
 509         while (cfreelist)
 510         {
 511             struct nmem_control *cfl = cfreelist;
 512             cfreelist = cfreelist->next;
 513             xfree (cfl);
 514         }
 515 #ifdef WIN32
 516         DeleteCriticalSection(&critical_section);
 517 #endif
 518     }
 519 }
 520
 521
 522 #ifdef WIN32
 523 BOOL WINAPI DllMain (HINSTANCE hinstDLL,
 524                      DWORD reason,
 525                      LPVOID reserved)
 526 {
 527     switch (reason)
 528     {
 529     case DLL_PROCESS_ATTACH:
 530         nmem_init ();
 531         break;
 532     case DLL_PROCESS_DETACH:
 533         nmem_exit ();
 534     }
 535     return TRUE;
 536 }
 537 #endif
 538
 539 int yaz_errno(void)
 540 {
 541     return errno;
 542 }
 543
 544 void yaz_set_errno(int v)
 545 {
 546     errno = v;
 547 }
 548
 549 void yaz_strerror(char *buf, int max)
 550 {
 551 #ifdef WIN32
 552     DWORD err;
 553 #endif
 554     char *cp;
 555     if (!log_level_initialized)
 556     {
 557         log_level = yaz_log_module_level("nmem");
 558         log_level_initialized = 1;
 559     }
 560
 561 #ifdef WIN32
 562     err = GetLastError();
 563     if (err)
 564     {
 565         FormatMessage(
 566                 FORMAT_MESSAGE_FROM_SYSTEM,
 567                 NULL,
 568                 err,
 569                 MAKELANGID(LANG_NEUTRAL, SUBLANG_DEFAULT), /* Default lang */
 570                 (LPTSTR) buf,
 571                 max-1,
 572                 NULL);
 573     }
 574     else
 575         *buf = '\0';
 576 #else
 577 /* UNIX */
 578 #if HAVE_STRERROR_R
 579 #if YAZ_POSIX_THREADS
 580     *buf = '\0';
 581     strerror_r(errno, buf, max);
 582     /* if buffer is unset - use strerror anyway (GLIBC bug) */
 583     if (*buf == '\0')
 584         strcpy(buf, strerror(yaz_errno()));
 585 #else
 586     strcpy(buf, strerror(yaz_errno()));
 587 #endif
 588 #else
 589     strcpy(buf, strerror(yaz_errno()));
 590 #endif
 591 /* UNIX */
 592 #endif
 593     if ((cp = strrchr(buf, '\n')))
 594         *cp = '\0';
 595     if ((cp = strrchr(buf, '\r')))
 596         *cp = '\0';
 597 }
 598 /*
 599  * Local variables:
 600  * c-basic-offset: 4
 601  * indent-tabs-mode: nil
 602  * End:
 603  * vim: shiftwidth=4 tabstop=8 expandtab
 604  */
 605