yaz_log: Log level tid logs thread ID
[yaz-moved-to-github.git] / src / log.c
index 2b728aa..b001c31 100644 (file)
--- a/src/log.c
+++ b/src/log.c
@@ -1,8 +1,6 @@
-/*
- * Copyright (C) 1995-2006, Index Data ApS
+/* This file is part of the YAZ toolkit.
+ * Copyright (C) 1995-2010 Index Data
  * See the file LICENSE for details.
- *
- * $Id: log.c,v 1.40 2006-09-29 15:29:36 adam Exp $
  */
 
 /**
 
 #ifdef WIN32
 #include <windows.h>
+#include <sys/stat.h>
 #endif
 
-#if YAZ_POSIX_THREADS
-#include <pthread.h>
-#endif
-
-#if YAZ_GNU_THREADS
-#include <pth.h>
-#endif
-
+#if HAVE_SYS_STAT_H
 #include <sys/stat.h>
+#endif
 #include <stdio.h>
 #include <stdlib.h>
 #include <ctype.h>
 #include <stdarg.h>
 #include <errno.h>
 #include <time.h>
-#include <yaz/nmem.h>
+#include <yaz/errno.h>
+#include <yaz/thread_id.h>
 #include <yaz/log.h>
+#include <yaz/snprintf.h>
 #include <yaz/xmalloc.h>
 
-static NMEM_MUTEX log_mutex = 0;
-static int mutex_init_flag = 0; /* not yet initialized */
-
-#define HAS_STRERROR 1
-
-
-#if HAS_STRERROR
+static int l_level = YLOG_DEFAULT_LEVEL;
 
-#else
-char *strerror(int n)
-{
-    extern char *sys_errlist[];
-    return sys_errlist[n];
-}
-
-#endif
-
-
-static int default_log_level(void)
-{
-    char *env = getenv("YAZ_LOG");
-    if (env != 0)
-        return yaz_log_mask_str_x(env, YLOG_DEFAULT_LEVEL);
-    else
-        return YLOG_DEFAULT_LEVEL;
-}
-
-
-static int l_level = -1;        /* will be set from default_log_level() */
-
-enum l_file_type {  use_stderr, use_none, use_file };
+enum l_file_type { use_stderr, use_none, use_file };
 static enum l_file_type yaz_file_type = use_stderr;
 static FILE *yaz_global_log_file = NULL;
 
@@ -89,12 +56,18 @@ static char l_fname[512] = "";
 static char l_old_default_format[] = "%H:%M:%S-%d/%m";
 static char l_new_default_format[] = "%Y%m%d-%H%M%S";
 #define TIMEFORMAT_LEN 50
+#define TID_LEN        30
 static char l_custom_format[TIMEFORMAT_LEN] = "";
 static char *l_actual_format = l_old_default_format;
 
-/** l_max_size tells when to rotate the log. Default to 1 GB */
-static const int l_def_max_size = 1024*1024*1024;
-static int l_max_size = 1024*1024*1024;
+/** l_max_size tells when to rotate the log. The default value is
+    0 which means DISABLED. This is to be preffered if YAZ runs
+    as a server using logrotate etc.
+    A positive size specifies the file size in bytes when a log rotate
+    will occur. Note that in order for this to work YAZ must have
+    permissions to do so.
+ */
+static int l_max_size = 0;
 
 #define MAX_MASK_NAMES 35   /* 32 bits plus a few combo names */
 static struct {
@@ -108,7 +81,8 @@ static struct {
     { YLOG_LOG,    "log"  },
     { YLOG_ERRNO,  ""},
     { YLOG_MALLOC, "malloc"},
-    { YLOG_APP,    "app"  },
+    { YLOG_TID,    "tid"  },
+    { YLOG_APP,    "app"   },
     { YLOG_NOTIME, "notime" },
     { YLOG_APP2,   "app2" }, 
     { YLOG_APP3,   "app3" },
@@ -122,14 +96,21 @@ static struct {
 
 static unsigned int next_log_bit = YLOG_LAST_BIT<<1; /* first dynamic bit */
 
-static void init_mutex(void)
+static void internal_log_init(void)
 {
+    static int mutex_init_flag = 0; /* not yet initialized */
+    char *env;
+
     if (mutex_init_flag)
         return;
-    nmem_mutex_create(&log_mutex);
-    mutex_init_flag = 1;
+    mutex_init_flag = 1; /* here, 'cause nmem_mutex_create may call yaz_log */
+
+    env = getenv("YAZ_LOG");
+    if (env)
+        l_level = yaz_log_mask_str_x(env, l_level);
 }
 
+
 FILE *yaz_log_file(void)
 {
     FILE *f = 0;
@@ -153,7 +134,7 @@ void yaz_log_close(void)
 
 void yaz_log_init_file(const char *fname)
 {
-    init_mutex();
+    internal_log_init();
 
     yaz_log_close();
     if (fname)
@@ -176,17 +157,17 @@ void yaz_log_init_file(const char *fname)
 static void rotate_log(const char *cur_fname)
 {
     int i;
+
 #ifdef WIN32
     /* windows can't rename a file if it is open */
-    fclose(yaz_global_log_file);
-    yaz_global_log_file = 0;
+    yaz_log_close();
 #endif
-    for (i = 0; i<100; i++)
+    for (i = 0; i<9; i++)
     {
         char fname_str[FILENAME_MAX];
         struct stat stat_buf;
 
-        sprintf(fname_str, "%s.%d", cur_fname, i);
+        yaz_snprintf(fname_str, sizeof(fname_str), "%s.%d", cur_fname, i);
         if (stat(fname_str, &stat_buf) != 0)
             break;
     }
@@ -195,10 +176,13 @@ static void rotate_log(const char *cur_fname)
         char fname_str[2][FILENAME_MAX];
 
         if (i > 0)
-            sprintf(fname_str[0], "%s.%d", cur_fname, i-1);
+            yaz_snprintf(fname_str[0], sizeof(fname_str[0]),
+                         "%s.%d", cur_fname, i-1);
         else
-            sprintf(fname_str[0], "%s", cur_fname);
-        sprintf(fname_str[1], "%s.%d", cur_fname, i);
+            yaz_snprintf(fname_str[0], sizeof(fname_str[0]),
+                         "%s", cur_fname);
+        yaz_snprintf(fname_str[1], sizeof(fname_str[1]),
+                     "%s.%d", cur_fname, i);
 #ifdef WIN32
         MoveFileEx(fname_str[0], fname_str[1], MOVEFILE_REPLACE_EXISTING);
 #else
@@ -210,9 +194,7 @@ static void rotate_log(const char *cur_fname)
 
 void yaz_log_init_level(int level)
 {
-    init_mutex();
-    if (l_level < 0) 
-        l_level = default_log_level();
+    internal_log_init();
     if ( (l_level & YLOG_FLUSH) != (level & YLOG_FLUSH) )
     {
         l_level = level;
@@ -220,6 +202,7 @@ void yaz_log_init_level(int level)
     } 
     else
         l_level = level;
+
     if (l_level  & YLOG_LOGLVL)
     {  /* dump the log level bits */
         const char *bittype = "Static ";
@@ -228,10 +211,8 @@ void yaz_log_init_level(int level)
         yaz_log(YLOG_LOGLVL, "Setting log level to %d = 0x%08x",
                 l_level, l_level);
         /* determine size of mask_names (locked) */
-        nmem_mutex_enter(log_mutex);
         for (sz = 0; mask_names[sz].name; sz++)
             ;
-        nmem_mutex_leave(log_mutex);
         /* second pass without lock */
         for (i = 0; i < sz; i++)
             if (mask_names[i].mask && *mask_names[i].name)
@@ -249,7 +230,7 @@ void yaz_log_init_level(int level)
 void yaz_log_init_prefix(const char *prefix)
 {
     if (prefix && *prefix)
-        sprintf(l_prefix, "%.511s ", prefix);
+        yaz_snprintf(l_prefix, sizeof(l_prefix), "%s ", prefix);
     else
         *l_prefix = 0;
 }
@@ -257,14 +238,14 @@ void yaz_log_init_prefix(const char *prefix)
 void yaz_log_init_prefix2(const char *prefix)
 {
     if (prefix && *prefix)
-        sprintf(l_prefix2, "%.511s ", prefix);
+        yaz_snprintf(l_prefix2, sizeof(l_prefix2), "%s ", prefix);
     else
         *l_prefix2 = 0;
 }
 
 void yaz_log_init(int level, const char *prefix, const char *fname)
 {
-    init_mutex();
+    internal_log_init();
     yaz_log_init_level(level);
     yaz_log_init_prefix(prefix);
     if (fname && *fname)
@@ -273,10 +254,10 @@ void yaz_log_init(int level, const char *prefix, const char *fname)
 
 void yaz_log_init_max_size(int mx)
 {
-    if (mx <0)
-        l_max_size = l_def_max_size;
-    else
+    if (mx > 0)
         l_max_size = mx;
+    else
+        l_max_size = 0;
 }
 
 void yaz_log_set_handler(void (*func)(int, const char *, void *), void *info)
@@ -287,14 +268,14 @@ void yaz_log_set_handler(void (*func)(int, const char *, void *), void *info)
 
 void log_event_start(void (*func)(int, const char *, void *), void *info)
 {
-     start_hook_func = func;
-     start_hook_info = info;
+    start_hook_func = func;
+    start_hook_info = info;
 }
 
 void log_event_end(void (*func)(int, const char *, void *), void *info)
 {
-     end_hook_func = func;
-     end_hook_info = info;
+    end_hook_func = func;
+    end_hook_info = info;
 }
 
 static void yaz_log_open_check(struct tm *tm, int force, const char *filemode)
@@ -302,7 +283,10 @@ static void yaz_log_open_check(struct tm *tm, int force, const char *filemode)
     char new_filename[512];
     static char cur_filename[512] = "";
 
-    if (l_fname && *l_fname)
+    if (yaz_file_type != use_file)
+        return;
+
+    if (*l_fname)
     {
         strftime(new_filename, sizeof(new_filename)-1, l_fname, tm);
         if (strcmp(new_filename, cur_filename))
@@ -312,7 +296,7 @@ static void yaz_log_open_check(struct tm *tm, int force, const char *filemode)
         }
     }
 
-    if (l_max_size > 0 && yaz_global_log_file && yaz_file_type == use_file)
+    if (l_max_size > 0 && yaz_global_log_file)
     {
         long flen = ftell(yaz_global_log_file);
         if (flen > l_max_size)
@@ -321,13 +305,25 @@ static void yaz_log_open_check(struct tm *tm, int force, const char *filemode)
             force = 1;
         }
     }
-    if (force && yaz_file_type == use_file && *cur_filename)
+    if (force && *cur_filename)
     {
+        FILE *new_file;
+#ifdef WIN32
         yaz_log_close();
-        yaz_global_log_file = fopen(cur_filename, filemode);
-        if (l_level < 0) l_level = default_log_level();
-        if (l_level & YLOG_FLUSH)
-            setvbuf(yaz_global_log_file, 0, _IONBF, 0);
+#endif
+        new_file = fopen(cur_filename, filemode);
+        if (new_file)
+        {
+            yaz_log_close();
+            yaz_global_log_file = new_file;
+            if (l_level & YLOG_FLUSH)
+                setvbuf(yaz_global_log_file, 0, _IONBF, 0);
+        }
+        else
+        {
+            /* disable log rotate */
+            l_max_size = 0;
+        }
     }
 }
 
@@ -340,14 +336,12 @@ static void yaz_log_do_reopen(const char *filemode)
     struct tm *tm;
 #endif
 
-    nmem_mutex_enter(log_mutex);
 #if HAVE_LOCALTIME_R
     localtime_r(&cur_time, tm);
 #else
     tm = localtime(&cur_time);
 #endif
     yaz_log_open_check(tm, 1, filemode);
-    nmem_mutex_leave(log_mutex);
 }
 
 
@@ -361,33 +355,10 @@ void yaz_log_trunc()
     yaz_log_do_reopen("w");
 }
 
-
-
 static void yaz_strftime(char *dst, size_t sz,
                          const char *fmt, const struct tm *tm)
 {
-    const char *cp = strstr(fmt, "%!");
-    if (cp && strlen(fmt) < 60)
-    {
-        char fmt2[80];
-        char tpidstr[20];
-#ifdef WIN32
-        DWORD tid = GetCurrentThreadId();
-#else
-        long tid = 0;
-#if YAZ_POSIX_THREADS
-        tid = pthread_self();
-#endif
-#endif
-        memcpy(fmt2, fmt, cp-fmt);
-        fmt2[cp-fmt] = '\0';
-        sprintf(tpidstr, "%08lx", (long) tid);
-        strcat(fmt2, tpidstr);
-        strcat(fmt2, cp+2);
-        strftime(dst, sz, fmt2, tm);     
-    }
-    else
-        strftime(dst, sz, fmt, tm);
+    strftime(dst, sz, fmt, tm);
 }
                             
 static void yaz_log_to_file(int level, const char *log_message)
@@ -400,10 +371,8 @@ static void yaz_log_to_file(int level, const char *log_message)
     struct tm *tm;
 #endif
 
-    init_mutex();
+    internal_log_init();
 
-    nmem_mutex_enter(log_mutex);
-    
 #if HAVE_LOCALTIME_R
     localtime_r(&ti, tm);
 #else
@@ -416,6 +385,7 @@ static void yaz_log_to_file(int level, const char *log_message)
     if (file)
     {
         char tbuf[TIMEFORMAT_LEN];
+        char tid[TID_LEN];
         char flags[1024];
         int i;
         
@@ -426,23 +396,39 @@ static void yaz_log_to_file(int level, const char *log_message)
                 if (*mask_names[i].name && mask_names[i].mask && 
                     mask_names[i].mask != YLOG_ALL)
                 {
-                    sprintf(flags + strlen(flags), "[%s]", mask_names[i].name);
+                    if (strlen(flags) + strlen(mask_names[i].name) 
+                                             <   sizeof(flags) - 4)
+                    {
+                        strcat(flags, "[");
+                        strcat(flags, mask_names[i].name);
+                        strcat(flags, "]");
+                    }
                     level &= ~mask_names[i].mask;
                 }
             }
-        
-        if (l_level & YLOG_NOTIME)
-            tbuf[0] = '\0';
-        else
-            yaz_strftime(tbuf, TIMEFORMAT_LEN-1, l_actual_format, tm);
-        tbuf[TIMEFORMAT_LEN-1] = '\0';
-        
-        fprintf(file, "%s %s%s %s%s\n", tbuf, l_prefix, flags, l_prefix2,
+       
+        tbuf[0] = '\0';
+        if (!(l_level & YLOG_NOTIME))
+        {
+            yaz_strftime(tbuf, TIMEFORMAT_LEN-2, l_actual_format, tm);
+            tbuf[TIMEFORMAT_LEN-2] = '\0';
+        }
+        if (tbuf[0])
+            strcat(tbuf, " ");
+        tid[0] = '\0';
+
+        if (l_level & YLOG_TID)
+        {
+            yaz_thread_id_cstr(tid, sizeof(tid)-1);
+            if (tid[0])
+                strcat(tid, " ");
+        }
+
+        fprintf(file, "%s%s%s%s %s%s\n", tbuf, l_prefix, tid, flags, l_prefix2,
                 log_message);
-        if (l_level & (YLOG_FLUSH|YLOG_DEBUG) )
+        if (l_level & YLOG_FLUSH)
             fflush(file);
     }
-    nmem_mutex_leave(log_mutex);
 }
 
 void yaz_log(int level, const char *fmt, ...)
@@ -452,27 +438,25 @@ void yaz_log(int level, const char *fmt, ...)
     FILE *file;
     int o_level = level;
 
-    if (l_level < 0)
-        l_level = default_log_level();
+    internal_log_init();
     if (!(level & l_level))
         return;
     va_start(ap, fmt);
-#ifdef WIN32
-    _vsnprintf(buf, sizeof(buf)-1, fmt, ap);
-#else
-/* !WIN32 */
-#if HAVE_VSNPRINTF
-    vsnprintf(buf, sizeof(buf), fmt, ap);
-#else
-    vsprintf(buf, fmt, ap);
-#endif
-#endif
-/* WIN32 */
+
+    /* 30 is enough for our 'rest of output' message */
+    yaz_vsnprintf(buf, sizeof(buf)-30, fmt, ap);
+    if (strlen(buf) >= sizeof(buf)-31)
+        strcat(buf, " [rest of output omitted]");
+
     if (o_level & YLOG_ERRNO)
     {
-        strcat(buf, " [");
-        yaz_strerror(buf+strlen(buf), 2048);
-        strcat(buf, "]");
+        size_t remain = sizeof(buf) - strlen(buf);
+        if (remain > 100) /* reasonable minimum space for error */
+        {
+            strcat(buf, " [");
+            yaz_strerror(buf+strlen(buf), remain-5); /* 5 due to extra [] */
+            strcat(buf, "]");
+        }
     }
     va_end (ap);
     if (start_hook_func)
@@ -505,7 +489,7 @@ void yaz_log_time_format(const char *fmt)
 }
 
 /** cleans a loglevel name from leading paths and suffixes */
-static char *clean_name(const char *name, int len, char *namebuf, int buflen)
+static char *clean_name(const char *name, size_t len, char *namebuf, size_t buflen)
 {
     char *p = namebuf;
     char *start = namebuf;
@@ -522,28 +506,24 @@ static char *clean_name(const char *name, int len, char *namebuf, int buflen)
 
 static int define_module_bit(const char *name)
 {
-    int i;
-    init_mutex();
-    nmem_mutex_enter(log_mutex);
+    size_t i;
+
     for (i = 0; mask_names[i].name; i++)
         if (0 == strcmp(mask_names[i].name, name))
         {
-            nmem_mutex_leave(log_mutex);
             return mask_names[i].mask;
         }
-    if ( (i>=MAX_MASK_NAMES) || (next_log_bit >= 1<<31 ))
+    if ( (i>=MAX_MASK_NAMES) || (next_log_bit & (1U<<31) ))
     {
-        nmem_mutex_leave(log_mutex);
         yaz_log(YLOG_WARN, "No more log bits left, not logging '%s'", name);
         return 0;
     }
-    mask_names[i].mask = next_log_bit;
+    mask_names[i].mask = (int) next_log_bit; /* next_log_bit can hold int */
     next_log_bit = next_log_bit<<1;
-    mask_names[i].name = malloc(strlen(name)+1);
+    mask_names[i].name = (char *) malloc(strlen(name)+1);
     strcpy(mask_names[i].name, name);
     mask_names[i+1].name = NULL;
     mask_names[i+1].mask = 0;
-    nmem_mutex_leave(log_mutex);
     return mask_names[i].mask;
 }
 
@@ -552,33 +532,32 @@ int yaz_log_module_level(const char *name)
     int i;
     char clean[255];
     char *n = clean_name(name, strlen(name), clean, sizeof(clean));
-    init_mutex();
+    internal_log_init();
     
-    nmem_mutex_enter(log_mutex);
     for (i = 0; mask_names[i].name; i++)
         if (0==strcmp(n, mask_names[i].name))
         {
-            nmem_mutex_leave(log_mutex);
             yaz_log(YLOG_LOGLVL, "returning log bit 0x%x for '%s' %s",
                     mask_names[i].mask, n, 
                     strcmp(n,name) ? name : "");
             return mask_names[i].mask;
         }
-    nmem_mutex_leave(log_mutex);
     yaz_log(YLOG_LOGLVL, "returning NO log bit for '%s' %s", n, 
-                    strcmp(n, name) ? name : "" );
+            strcmp(n, name) ? name : "" );
     return 0;
 }
 
 int yaz_log_mask_str(const char *str)
 {
-    return yaz_log_mask_str_x(str, default_log_level());
+    internal_log_init(); /* since l_level may be affected */
+    return yaz_log_mask_str_x(str, l_level);
 }
 
 int yaz_log_mask_str_x(const char *str, int level)
 {
     const char *p;
 
+    internal_log_init();
     while (*str)
     {
         int negated = 0;
@@ -596,7 +575,7 @@ int yaz_log_mask_str_x(const char *str, int level)
         else 
         {
             char clean[509];
-            char *n = clean_name(str, p-str, clean, sizeof(clean));
+            char *n = clean_name(str, (size_t) (p - str), clean, sizeof(clean));
             int mask = define_module_bit(n);
             if (!mask)
                 level = 0;  /* 'none' clears them all */
@@ -614,7 +593,9 @@ int yaz_log_mask_str_x(const char *str, int level)
 /*
  * Local variables:
  * c-basic-offset: 4
+ * c-file-style: "Stroustrup"
  * indent-tabs-mode: nil
  * End:
  * vim: shiftwidth=4 tabstop=8 expandtab
  */
+