log4Net 高性能写入和CSV格式

最近在使用log4net，在使用之前我们必须知道文件流是如何操作的，否则就是盲人摸向。。。，在FileAppender.cs文件里面有LockingModelBase来控制流的锁，默认有3个子类

ExclusiveLock：默认的，Hold an exclusive lock on the output file，Open the file once for writing and hold it open until CloseFile is called.  Maintains an exclusive lock on the file during this time.

MinimalLock：Acquires the file lock for each write，Opens the file once for each AcquireLock / ReleaseLock cycle,  thus holding the lock for the minimal amount of time.This method of locking is considerably slower than FileAppender.ExclusiveLock but allows  other processes to move/delete the log file whilst logging continues.

InterProcessLock：Provides cross-process file locking.使用Mutex来实现多进程

这里意思是MinimalLock比ExclusiveLock慢一点，因为它每次都会打开关闭文件流。如果确定应从程序只有一个进程个人推荐 ExclusiveLock，如果不确定 用InterProcessLock也不错。

但是这里的log记录默认都是采用同步方式的，但是我个人更趋向用异步多线程的思路来写log，首先log的信息记录在内存ConcurrentQueue里面，然后在通过一个后台线程把ConcurrentQueue里面的东西记录到文件流里面。至于性能高出多少我想就不用多说了吧，写内存肯定比写流快啊

具体实现code如下：

[assembly: log4net.Config.XmlConfigurator(Watch = true, ConfigFile = "log4net.config")]
namespace ConsoleApp
{
    using log4net;
    using System;
    using System.Collections.Concurrent;
    using System.Threading;
    using System.Threading.Tasks;

    public sealed class QueueLogger
    {
        /// <summary>
        /// 记录消息Queue
        /// </summary>
        private readonly ConcurrentQueue<QueueLogMessage> _que;

        /// <summary>
        /// 信号
        /// </summary>
        private readonly ManualResetEvent _mre;

        /// <summary>
        /// 日志
        /// </summary>
        private readonly ILog _log;

        /// <summary>
        /// 日志
        /// </summary>
        private static QueueLogger flashLog = new QueueLogger();

        private QueueLogger()
        {
            // 设置日志配置文件路径
            //XmlConfigurator.Configure(new FileInfo(Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "log4net.config")));

            _que = new ConcurrentQueue<QueueLogMessage>();
            _mre = new ManualResetEvent(false);
            _log = LogManager.GetLogger(System.Reflection.MethodBase.GetCurrentMethod().DeclaringType);
            Task.Run(() => { WriteLog(); });
        }

        /// <summary>
        /// 从队列中写日志至磁盘
        /// </summary>
        private void WriteLog()
        {
            while (true)
            {
                // 等待信号通知
                _mre.WaitOne();

                QueueLogMessage msg;
                // 判断是否有内容需要如磁盘 从列队中获取内容，并删除列队中的内容
                while (_que.Count > 0 && _que.TryDequeue(out msg))
                {
                    // 判断日志等级，然后写日志
                    switch (msg.Level)
                    {
                        case QueueLogLevel.Debug:
                            _log.Debug(msg.Message, msg.Exception);
                            break;
                        case QueueLogLevel.Info:
                            _log.Info(msg.Message, msg.Exception);
                            break;
                        case QueueLogLevel.Error:
                            _log.Error(msg.Message, msg.Exception);
                            break;
                        case QueueLogLevel.Warn:
                            _log.Warn(msg.Message, msg.Exception);
                            break;
                        case QueueLogLevel.Fatal:
                            _log.Fatal(msg.Message, msg.Exception);
                            break;
                    }
                }

                // 重新设置信号
                _mre.Reset();
            }
        }

        /// <summary>
        /// 写日志
        /// </summary>
        /// <param name="message">日志文本</param>
        /// <param name="level">等级</param>
        /// <param name="ex">Exception</param>
        public void EnqueueMessage(string message, QueueLogLevel level, Exception ex = null)
        {
            if ((level == QueueLogLevel.Debug && _log.IsDebugEnabled)
             || (level == QueueLogLevel.Error && _log.IsErrorEnabled)
             || (level == QueueLogLevel.Fatal && _log.IsFatalEnabled)
             || (level == QueueLogLevel.Info && _log.IsInfoEnabled)
             || (level == QueueLogLevel.Warn && _log.IsWarnEnabled))
            {
                _que.Enqueue(new QueueLogMessage
                {
                    // Message = "[" + DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss,fff") + "]\r\n" + message,
                    Message = message,
                    Level = level,
                    Exception = ex
                });

                // 通知线程往磁盘中写日志
                _mre.Set();
            }
        }

        public static void Debug(string msg, Exception ex = null)
        {
            flashLog.EnqueueMessage(msg, QueueLogLevel.Debug, ex);
        }

        public static void Error(string msg, Exception ex = null)
        {
            flashLog.EnqueueMessage(msg, QueueLogLevel.Error, ex);
        }

        public static void Fatal(string msg, Exception ex = null)
        {
            flashLog.EnqueueMessage(msg, QueueLogLevel.Fatal, ex);
        }

        public static void Info(string msg, Exception ex = null)
        {
            flashLog.EnqueueMessage(msg, QueueLogLevel.Info, ex);
        }

        public static void Warn(string msg, Exception ex = null)
        {
            flashLog.EnqueueMessage(msg, QueueLogLevel.Warn, ex);
        }

    }

    /// <summary>
    /// 日志等级
    /// </summary>
    public enum QueueLogLevel
    {
        Debug,
        Info,
        Error,
        Warn,
        Fatal
    }

    /// <summary>
    /// 日志内容
    /// </summary>
    public class QueueLogMessage
    {
        public string Message { get; set; }
        public QueueLogLevel Level { get; set; }
        public Exception Exception { get; set; }

    }
}

至于CSV格式有2中方法 实现，一是自定义PatternLayout类：

namespace log4net
{
    using Layout;
    using System.IO;
    using System.Text;
    using Util;
    using Core;

    public class CSVPatternLayout : PatternLayout
    {
        public override void ActivateOptions()
        {
            AddConverter("newfield", typeof(CSVNewFiledConverter));
            AddConverter("endrow", typeof(CSVEndRowConverter));
            base.ActivateOptions();
        }

        public override void Format(TextWriter writer, LoggingEvent loggingEvent)
        {
            var csvWriter = new CSVTextWriter(writer);
            csvWriter.WriteQuote();
            base.Format(csvWriter, loggingEvent);
        }
    }

    public class CSVTextWriter : TextWriter
    {
        private readonly TextWriter textWriter;
        public CSVTextWriter(TextWriter txtWriter)
        {
            textWriter = txtWriter;
        }

        public override void Write(char value)
        {
            // base.Write(value);
            textWriter.Write(value);
            //if (value == ‘"‘)
            //{
            //}
        }

        public void WriteQuote()
        {
            textWriter.Write(‘"‘);
        }

        public override Encoding Encoding
        {
            get
            {
                return textWriter.Encoding;
            }
        }
    }

    public class CSVNewFiledConverter : PatternConverter
    {
        protected override void Convert(TextWriter writer, object state)
        {
            var csvWriter = writer as CSVTextWriter;
            csvWriter?.WriteQuote();
            writer.Write(",");
            csvWriter?.WriteQuote();
        }
    }

    public class CSVEndRowConverter : PatternConverter
    {
        protected override void Convert(TextWriter writer, object state)
        {
            var csvWriter = writer as CSVTextWriter;
            csvWriter?.WriteQuote();
            writer.WriteLine();
        }
    }
}

配置文件中需要加上逗号

<layout type="log4net.CSVPatternLayout,ConsoleApp">
<header value="Time,Thread,Level,Logger,Message,Exception " />
<conversionPattern value="%date{yyyy-MM-dd HH:mm:ss}%newfield%thread%newfield%level%newfield%logger%newfield%message%newfield%exception%endrow" />
</layout>

这里 是\r\n,%newfield是一个逗号，%endrow是逗号+换行

看到这里其实我们可以自己拼接CSV的内容，也就是说只要有，\r\n就可以了

<layout type="log4net.Layout.PatternLayout">
<header value="Time,Message,Type, " />
<param name="ConversionPattern" value="&quot;%date{yyyy-MM-dd HH:mm:ss}&quot;,&quot;%message%&quot; "/>
</layout>

调用code：

StringBuilder sb = new StringBuilder();
sb.Append("test");
sb.Append("\",\"");
sb.Append("debug");
QueueLogger.Debug(sb.ToString());

写入的信息是test","debug，在加上ConversionPattern里面的配置就是"test","debug".整个配置如下：

<?xml version="1.0" encoding="utf-8"?>
<configuration>
  <configSections>
    <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler, log4net" />
  </configSections>
  <log4net xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
    <appender name="InfoLog" type="log4net.Appender.RollingFileAppender">
      <param name="File" value="Log\Info\Info" />
      <param name="AppendToFile" value="True" />
      <appendToFile value="true" />
      <maxSizeRollBackups value="100" />
      <maximumFileSize value="10MB" />
      <staticLogFileName value="false" />
      <rollingStyle value="Composite" />
      <datePattern value="yyyyMMdd‘.csv‘" />
      <lockingModel type="log4net.Appender.FileAppender+MinimalLock" />
      <layout type="log4net.CSVPatternLayout,ConsoleApp">
        <header value="Time,Thread,Level,Logger,Message,Exception
" />
        <conversionPattern  value="%date{yyyy-MM-dd HH:mm:ss}%newfield%thread%newfield%level%newfield%logger%newfield%message%newfield%exception%endrow" />
      </layout>
      <filter type="log4net.Filter.LevelRangeFilter">
        <param name="LevelMin" value="INFO" />
        <param name="LevelMax" value="INFO" />
      </filter>
    </appender>

    <appender name="DebugLog" type="log4net.Appender.RollingFileAppender">
      <file type="log4net.Util.PatternString" value="Log\Debug\Debug" />
      <appendToFile value="true" />
      <maxSizeRollBackups value="100" />
      <maximumFileSize value="10MB" />
      <staticLogFileName value="false" />
      <rollingStyle value="Composite" />
      <datePattern value="yyyyMMdd‘.csv‘" />
      <lockingModel type="log4net.Appender.FileAppender+ExclusiveLock" />
      <layout type="log4net.Layout.PatternLayout">
        <header value="Time,Message,Type,
" />
        <param name="ConversionPattern" value="&quot;%date{yyyy-MM-dd HH:mm:ss}&quot;,&quot;%message%&quot;
"/>
      </layout>
      <filter type="log4net.Filter.LevelRangeFilter">
        <param name="LevelMin" value="DEBUG" />
        <param name="LevelMax" value="DEBUG" />
      </filter>
    </appender>
    <appender name="ColoredConsoleAppender" type="log4net.Appender.ColoredConsoleAppender">
      <mapping>
        <level value="ERROR" />
        <foreColor value="Red" />
      </mapping>
      <mapping>
        <level value="INFO" />
        <foreColor value="Green" />
      </mapping>
      <layout type="log4net.Layout.PatternLayout">
        <conversionPattern value="# %date{HH:mm:ss} [%thread] %-5level %logger #%newline%message%newline" />
      </layout>
      <filter type="log4net.Filter.LevelRangeFilter">
        <param name="LevelMin" value="DEBUG" />
        <param name="LevelMax" value="FATAL" />
      </filter>
    </appender>
    <root>
      <!-- OFF < FATAL < ERROR < WARN < INFO < DEBUG < ALL -->
      <level value="ALL" />
      <appender-ref ref="InfoLog" />
      <appender-ref ref="DebugLog" />
      <!--
        <appender-ref ref="ColoredConsoleAppender" />
      -->
    </root>
  </log4net>
</configuration>
时间： 2024-10-09 00:22:59

log4Net 高性能写入和CSV格式的相关文章

Python数据写入csv格式文件

(只是传递,基础知识也是根基) Python读取数据,并存入Excel打开的CSV格式文件内! 这里需要用到bs4,csv,codecs,os模块. 废话不多说,直接写代码!该重要的内容都已经注释了,剩下不懂的可以自己查询一下,或者QQ群内问我.QQ群在以往的博客中! 1 #coding:utf-8 2 from bs4 import BeautifulSoup 3 import bs4 4 import os 5 import time 6 import csv 7 import codecs

C++写入写出CSV格式文件

CSV格式的文件,可以用excel打开,格式和txt一样,每列用英文逗号隔开,每行用\n 方法1: int main(){ FILE *f; f = fopen("e:\\a.csv" , "wb"); fprintf(f,"aaa,23,sdf\n"); fprintf(f,"bbb/,,345\,,2sdf\n"); fclose(f); return 0;}

goalng导出excel(csv格式)

最近项目中有个小需求,需要将查询结果导出到excel.之间前java比较容易,使用POI很容易就能实现,查了下golang的文档,发现golang下边并没有导出excel的包,但是却有一个encoding/csv的包,看了下发现可以导出csv文件,大家都知道csv文件其实就是文本格式的excel文件,可以直接通过excel打开或是导入excel. 看起来挺好的,问题如愿解决,但是事实证明对已一个还不成熟的语言或是库最好还是先测一下的好.兴冲冲的卸了测试例子,成功导出了一个text.csv文件,一

C#对.CSV格式的文件--逗号分隔值 的读写及上传ftp服务器操作方法总结

前言 公司最近开发需要将数据保存到.csv文件(逗号分隔值 )中然后上传到ftp服务器上,供我们系统还有客户系统调用,之前完全没有接触过这个,所以先来看看百度的解释:逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本).纯文本意味着该文件是一个字符序列,不含必须像二进制数字那样被解读的数据.CSV文件由任意数目的记录组成,记录间以某种换行符分隔:每条记录由字段组成,字段间的分隔符是其它字

批量处理csv格式转换成xls

结合下面的代码学习相关模块及函数方法的使用 #coding:utf-8 #导入相应模块 import csv import xlwt import sys import os import fnmatch #另存为文件名 def ex_file(mycsvfile): csvfile = open(mycsvfile,"rb") #csvfile = open("test.csv","rb") #新建excel文件 myexcel = xlwt.

Nodejs fastCSV 实现数据的csv格式导出

Nodejs实现CSV格式的数据导出 使用的第三方包: fast-csv: npm install fast-csv async: npm install async mysql: npm install mysql 在这个实现中使用mysql数据源将mysql中的数据导入到对应的csv文件中. /** * 实现dump数据到csv文件数据中 * 导出csv数据模版 **/ var config = require('./info.json'); var fs = require("fs&quo

Scrapy用pipelines把字典保存为csv格式

import csv class MyProjectPipeline(object): # 保存为csv格式def __init__(self): # 打开文件,指定方式为写,利用第3个参数把csv写数据时产生的空行消除 self.f = open("myproject.csv","a",newline="") # 设置文件第一行的字段名,注意要跟spider传过来的字典key名称相同 self.fieldnames = ["m_num

Python，使用pandas保存数据为csv格式的文件

使用pandas对数据进行保存时,可以有两种形式进行保存 一.对于数据量不是很大的文件,可以放到列表中,进行一次性存储. 二.对于大量的数据,可以考虑一边生成,一边存储,可以避免开辟大量内存空间,去往列表中存储数据. 本人才疏学浅,只懂一些表面的东西,如有错误,望请指正! 下面通过代码进行说明 1 import pandas as pd 2 3 4 class SaveCsv: 5 6 def __init__(self): 7 self.clist = [[1,2,3], [4,5,6], [

linux操作系统-给文本添加 &#39; -单引号，一般转成CSV格式时使用

[[email protected] ~]# cat 1.txt1ms2ms3ms4ms5ms [[email protected] ~]# cat 1.txt | awk '{print $1"\047"}'1ms'2ms'3ms'4ms'5ms' [[email protected] ~]# cat 1.txt | awk '{print $1"\047"}' > 2.txt[[email protected] ~]# cat 2.txt1ms'2ms'3