handy之日志--高性能无锁日志系统

服务器编程中,日志系统需要满足几个条件

.高效,日志系统不应占用太多资源

.简洁,为了一个简单的日志功能引入大量第三方代码未必值得

.线程安全,服务器中各个线程都能同时写出日志

.轮替,服务器不出故障是不重启的,半年一年的日志放到一个文件会导致文件过大

.及时保存,程序故障导致异常退出,此时需要通过日志诊断问题,不缓冲的日志系统更易用

著名的日志库有log4xxx系列,提供了非常灵活的功能,当然随之而来的代价就是庞大的库。在大多数服务器应用中,所需的功能不多,我偏向于选择一个支持按时间轮替的简洁的日志库。

为了同时做到线程安全和支持轮替,大多数日志系统都使用锁。写出日志时,首先获取锁,如果需要轮替,则进行轮替操作,否则写到现有文件,最后释放锁。

google开源的leveldb的日志系统中,同时做到了“线程安全”和轮替,但是没有用锁,这引发了我的兴趣。

仔细阅读发现它的运作原理是

.每个log操作,都会生成相关的字符串,最终调用write,写出到日志系统的文件描述符fd。

.进行rotate操作时,重新命名旧文件,保持旧文件的打开状态,然后打开新文件,将fd设置为新文件。

.接下来sleep 200ms,然后把close旧文件

那么轮替过程中,fd的值为fd_old或者fd_new,只要fd的读写是原子的,不会读取到非fd_old和fd_new的其他值即可(fd是int,这点可以做到)。write操作就没有问题

如果由于系统繁忙,fd读取为fd_old之后,走到操作系统的write之前,线程被切换,并且经过了200ms,那么fd_old就有可能会在sleep 200ms之后被关闭,那么write就可能失败。

因此这种做法是简洁的,能够应对绝大多数情况,但并非安全,而且切换时需要sleep 200ms也是个让人头疼的问题。

借鉴leveldb的做法,加上posix上的dup2调用则可以完美的解决这个问题。

.轮替时,首先重命名旧文件,保持旧文件的打开状态,然后打开新文件。

rename(oldname, newname);
fd = open(oldname,...);

.使用dup2系统函数把fd_new复制到fd_old上

dup2(fd, fd_);

.关闭fd_new

close(fd);

其中dup2是原子操作,它会关闭fd_old并且把fd_old也指向fd_new打开的文件。因此fd_old这个文件描述符总是保持打开状态,并且值不变,但是前后指向了不同的文件。另一边write也是个原子操作,它与dup2不会交叉进行,因此保证了日志系统的正确性。

详情参见开源库handy中的logging.h和logging.cc,里面一部分代码采用了C++11的语法

https://github.com/yedf/handy/tree/master/handy

handy的日志系统中,日志要做的内容就是使用snprintf格式化要输出的内容,然后调用write,没有多余的工作,因此做到了简洁高效

通过前面介绍的原理同时实现了无锁的线程安全,和日志轮替

每次日志的输出都write,即使程序崩溃,日志也已经到了操作系统层,不会丢失,易于调试问题

当然高效与及时保存有一定的冲突,如果缓存多条数据然后合并write能够提升一定的性能,但这里我选择简洁与易用

handy的日志系统性能测试可以参见项目examples下的log-bench.cc,在我笔记本电脑上的虚拟机的压力测试中,输出文件为/dev/null时,能够达到75w/s的qps

PS:handy的日志轮替中,对lastRotate_的读取和修改并非原子类型,可能会导致多轮替一次,解决方法为使用C++11中的原子类型,或者就容忍了(多轮替一次会在后续的操作中失败,仅仅多输出了一条信息到标准错误)。

本文用菊子曰发布

handy之日志--高性能无锁日志系统

时间: 2024-10-13 22:48:39

handy之日志--高性能无锁日志系统的相关文章

一个高性能无锁哈希表的设计和实现

无锁哈希表(Lock-Free Hash Table)是多线程编程中的理想数据结构,但是实现以及使用都需要一定的技巧.作者对此做了一个巧妙的设计实现,在现代X86平台上能取得千万次每秒的并发查找/增加/删除操作. 通过考察各种基于CAS原子操作的无锁数据结构实现,目前公认可实现无锁安全的数据结构是数组和单向队列.其他实现都一定程度上受到ABA问题的威胁.数组的实现相对于单向队列要简单,所以无锁hash table理想的选择是数组,对于冲突不拉链.但是如何解决hash冲突呢?基本思想依然是开放寻址

基于无锁队列和c++11的高性能线程池

基于无锁队列和c++11的高性能线程池线程使用c++11库和线程池之间的消息通讯使用一个简单的无锁消息队列适用于linux平台,gcc 4.6以上 标签: <无> 代码片段(6)[全屏查看所有代码] 1. [代码]lckfree.h ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 // lckfree.h //

MySQL的日志(二):事务日志(redo log和undo log)

本文目录:1.redo log 1.1 redo log和二进制日志的区别 1.2 redo log的基本概念 1.3 日志块(log block) 1.4 log group和redo log file 1.5 redo log的格式 1.6 日志刷盘的规则 1.7 数据页刷盘的规则及checkpoint 1.8 LSN超详细分析 1.9 InnoDB的恢复行为 1.10 和redo log相关的变量2.undo log 2.1 undo log的基本概念 2.2 undo log的存储方式

boost 无锁队列

一哥们翻译的boost的无锁队列的官方文档 原文地址:http://blog.csdn.net/great3779/article/details/8765103 Boost_1_53_0终于迎来了久违的Boost.Lockfree模块,本着学习的心态,将其翻译如下.(原文地址:http://www.boost.org/doc/libs/1_53_0/doc/html/lockfree.html) Chapter 17. Boost.Lockfree 第17章.Boost.Lockfree Ta

Mysql中错误日志、binlog日志、查询日志、慢查询日志简单介绍

前言 数据库的日志是帮助数据库管理员,追踪分析数据库以前发生的各种事件的有力根据.mysql中提供了错误日志.binlog日志(二进制日志).查处日志.慢查询日志.在此,我力求解决下面问题:各个日志的作用是什么?如何去控制这些日志呢?如何去使用这些日志提供的信息呢? 错误日志 1.错误日志作用 错误日志记录了mysql启动和停止时.以及server执行过程中发生不论什么严重性错误的相关信息.当数据库出现不论什么故障导致无法启动时候.比方mysql启动异常.我们可首先检查此日志.在mysql中,错

高并发编程之无锁

前几期简单介绍了一些线程方面的基础知识,以及一些线程的一些基础用法以及通过jvm内存模型的方式去介绍了一些并发中常见的问题(想看往期文章的小伙伴可以直接拉到文章最下方飞速前往).本文重点介绍一个概念“无锁” 本期精彩什么是无锁无锁类的原理AtomicIntegerUnsafeAtomicReferenceAtomicStampedReference 什么是无锁 在高并发编程中最重要的就是获取临界区资源,保证其中操作的原子性.一般来说使用synchronized关键字进行加锁,但是这种操作方式其实

seci-log 1.04 日志分析增加 windows 日志分析

本次升级并没有增加新的告警,而是增加了window的日志分析,主要分析了windows的登录日志和操作日志,这两个比较重要的日志类型,其他日志类型可以作为通用的日志收集功能进行存储查询. Windows系统没有自带的功能支持系统日志进行syslog发送,因此需要依赖第三方工具,这里我们推荐一款非常好用的轻量级日志采集模块:Nxlog,在Windows下部署和配置均十分便捷. 注:本人测试过2008 ,2003 server,理论上2012也是可以的,其他环境没有测试,如果有问题欢迎到群里咨询.

一个无锁消息队列引发的血案:怎样做一个真正的程序员?(二)——月:自旋锁

前续 一个无锁消息队列引发的血案:怎样做一个真正的程序员?(一)——地:起因 一个无锁消息队列引发的血案:怎样做一个真正的程序员?(二)——月:自旋锁 平行时空 在复制好上面那一行我就先停下来了,算是先占了个位置,虽然我知道大概要怎么写,不过感觉还是很乱. 我突然想到,既然那么纠结,那么混乱,那么不知所措,我们不如换个视角.记得高中时看过的为数不多的长篇小说<穆斯林的葬礼>,作者是:霍达(女),故事描写了两个发生在不同时代.有着不同的内容却又交错扭结的爱情悲剧,一个是“玉”的故事,一个是“月”

一个无锁消息队列引发的血案(六)——RingQueue(中) 休眠的艺术 [续]

目录 (一)起因 (二)混合自旋锁 (三)q3.h 与 RingBuffer (四)RingQueue(上) 自旋锁 (五)RingQueue(中) 休眠的艺术 (六)RingQueue(中) 休眠的艺术 [续] 开篇 这是第五篇的后续,这部分的内容同时会更新和添加在 第五篇:RingQueue(中) 休眠的艺术 一文的末尾. 归纳 紧接上一篇的末尾,我们把 Windows 和 Linux 下的休眠策略归纳总结一下,如下图: 我们可以看到,Linux 下的 sched_yield() 虽然包括了