Rsyslog 实现Nginx日志统一收集功能

一、rsyslog 介绍

ryslog 是一个快速处理收集系统日志的程序，提供了高性能、安全功能和模块化设计。rsyslog 是syslog 的升级版，它将多种来源输入输出转换结果到目的地，据官网介绍，现在可以处理100万条信息。

二、Rsyslog应用

Rsyslog服务端配置

下面有一些参数没有做中文解释，是因为我也不是太了解，没办法做出解释，测试不出具体效果

需要自己去看看文档来解决了。

配置文件/etc/rsyslog.conf

$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)

$ModLoad imklog # provides kernel logging support (previously done by rklogd)

$ModLoad immark # provides --MARK-- message capability

$ModLoad imudp #打开ucp连接，通过ucp传日志

$UDPServerRun 514 #UDP端口514

#$ModLoad imtcp #打开tcp连接，通过tcp传日志

$InputTCPServerRun 10514 #TCP端口10514

#$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat

$IncludeConfig /etc/rsyslog.d/*.conf #可以应用的配置文件

$WorkDirectory /data/weblogs #默认的存储路径

$MainMsgQueueType LinkedList

$MainMsgQueueHighWatermark 10000

$MainMsgQueueLowWatermark 1000

$MainMsgQueueMaxDiskSpace 20g #占用磁盘总空间大小

$MainMsgQueueMaxFileSize 200m #单个文件的最大大小

$MainMsgQueueSaveOnShutdown on

$MainMsgQueueDiscardSeverity 8

$template logfile,"/data/weblogs/nginx/log_bak/%syslogtag:F,91:1%.log" #定义日志名称

$template logFormat, "%msg:2:$%\n" #定义日志内容格式

$ActionFileDefaultTemplate logFormat #定义默认的日志内容格式，需要先定义，在再这里应用

local7.* -?logfile

Rsyslog 服务端配置相关参数解释：

$template logfile,"/data/weblogs/nginx/log_bak/%syslogtag:F,91:1%.log"

分析：

%syslogtag% 这个是一个固定的格式，是rsyslog服务器端的日志名称

例如nginx向rsyslog服务端传递的应该是这样的日志名称格式：learn1.game.access

但是我们需要在rsyslog服务端，显示为learn1.game.access.log这样的格式

在这个过程中就涉及到了正则和US-ASCII编码的匹配问题

当前参数为：$template logfile,"/data/weblogs/nginx/log_bak/%syslogtag%"

日志格式为：learn1.game.access[1534]

匹配参数：F是指定分隔符，%syslogtag:F,91:1%，91是US-ASCII编码中"["符号的值，然后取1，也就是说取值[1534]前面的值，得出的格式是learn1.game.access，在最后加上.log后缀，完整格式为%syslogtag:F,91:1%.log，日志格式为learn1.game.access.log

$template logFormat, "%msg:2:$%\n"

%msg%获取到的是nginx日志内容，但是它的显示方式是连续且没有分隔的

1）只获取%msg%内容