Rsyslog初步学习

一、Rsyslog整体架构

Rsyslog消息流：输入模块——>预处理模块——>主队列——>过滤模块——>执行队列——>输出模块

1. 输入模块

　　输入模块是消息来源

2. 预处理模块

　　主要解决各种syslog协议实现间的差异

3. 队列模块

　　负责消息的存储，从Input传入的未经过滤的消息放在主队列，过滤后的消息放入到不同的action queue中，再由执行队列送到各个输出模块

4. 过滤模块

　　Filter模块处理消息的分析和过滤，rsyslog可以对消息的任何部分进行过滤

5. 输出模块

　　消息的目的地

6. rsyslog命令的参数

7. 其他概念

基本结构：数据流动过程中内置的基本处理框架，但是对于消息流，是可以高度定制化的。定制工作是通过自定义rsyslog对象来完成的。

消息流和对象概览：消息通过input模块进入rsyslog，接着到ruleset，进行规则匹配，也就是做一些处理，比如写到文件，数据库或者继续转发到远程主机。

处理原则：每个ruleset会包含>=0个规则，一条规则包含一个过滤器和一个动作列表，一个动作列表会包含一个或多个动作

过滤器：控制流量，动作列表不会再出现过滤器

处理顺序：rsyslog.conf中得命令是从上到下一次执行的，所以，如果你停止了对某消息的处理，那么这行之后的命令就不会再被检查和执行了

流程控制语句：

if expr then ... else ...- 条件语句

stop - 停止处理当前消息

call - 调用一个rulese（类似子程序调用）

continue - 一个空操作（NOP）,很有用。比如在if语句的then部分

流控制也可以通过过滤器条件来实现

数据操作语言：

set - 设置一个用户变量

unset - 删除之前设置的用户变量

二、Rsyslog的作用

  • 接收来自多种源的输入
  • 传输接收的内容
  • 输出到不同类型的目的端

三、Rsyslog的特征

  • 多线程
  • TCP/SSL/TLS/RELP
  • MySQL/PostgreSQL/Oracle等
  • 对syslog日志的任何部分进行筛选和过滤
  • 完全可控的输出格式
  • 适合企业级的日志系统

四、 rsyslog配置相关概念

1. 属性替代

　　Rsyslog 预定义了一些属性，来代表消息中的信息，我们可以在定义输出格式、动态文件名的时候使用到这些属性。这里面比较重要的属性比如：msg（消息体）、hostname、pri（消息等级和类别）、time（时间有关），属性的名称中以$开头的是从本地系统获得的变量、不带$是从消息中获得变量。

　　属性替代的语法格式：

%propname:fromChar:toChar:options:fieldname%

　　属性替换的功能很强大，你可以使用起始字符获取自己所需的字段，也可以使用正则表达式，也可以使用分隔符。举几个例子：为了兼容一个rfc协议，rsyslog规定如果用户输入的msg不是以空格开头，rsyslog会自动补充一个空格，因此如果你希望输出的时候去掉这个空格，就可以使用，举例：

%msg:2:$%    #选取msg变量中，起始位置为2，终止位置为结尾

　　我们经常需要根据空格来分析字符串，F表示使用字符分割，32是空格的ascii码，例：

%msg:F,32:3%  #按照空格分隔，取第三个子串

　　正则匹配可以匹配特定的文字和格式，属性替代中还用到了一类特殊的以$!开头的变量，这是使用mmnormalize模块时特有的，可以实现类似于syslog-ng中parser模块的功能。

2. 模板（详细使用见Rsyslog模板文章）

功能：

（1）定义输出的格式

（2）定义omfile模块的动态路径、动态文件。需要用到属性替换

形式：

（1）一般简单格式，可以使用string的形式

（2）复杂的格式，可使用list形式

（3）子树（subtree）

（4）插件（plugin）

3. Ruleset（规则集）

（1）实现多实例功能

（2）针对syslog的来源使用不同的过滤规则

（3）需要在配置文件中先定义ruleset，才可以使用

举例：针对不同端口使用不同的过滤规则

#定义规则：以local3开头的所有日志发送到10.0.0.44的1999端口，以local4开头的日志发送到10.0.0.44的2000端口

$Ruleset    tcp1999

$RulesetCreateMainQueue on

Local3.*    @@10.0.0.44:1999

#定义规则2 类似于上

$Ruleset    tcp2000

$RulesetCreateMainQueue on

Local4.*    @@10.0.0.44:2000

4. Filter模块

　　rsyslog可使用rsyslog标准的过滤规则，同时自己添加了一些扩展。比如在输出中指定rsyslog自己的处理方式，可以指定输出模板（template）

　　使用方法：在规则（ruleset）后面添加模板的名字，用分号隔开

　　举例：

#第一种方式：将local3.*的日志保存到所指目录中，输出处理使用t_msg模块

Local3.*    -/data0/logs/local3.log;t_msg

#？问号表示使用模板定义的动态路径

Local4.*    -?f_local3_test;t_msg

#第二种方式

#除了syslog标准的规则，rsyslog的作者还自己开发了一个叫做rainerscript的脚本语言，来定义更复杂的过滤规则，rainerscript可以对

#属性进行startwith、contains、%（取余）等过滤规则

if $pri-txt == local3.* and $msg contains "abc" then {

    *.* -/data0/logs/local3.log;t_msg

}

#这个例子表示如果pri是local3，且在消息中包含子串‘abc’

#第三种方式：使用属性的表示方式

:msg, regex, "^ [g-z]"  /root/rsyslog_worker_dir/2000.log   #以字母g到z开头的消息，注意msg开头有空格

5. 队列

队列的种类：主队列和工作队列。从输入模块进入主队列；主队列的消息，经过过滤模块，进入到相应的工作队列队列的四种工作模式。

队列的四种工作模式：

此外，内存队列还可以通过指定一个queuename来添加DA模式，DA模式主要是为了防止意外情况（进程关闭，server端宕机）下，内存队列可以不丢失。

关于队列的配置：

因为 MainMsgQueue 和 ActionQueue 的配置基本一样(除了有些默认值可能不同)， 所以这里以MainMsgQueue 为例:

$MainMsgQueueType [FixedArray/LinkedList/Direct/Disk]

$MainMsgQueueFileName <name> 　　　　　　　　　　　　　　　　#针对disk queue的配置，定义队列名，存储队列数据时用的文件名就是这个名称

MainMsgQueueCheckpointInterval <number> 　　　　　　　　　　#针对disk queue的配置，单位条数，设置在检查点写入相关信息，增加可靠性，但是会降低性能

$MainMsgQueueDequeueBatchSize <number> [default 32] 　　　　#设置多少条队列作为一个batch一起出队，针对一个日志量很大的系统，可以考虑把这个值调高来增加性能，不过要结合可使用内存考虑实际情况

对于DA队列，最有特点就是队列阈值的设置了。主要包括这几个配置:

$MainMsgQueueSize 　　　　　　　　　　　　　　　　　　　　　　#设置队列的最大大小

$MainMsgQueueDiscardMark <number> [default 9750] 　　　　#配合下面的 $MainMsgQueueDiscardSeverity，超过这个watermark后，不重要的日志都会丢弃，包括新进来和已经在队列里的

$MainMsgQueueDiscardSeverity <severity> [default 4 (warning)] 0-Emergency, 1-Alert, 2-Critical, 3-Error, 4-Warning, 5-Notice, 6-Informational, 7-Debug

$MainMsgQueueHighWaterMark <number> [default 8000] 　　　　#设置 high watermark

$MainMsgQueueLowWaterMark <number> [default 2000] 　　　　#设置 low watermark

$MainMsgQueueMaxFileSize <size_nbr> [default 1m] 　　　　　　#针对disk情况下，单个文件的最大大小

$MainMsgQueueMaxDiskSpace 　　　　　　　　　　　　　　　　　　　　#控制占用硬盘总空间大小

DA 对于阈值处理的逻辑比较有意思，并不是单纯的内存满了就开始使用硬盘。首先，有 low watermark 和 high watermark 这两个概念。

如果队列大小达到 high watermark，队列开始写数据到disk 如果队列大小降到 low watermark，停止写入disk(直到再次达到 high watermark); 或者 disk queue 队列为空(即da队列里的数据处理完)，这两种情况都会进入in-memory 模式

关于终止队列的一些处理配置:

$MainMsgQueueTimeoutEnqueue [number is timeout in ms (1000ms is 1sec!), default 2000, 0 means indefinite] 　　　　　　　　#当队列或硬盘满了，在这个超时时间后新来的日志，设置0可以直接丢弃掉

$MainMsgQueueTimeoutShutdown <number> [number is timeout in ms (1000ms is 1sec!), default 0 (indefinite)] 　　　　　　　　#当队列关闭时，还有数据在进入队列，rsyslog会尽可能在这个timeout周期内处理掉这些数据

$MainMsgQueueTimeoutActionCompletion <number> [number is timeout in ms (1000ms is 1sec!), default 1000, 0 means immediate!] 　　　　#配置需要多久来处理完当前的数据

$MainMsgQueueSaveOnShutdown [**on**/off] 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　#针对disk queue的配置，当运行中的队列关闭时，会先把队列中的数据存在硬盘中

$MainMsgQueueDequeueSlowdown <number> [number is timeout in microseconds (1000000us is 1sec!), default 0 (no delay). Simple rate-limiting!]　　　　# 简单的出队速度限制，单位微秒

$MainMsgQueueImmediateShutdown [on/off] 　　　　#弃用的选项，当配置的队列大小或硬盘空间满了以后，rsyslogd 会限制数据submitter。配置 $MainMsgQueueTimeoutEnqueue 后，当超过这个时间后新来的日志会被丢弃；设置0为直接丢弃。

#$MainMsgQueueTimeoutShutdown、$MainMsgQueueTimeoutActionCompletion 和 $MainMsgQueueSaveOnShutdown 是在队列终止后可以做的一系列措施。

关于队列的worker thread：

$MainMsgQueueWorkerThreadMinumumMessages <number> [default 100]

$MainMsgQueueWorkerThreads <number> [num worker threads, default 1, recommended 1]

$MainMsgQueueWorkerTimeoutThreadShutdown <number> [number is timeout in ms (1000ms is 1sec!), default 60000 (1 minute)]

每个队列(direct queue除外)都有一个工作线程池(worker thread pool). 初始时，是没有worker thread的，当有消息来是，会自动启动一个. “$MainMsgQueueWorkerThreadMinumumMessages” 配置一个worker thread处理的消息大小， $MainMsgQueueWorkerThreads 配置work thread的上限值。

比如设置一个worker thread的最小处理消息大小是100个，当小于100个是，只有一个worker，当超过100个，小于200个时，会有两个worker...

以上配置要注意单位, 默认值，Main Queue 和 Action Queue 可能有些配置的默认值不一样。

另外所有指明针对disk的配置，都是包括 disk queue 和 DA queue.

更多配置参考这里：

在一般情况下，大部分的配置都可以直接使用默认的配置，这里给出一份Action使用DA队列的配置:

# 这两个是全局的

$ActionResumeRetryCount                  3

$ActionResumeInterval                    10

# 以下是每个ActionQueue自己的配置

$ActionQueueType                         LinkedList

$ActionQueueFileName                     da_queue

$ActionQueueMaxFileSize                  100M         # 设置单个disk文件的大小

$ActionQueueMaxDiskSpace                 10G          # 设置最大占用空间

$ActionQueueDisacdSeverity               3            # 设置忽略的等级

$ActionQueueLowWaterMark                 5000         # 默认是2000

$ActionQueueHighWatermark                15000        # 默认是8000

$ActionQueueDiscardMark                  30000        # 默认是9750

$ActionQueueSize                         80000        # 文档没写，测试发现默认是1000

$ActionQueueSaveOnShutdown               on

*.* @log-center.xxx.com:514

Main Queue 的默认模式是 FixedArray，Action Queue 的默认模式是 Direct

五、实例

1. TCP+DA模式实现可靠消息传输

　　tcp协议的不可靠性，比如server端宕机等情况，需要在client端配置一个本地文件，用在server端宕机的情况下，暂时保存消息。需要注意的是。队列名和过滤规则对应，一个队列只能用于一个过滤规则

　　举例：

$ActionQueueType LinkedList

$ActionQueueFileName local3

$ActionResumeRetryCount -1

$ActionQueueSaveOnShutdown on

Local3.*                                            @@10.0.0.44:1999

$ActionQueueType LinkedList

$ActionQueueFileName local4

$ActionResumeRetryCount -1

$ActionQueueSaveOnShutdown on

Local4.*                                            @@10.0.0.44:1999

上例中可将两条过滤规则合成一条：local3.*;local4.*

强调一点：本地队列只有在需要使用的时候才会创建，当后端出现短暂不可用时，rsyslog的内存队列就可以保存消息，内存队列不够用时，才会创建本地队列。

时间： 2024-10-10 10:47:39

Rsyslog初步学习的相关文章

LinQ的初步学习与总结

嘿嘿,说起来ORM和LinQ,就感觉离我好遥远的,在学校是没有学习的,所以总感觉学习了LinQ就是大神,现在嘛,终于也体会一点,感觉LinQ只是初步学习,没有太难,当然以后使用在项目中就没有这样的简单啦,下面就全面的总结一下LinQ的其中一部分,LinQ有三部分:LinQ TO Object:LinQ TO SQL ;LinQ TO XML.而在这里我先来总结一下LinQ TO Object的学习吧 一.初步认识LinQ to Object static void Main(string[] a

Jquery Easy UI初步学习(二)datagrid的使用

第一篇学的是做一个管理的外框,接着就是数据datagrid绑定了,这里我用asp.net mvc3来做的,主要就是熟悉属性.方法. 打开easyui的demo 就可以看到如下一段代码: 和上篇一样class="easyui-datagrid", data-options="...",这是一样的,其他我在网上查了查,并做了整理 DataGrid 属性 参数名 类型 描述 默认值 title string Datagrid面板的标题 null iconCls strin

初步学习C++：C++的基本概念

开始学习C++,先从最基本的概念开始,让自己有一个系统的知识概念. 1.对象: 在面向对象程序设计中,对象是描述其属性的数据以及对这些数据施加的一组操作封装在一起构成的统一体.对象可以认为是:数据+操作(对象所能完成的操作表示它的动态行为,也成为方法). 2.类: 在面向对象程序设计中,类就是具有相同的数据和相同的操作的一组对象的集合,类是对具有相同数据结构和相同操作的一类对象的描述. 3.消息: 在面向对象程序设计中,一个对象向另一个对象发出的请求被称为"消息".当对象接收到发向它的

Java深度历险（三） Maven初步学习

这几天接触这个词,很多遍了,只是浅显的体会到它在GXPT中的好处,功能之强大,又通过网络查询了资料进一步的认识学习了,和大家分享. Maven是基于项目对象模型(POM),可以通过一小段描述信息来管理项目的构建,报告和文档的软件项目管理工具. 在gxpt中的体现 1. 父子关系 一个多模块项目通过一个父POM 引用一个或多个子模块来定义. a. 在父目录中分别创建子项目 b. 父项目,通过以下配置,将子项目关联: 如下: <span style="font-size:18px;"

初步学习nodejs，业余用node写个一个自动创建目录和文件的小脚本，希望对需要的人有所帮助

初步学习nodejs,业余用node写个一个自动创建目录和文件的小脚本,希望对需要的人有所帮助,如果有bug或者更好的优化方案,也请批评与指正,谢谢,代码如下: 1 var fs = require('fs'); 2 var tel = [ 3 "1/2/4/6/a.tpl.html", 4 "1/2/4/7/9/c.tpl.html", 5 "1/3/5/8/b.tpl.html"]; 6 var demo = function (mulu)

状态保持以及AJAX的初步学习

嘿嘿,今天学习的有点迷茫哦,主要学习把验证码使用在登录页面时间的一些逻辑,学习这个时间并没有那么的迷惑哦,可是自己写程序时间倒是有点反应迟钝,不过还好总是在最后搞清楚啦,另外就是一步一步的学习是接近项目期,今天下午学习了ajax,这个使用javascript写起来还是蛮麻烦的,嘿嘿,但是使用jquery实现是非常的简单的,不知道是不是由于我刚接触的原因,下面来总结一下今天学习的内容,感觉今天学习的还是很有必要详细总结的,因为在以后的项目中还是经常会使用的. 一.状态保持 1.cookie的添加与

Jquery Easy UI初步学习(三)数据增删改

第二篇只是学了加载用datagrid加载数据,数据的增删改还没有做,今天主要是解决这个问题了. 在做增删改前需要弹出对应窗口,这就需要了解一下EasyUi的弹窗控件. 摘自:http://philoo.cnblogs.com/ 我的理解,就是panel有的属性Window.dialog都有,同时保留自己的扩展属性方法 , 所以主要展示pannel的属性. Pannel 属性 名称 类型 说明 默认值 title string 显示在Panel头部的标题文字. null iconCls strin

实验1 ASP.NET MVC 4 初步学习

1.添加控制器 http://www.asp.net/mvc/tutorials/mvc-4/getting-started-with-aspnet-mvc4/adding-a-controller 2.添加视图 http://www.asp.net/mvc/tutorials/mvc-4/getting-started-with-aspnet-mvc4/adding-a-view 3.添加模型 http://www.asp.net/mvc/tutorials/mvc-4/getting-sta

Jquery Easy UI初步学习(一)

Easy UI 1.3.2 以前听说Easy UI很不错,当了一个dome,闲着没事就看了一下,也整理一下为了自己更好的记忆,也希望对象我这样小菜有帮助吧 先从后台管理的主页面开始,如要要做主页需要了解以下几项 data-options是jQuery Easyui 最近两个版本才加上的一个特殊属性.通过这个属性,我们可以对easyui组件的实例化可以完全写入到html中,例如: <div class="easyui-dialog" style="width:400px;