Syslog-ng+Rsyslog收集日志:写入数据库MySQ, MS-SQL,SQLite, mSQL(六)

为了统计方便,我们要从日志中选择一些消息放到数据库。对数据库读写支持要在编译时就要加上参数,还要在配置文件中开启对应的模块。模块如果很多监控都需要到数据库模块,可以放到/etc/rsyslog.conf全局配置文件里,如果只是某个监控收集用到那就放到/etc/rsyslog.d/的对应局部配置文件里。

1.编译。

./configure --enable-mysql

2.模块、生成的模板。

ommysql # mysql输出模块
ompgsql # PostgreSQL的输出模块
omlibdbi # 通用数据库输出模块(Firebird/Interbase,MS-SQL,Sybase,SQLite,Ingres,Oracle,mSQL)

$template insertpl,"insert into SystemEvents (Message, Facility, FromHost, FromIP, Priority, DeviceReportedTime, ReceivedAt, InfoUnitID, SysLogTag) values (‘%msg%‘, %syslogfacility%, ‘%HOSTNAME%‘, ‘%fromhost-ip%‘, %syslogpriority%, ‘%timereported:::date-mysql%‘, ‘%timegenerated:::date-mysql%‘, %iut%, ‘%syslogtag%‘)",SQL

3.使用

用法:local4.* :ommysql:server:port,yourdb,yourname,yourpass;

例子:local4.* :ommysql:127.0.0.1:3306,yourdb,yourname,yourpass;

4.全局配置文件示例。

vi /etc/rsyslog.conf    //编辑rsyslog全局文件
# rsyslog v5 configuration file
# For more information see /usr/share/doc/rsyslog-*/rsyslog_conf.html
# If you experience problems, see http://www.rsyslog.com/doc/troubleshoot.html

#### MODULES ####

$ModLoad imuxsock #provides support for local system 
                    #logging (e.g. via logger command)#Unix套接字,包括系统日志socket

$ModLoad imklog   # provides kernel logging support(previously done by rklogd)
#module(load"immark")  # provides --MARK-- message capability

#mysql输出模块
$ModLoad ommysql

#PostgreSQL的输出模块
$ModLoad ompgsql

#通用数据库输出模块(Firebird/Interbase,MS SQL,Sybase,SQLite,Ingres,Oracle,mSQL)
$ModLoad omlibdbi

# Provides UDP syslog reception
# UDP传输,只在rsyslog作服务器时候使用
#$ModLoad imudp
#$UDPServerRun 514

#Provides TCP syslog reception
# TCP传输,只在rsyslog作服务器时候使用
#$ModLoad imtcp
# tcp接收信息的端口
#$InputTCPServerRun 514

#增加数据库插入语句
$template insertpl,"insert into SystemEvents (Message, Facility, FromHost, FromIP, Priority, DeviceReportedTime, ReceivedAt, InfoUnitID, SysLogTag) values (‘%msg%‘, %syslogfacility%, ‘%HOSTNAME%‘, ‘%fromhost-ip%‘, %syslogpriority%, ‘%timereported:::date-mysql%‘, ‘%timegenerated:::date-mysql%‘, %iut%, ‘%syslogtag%‘)",SQL

#### GLOBAL DIRECTIVES ####
# Use default timestamp format
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat

# File syncing capability is disabled by default. This feature is usually not required,
# not useful and an extreme performance hit
#$ActionFileEnableSync on

# Include all config files in /etc/rsyslog.d/
#模块化局部配置文件存放,默认加载全部.conf后缀的文件
$IncludeConfig /etc/rsyslog.d/*.conf

#### RULES ####

# Log all kernel messages to the console.
# Logging much else clutters up the screen.
#kern.*     /dev/console

# Log anything (except mail) of level info or higher.
# Don‘t log private authentication messages!
*.info;mail.none;authpriv.none;cron.none                /var/log/messages

# The authpriv file has restricted access.
authpriv.*  /var/log/secure

# Log all the mail messages in one place.
mail.*      /var/log/maillog

# Log cron stuff
cron.*      /var/log/cron

# Everybody gets emergency messages
*.emerg     :omusrmsg:*

# Save news errors of level crit and higher in a special file.
uucp,news.crit    /var/log/spooler

# Save boot messages also to boot.log
local7.*    /var/log/boot.log

# ### begin forwarding rule ###
# The statement between the begin ... end define a SINGLE forwarding
# rule. They belong together, do NOT split them. If you create multiple
# forwarding rules, duplicate the whole block!
# Remote Logging (we use TCP for reliable delivery)
#
# An on-disk queue is created for this action. If the remote host is
# down, messages are spooled to disk and sent when it is up again.
#$WorkDirectory /var/lib/rsyslog # where to place spool files
#$ActionQueueFileName fwdRule1 # unique name prefix for spool files
#$ActionQueueMaxDiskSpace 1g   # 1gb space limit (use as much as possible)
#$ActionQueueSaveOnShutdown on # save messages to disk on shutdown
#$ActionQueueType LinkedList   # run asynchronously
#$ActionResumeRetryCount -1    # infinite retries if host is down
# remote host is: name/ip:port, e.g. 192.168.0.1:514, port optional
#*.* @@remote-host:514
# ### end of the forwarding rule ###

#日志如非本地存储,需指定远程收集日志服务器IP:Port 
*.*  :ommysql:192.168.1.251:514    #表示所有类型的日志都提交

重启日志服务,修改完配置文件一定要重启服务才能生效

# service rsyslog restart

参考文章:

http://www.oschina.net/question/12_4191

http://zhaomengsen.iteye.com/blog/2059236

http://www.ituring.com.cn/article/128536

时间: 2024-10-05 10:31:17

Syslog-ng+Rsyslog收集日志:写入数据库MySQ, MS-SQL,SQLite, mSQL(六)的相关文章

使用log4j让日志写入数据库

之前做的一个项目有这么个要求,在日志管理系统里,需要将某些日志信息存储到数据库里,供用户.管理员查看分析.因此我就花了点时间搞了一下这一功能,各位请看. 摘要:我们知道log4j能提供强大的可配置的记日志功能,有写文件的.打印到控制台的等等,但有时我们需要它把日志输出到后台数据库中,log4j的强大的可扩展性支持了这一点,以下就是具体的实现. 关键词:log,log4j,日志,Java,DB,数据库,slf4j 前提:已经配置好slf4j.log4j,能正常的往文件或控制台写日志. 需求:将日志

logback日志写入数据库(mysql)配置

如题  建议将日志级别设置为ERROR.这样可以避免存储过多的数据到数据中. 1  logback 配置文件(如下) <?xml version="1.0" encoding="UTF-8" ?> <configuration scan="true"> <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender&q

如何借助log4j把日志写入数据库中

log4j是一个优秀的开源日志记录项目,我们不仅可以对输出的日志的格式自定义,还可以自己定义日志输出的目的地,比如:屏幕,文本文件,数据 库,甚至能通过socket输出.本节使用MySQL数据库主要讲述如何将日志信息输入到数据库中. 用log4j将日志写入数据库主要用到是log4j包下的JDBCAppender类,它提供了将日志信息异步写入数据的功能,我们可以直接使用这个类将我 们的日志信息写入数据库:也可以扩展JDBCAppender类,就是将JDBCAppender类作为基类进行二次开发获得

将日志写入数据库

之前做的一个项目有这么个要求,在日志管理系统里,需要将某些日志信息存储到数据库里,供用户.管理员查看分析.因此我就花了点时间搞了一下这一功能,各位请看. 摘要:我们知道log4j能提供强大的可配置的记日志功能,有写文件的.打印到控制台的等等,但有时我们需要它把日志输出到后台数据库中,log4j的强大的可扩展性支持了这一点,以下就是具体的实现. 关键词:log,log4j,日志,Java,DB,数据库,slf4j 前提:已经配置好slf4j.log4j,能正常的往文件或控制台写日志. 需求:将日志

【.NET】Log4net将操作日志写入数据库

配置文件可以参考上篇博文[.NET]log4net配置文件解析. 先在Global.aspx中添加这样一句代码,来读取配置文件,初始化log4net的环境. public class Global : System.Web.HttpApplication { protected void Application_Start(object sender, EventArgs e) { log4net.Config.XmlConfigurator.Configure(); } 新建一个Log文件夹,

Syslog-ng+Rsyslog收集日志:收集SSH用户命令(四)

有些时候需要用到堡垒机,但要知道用户都用那些命令操作过. rsyslog属性的名称中以$开头的是从本地系统获得的变量.不带$是从消息中获得变量 一.先配置系统变量记录SSH命令,并生成文件,位置/var/log/ssh.log. #vi /etc/profile.d/ssh.sh  //创建一个文件ssh.sh脚本去存放变量 export HISTORY_FILE=/var/log/ssh.log export PROMPT_COMMAND='{ date "+%Y-%m-%d %T #####

Syslog-ng+Rsyslog收集日志:RELP可靠传输,替代UDP、TCP(五)

在传输过程中TCP虽然比UDP可靠,但是是明文传输,Rsyslog提供了一个比TCP更可靠的传输,RELP.RELP传输,不会丢失信息,但只在rsyslogd 3.15.0及以上版本中可用. 使用RELP需要两部,开启omrelp模块,在传输时将TCP的@,替换成":omrelp:"(黄颜色部分) 用法: *.* :omrelp:server:port 例子: *.* :omrelp:192.168.0.1:514 vi /etc/rsyslog.d/ssh-log.conf # rs

用log4j将日志写入数据库

以下为log4j中的配置参数: %m 输出代码中指定的消息 %p 输出优先级,即DEBUG,INFO,WARN,ERROR,FATAL %r 输出自应用启动到输出该log信息耗费的毫秒数 %t 输出产生该日志事件的线程名: %n 输出一个回车换行符,Windows平台为"\r\n",Unix平台为"\n" %d 输出日志时间的日期或时间,默认格式为ISO8601,也可以在其后指定格式,比如:%d{yyy MMM dd HH:mm:ss,SSS},输出类似:2008年

Syslog-ng+Rsyslog收集日志:logrotate日志切割、轮询(七)

很多软件都自带切割日志,比如tomcat可以按时间来命名.rsyslog可按日期生成文件,但是并不支持用"%$year%-%$month%-%$day%"这些变量来读取文件(目前版本号:rsyslog-8.17.0-1.el6.x86_64). 那么,就要用到日志轮询logrotate. 概要,配置. 全局配置:/etc/logrotate.conf 局部配置:/etc/logrotate.d/ 为了便于管理,自定义的配置都放到/etc/logrotate.d/里 使用. 创建文件to