基于Centos 6.5+MariaDB+loganalyzer+syslog搭建远程系统日志收集和分析环境

 一、首先来解读下rsyslog配置文件的含义

配置文件路径/etc/rsyslog.conf

在rsyslog中facility设施 可以从功能或者程序上对日志分类常用的以下几种

auth 和认证相关的
authpriv 和认证授权相关的
cron 专门给周期性任务计划做日志记录的
daemon 帮守护进程做日志记录
kern 给内核做日志记录
lpr 给打印做日志记录
mail 给邮件做日志记录
mark 防火墙标记
news 新闻组(这个是很早的)
security 和安全相关的(相当于auth)
syslog 自己的日志
user 和用户相关
uucp unix主机之间copy文件的日志
local 从local0 through 到local7 8个保留的自定义的facility

上面的这些设施在指定设施时可以使用通配符的,可用的通配符有以下几种

* 表示所有的facility
, 可以是多个facility 列表的意思,例如facility1,facility2,facility3
! 取反的意思 表示除了它以外的


下面是日志级别,从上到下,级别从低到高,记录的信息越来越少

debug 有调式信息的,日志信息最多,最详细的信息
info 一般信息的日志,最常用
notice 最具有重要性的普通条件的信息
warn,warning 需要引起注意的通知,到了这个时候就需要引起注意了
err,error 严重错误,阻止某个功能或者模块不能正常工作的信息
alert 相当于蓝色警戒,阻止整个系统或者整个软件不能正常工作的信息
crit 相当于橙色警戒,需要立刻修改修复的警告信息
emerg,panic 相当于红色警戒,当出现这个的时候基本上下一秒内核就挂了
none 什么都不做,什么都不记录

上面的这些级别也可以使用通配符的,可用的通配符有以下几种

* 所有的级别
none 没有任何级别


下面来说说怎么配置远程基于MariaDB(MySQL)存储的日志系统

1、我们需要修改/etc/rsyslog.conf的配置文件。

首先我们启用#### MODULES ####段配置文件中的端口监听

yum install rsyslog-mysql -y
sed -ri ‘s/^#(\$ModLoad im(tc|ud)p)/\1/‘ /etc/rsyslog.conf
sed -ri ‘s/^#(\$(InputTCP|UDP)ServerRun)/\1/‘ /etc/rsyslog.conf
然后在/etc/rsyslog.conf的MOUDLES段中追加一个启用MariaDB(MySQL)的配置
sed -i ‘/InputTCPServerRun/a \\n\n# Log event to MariaDB\n\$ModLoad ommysql\n‘ /etc/rsyslog.conf

2、然后我去收集日志的服务器上编译安装MariaDB做日志收集存储

[[email protected] ~]# yum -y groupinstall "Development tools" "Server Platform Development"
[[email protected] ~]# yum -y install libxml2-devel cmake
###上面是安装必要的编译所需软件
[[email protected] ~]# wget http://mirrors.hustunique.com/mariadb/mariadb-10.0.12/source/mariadb-10.0.12.tar.gz
[[email protected] ~]# tar xf mariadb-10.0.12.tar.gz
[[email protected] ~]# cd mariadb-10.0.12
[[email protected] mariadb-10.0.12]# make clean
[[email protected] mariadb-10.0.12]# cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DMYSQL_DATADIR=/mydata/data -DSYSCONFDIR=/etc -DWITH_SSL=system -DWITH_SPHINX_STORAGE_ENGINE=1 -DWITH_INNOBASE_STORAGE_ENGINE=1 -DWITH_ARCHIVE_STORAGE_ENGINE=1 -DWITH_BLACKHOLE_STORAGE_ENGINE=1 -DWITH_READLINE=1 -DWITH_ZLIB=system -DWITH_LIBWRAP=0 -DMYSQL_UNIX_ADDR=/tmp/mysql.sock -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DWITH_ARIA_STORAGE_ENGINE=1 -DWITH_XTRADB_STORAGE_ENGINE=1 -DWITH_INNOBASE_STORAGE_ENGINE=1 -DWITH_PARTITION_STORAGE_ENGINE=1 -DWITH_FEDERATEDX_STORAGE_ENGINE=1 -DWITH_MYISAM_STORAGE_ENGINE=1 -DENABLED_LOCAL_INFILE=1 -DWITH_EMBEDDED_SERVER=1
[[email protected] mariadb-10.0.12]# make -j 4 && make install ##开始编译
[[email protected] mariadb-10.0.12]# cd ~/
###下面是修改必要的配置文件和环境变量
[[email protected] ~]# cp /usr/local/mysql/support-files/my-large.cnf /etc/my.cnf
[[email protected] ~]# cp /usr/local/mysql/support-files/mysql.server /etc/rc.d/init.d/mysqld
[[email protected] mariadb]# chmod +x /etc/rc.d/init.d/mysql
[[email protected] mariadb]# chkconfig --add mysql
[[email protected] mariadb]# chkconfig --list mysql
mysql 0:off 1:off 2:on 3:on 4:on 5:on 6:off
[[email protected] ~]# sed -i "/^thread_concurrency.*/a datadir=/mydata/data" /etc/my.cnf
[[email protected] ~]# groupadd mysql
[[email protected] ~]# useradd -g mysql -r -s /sbin/nologin -m /mydata/data mysql
[[email protected] ~]# chown -R mysql.mysql /mydata
[[email protected] ~]# sed -i "$(cat /etc/man.config | grep -nE ‘^MANPATH[[:space:]]+‘ | tail -1 | awk -F: ‘{print$1}‘)a MANPATHt/usr/local/mysql/man" /etc/man.config
[[email protected] ~]# echo "export PATH=/usr/local/mysql/bin:$PATH" > /etc/profile.d/mariadb1002.sh
[[email protected] ~]# /usr/local/mysql/scripts/mysql_install_db --user=mysql --datadir=/mydata/data/
[[email protected] mariadb]# cp /usr/local/mariadb/support-files/mysql.server /etc/rc.d/init.d/mysql
[[email protected] mariadb]# service mysql start
Starting MySQL..... [ OK ]
[[email protected] mariadb]# service mysql stop
Shutting down MySQL. [ OK ]
[[email protected] ~]# service mysqld start

再做数据库导入

yum install rsyslog-mysql -y
[[email protected] ~]# find / -name rsyslog-mysql*
/usr/share/doc/rsyslog-mysql-5.8.10

让后将这个目录下的createDB.sql导入数据库中

mysql -uroot -p < /usr/share/doc/rsyslog-mysql-5.8.10/createDB.sql

下面的是SQL命令

MariaDB [(none)]> grant all on Syslog.* to [email protected]‘localhost‘ identified by ‘rsyslog用户的密码‘;
MariaDB [(none)]> flush privileges;

最后我们回到需要做日志远程收集统计的服务器上
再次修改配置文件



现在我们可以在MariaDB(MySQL)服务器上配置loganalyzer

loganalyzer需要配合Apache或者Nginx之类的web服务器(本文就不多介绍了)

wget http://www.05hd.com/wp-content/uploads/2014/08/loganalyzer-3.6.5.tar.gz
###官方下载页面http://loganalyzer.adiscon.com/downloads/
[[email protected] ~]# wget http://www.05hd.com/wp-content/uploads/2014/08/loganalyzer-3.6.5.tar.gz
--2014-08-31 02:39:01--  http://www.05hd.com/wp-content/uploads/2014/08/loganalyzer-3.6.5.tar.gz
Resolving www.05hd.com... 2001:41d0:8:ea32:1234:5678:9abc:9999, 5.135.167.50
Connecting to www.05hd.com|2001:41d0:8:ea32:1234:5678:9abc:9999|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1046957 (1022K) [application/octet-stream]
Saving to: “loganalyzer-3.6.5.tar.gz”

100%[==============================================================================================>] 1,046,957   --.-K/s   in 0.09s   

2014-08-31 02:39:02 (11.2 MB/s) - “loganalyzer-3.6.5.tar.gz” saved [1046957/1046957]

[[email protected] ~]# tar xf loganalyzer-3.6.5.tar.gz       
[[email protected] ~]# cp -a loganalyzer-3.6.5/src/* /home/wwwroot/rsyslog.05hd.com/
[[email protected] ~]# cp -a loganalyzer-3.6.5/contrib/* /home/wwwroot/rsyslog.05hd.com/
[[email protected] ~]# chown -R /home/wwwroot/rsyslog.05hd.com/
[[email protected] ~]# chmod +x /home/wwwroot/rsyslog.05hd.com/*.sh
[[email protected] ~]# /home/wwwroot/rsyslog.05hd.com/configure.sh
[[email protected] ~]# service rsyslog restart

这时候 就可以打开web页面在webui上配置loganalyzer了

时间: 2024-08-24 03:33:29

基于Centos 6.5+MariaDB+loganalyzer+syslog搭建远程系统日志收集和分析环境的相关文章

基于Centos 7的Samba服务的搭建及相关实验(纯实验)

Samba概述 Samba是在Linux和UNIX系统上实现SMB协议的一个免费软件,由服务器及客户端程序构成.SMB(Server Messages Block,信息服务块)是一种在局域网上共享文件和打印机的一种通信协议,它为局域网内的不同计算机之间提供文件及打印机等资源的共享服务.SMB协议是客户机/服务器型协议,客户机通过该协议可以访问服务器上的共享文件系统.打印机及其他资源.通过设置"NetBIOS over TCP/IP"使得Samba不但能与局域网络主机分享资源,还能与全世

CentOS 7.0源码包搭建LNMP方法分享(实际环境下)

CentOS 7.0编译安装Nginx1.6.0+MySQL5.6.19+PHP5.5.14 一.配置防火墙,开启80端口.3306端口 CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙. 1.关闭firewall: systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 2.安装iptables防火墙 yum ins

CentOS 7配置MariaDB允许指定IP远程连接数据库

防火墙 CentOS7 之前的防火墙是不一样的,比如你要添加3306端口: ## 全部 iptables -A INPUT -p tcp -m tcp --dport 3306 -j ACCEPT ## 部分ipiptables iptables -A INPUT -p tcp -s 138.111.21.11 -dport 3306 -j ACCEP service iptables save service iptables restart ## 查看 iptables iptables -

基于CentOS 5.4搭建nginx+php+spawn-fcgi+mysql高性能php平台

一.安装准备 1.1平台环境: CentOS 5.4 x86_64 GNU/Linux nginx-0.8.21 php-5.2.9 spawn-fcgi-1.6.3 mysql-5.1.34 .2系统安装及分区:1.2.1操作系统安装:         安装过程中选择最少的包,采用文本模式安装,不安装图形.1.2.3系统分区:         /boot  100M    (大约100左右)          SWAP  4G      物理内存的2倍(如果你的物理内存大于4G,分配4G即可)

使用RPM包离线安装MariaDB 10.0.20 , 基于CentOS 6.6-x86-64

使用RPM包[离线]安装 MariaDB 10.0.20,基于CentOS 6.6-x86-64 Minimal 湘中朱生 2015-07-01 于深圳福田 QQ: 872007255 MariaDB交流群: 198111730 文档说明: 1. 网上有很多关于MariaDB/Mysql数据库的安装技术博客文档,主要有源码编译安装和Yum源安装,有些写得很规范优秀,但很少有基于离线RPM包安装的. 2. 源码编译安装对于初学者而言门槛过高, 很容易打击MariaDB初学者学习探索的积极性; Yu

基于CentOS与VmwareStation10搭建Oracle11G RAC 64集群环境

1.资源准备 最近,在VmwareStation 10虚拟机上,基于CentOS5.4安装Oracle 11g RAC,并把过程记录下来.刚开始时,是基于CentOS 6.4安装Oracle 11g RAC, 没有成功,主要是Oracle 11g RAC安装,没有针对CentOS 6.4的内核的一些包. 本文内容详实,包括安装过程中遇到的一些问题,也单独编一章节,第四章节的FAQ. http://blog.chinaunix.net/xmlrpc.php?r=blog/article&id=46

基于CentOS与VmwareStation10搭建Oracle11G RAC 64集群环境:3.安装Oracle RAC-3.6.集群管理命令

3.6. 集群管理命令 3.6.1. RAC的启动与关闭 oracle rac默认会开机自启动,如需维护时可使用以下命令: 关闭: crsctl stop cluster 停止本节点集群服务 crsctl stop cluster –all 停止所有节点服务 开启: crsctl start cluster 开启本节点集群服务 crsctl stop cluster –all 开启所有节点服务 注:以上命令需以 root用户执行 3.6.2.RAC检查运行状况 以grid 用户运行 [[emai

基于CentOS 6.5操作系统搭建MongoDB服务

基于CentOS 6.5操作系统搭建MongoDB服务 Mongo DB ,是目前在IT行业非常流行的一种非关系型数据库(NoSql),其灵活的数据存储方式,备受当前IT从业人员的青睐.Mongo DB很好的实现了面向对象的思想(OO思想),在Mongo DB中每一条记录都是一个Document对象.Mongo DB最大的优势在于所有的数据持久操作都无需开发人员手动编写SQL语句,直接调用方法就可以轻松的实现CRUD操作. 本文采用Linux系统搭建MongoDB服务,以下就是具体的搭建过程:

基于CentOS 6.6搭建Zabbix2.4.x

基于CentOS 6.6搭建Zabbix2.4.x 安装YUM源 wget http://mirrors.163.com/.help/CentOS6-Base-163.repo wget http://repo.zabbix.com/zabbix/2.4/rhel/6/x86_64/zabbix-release-2.4-1.el6.noarch.rpm wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noar