rsyslog+loganalyzer搭建日志服务器

日志简介:

日志:即历史事件,按时间序列将发生的事件予以记录;日志记录了事件发生的时间,时间内容,事件的关键性程度;运维人员可通过检查这些记录的信息,发现错误发生的原因,或寻找受到攻击时,攻击者留下的痕迹。

syslog是CentOS6之前的默认日志系统;

syslogd:系统进程的相关日志

kloged:内核事件相关日志

rsyslog是CentOS6的默认日志系统:

支持多线程

支持tcp,ssl,tls,relp等协议

支持MySQL,PGSQL,Oracle等多种关系型数据中

强大的过滤器,可实现过滤系统信息中的任意部分

支持自定义输出格式

适用于企业级别日志记录需求

facllity:设施,从功能或程序上对日志进行分类,并由专门的工具附则记录其日志

auth:认证相关信息

authpriv:认证授权相关信息

cron:周期性计划任务相关信息

daemon:守护进程相关信息

kern:内核相关信息

lpr:打印相关信息

mail:收发邮件相关信息

mark:防火墙标记

news:新闻相关信息

security:安全相关信息

syslog:自身记录

user:用户相关信息

uucp:早起系统文件共享服务

local0..local7:8个自定义facility

指定设施时可以使用通配符:

*:所有

!:取反

f1,f2,f3,...:列表

priority:级别

debug:调试信息

info:基本说明信息

notice:需要注意的信息

warn,warning:警告信息

err,error:错误信息

crit:蓝色警报

alert:橙色警报

emerg,panic:红色警报

级别可以使用通配符:

*:所有级别

none:没有任何级别

target:目标,制定如何存储日志

文件路径:例如,/var/log/messages

用户:*

日志服务器:@SERVER_IP

管道: | COMMAND

rsyslog的之配置文件:/etc/rslog.conf,其定义格式;

facility.priority Target

mail.info    /var/log/maillog

比指定级别更高的所有级别,包括指定的级别本身;

mail.=info    /var/log/maillog

明确指定级别;

mail.!info *

除了指定级别

*.info    | COMMAND

所有facility的info级别

mail.*:

mail的所有级别

mail,news.info:

日志信息格式:

时间    主机    进程(PID):事件

启用日志服务器的功能:模块

通过514/udp搜集日志信息:

> # Provides UDP syslog reception
> $ModLoad imudp
> $UDPServerRun 514

通过514/tcp搜集日志信息

> # Provides TCP syslog reception
> $ModLoad imtcp
> $InputTCPServerRun 514


实例:基于LAMP平台搭建rsyslog+loganalyzer日志服务器

实验环境:

web-php服务器,同为日志客户端:

IP:192.168.1.10

操作系统:CentOS6.7 x86_64

数据库服务器:

IP:192.168.1.11

操作系统:CentOS6.7 x86_64

日志服务器:

IP:192.168.1.12

操作系统:CentOS6.7 x86_64

loganalyzer:loganalyzer-3.6.6.tar.gz

官网:http://www.loganalyzer.net/

实验过程:

连接日志服务器和客户端:

编辑日志服务器配置文件,启动日志服务器功能,接收客户端的日志:

# vim /etc/rsyslog.conf
> $ModLoad imudp
> $UDPServerRun 514
>
> $ModLoad imtcp
> $InputTCPServerRun 514

重启rsyslog服务,查看端口:

# service rsyslog restart
# ss -tunl | grep :514

编辑日志客户端配置文件,指定日志服务器,重启rsyslog服务;

# vim /etc/rsyslog.conf
> *.info;mail.none;authpriv.none;cron.none    @192.168.1.12
# service rsyslog restart

日志服务器查看日志:

# tail -l /var/log/messages

服务器已接收到客户端的日志。

日志服务器连接数据库:

数据库服务器安装服务;

# yum install mysql mysql-server

启动mysql服务:

# chkconfig mysqld on
# service mysqld start

日志服务器安装mysql模块:

# yum install rsyslog-mysql

查看安装rsyslog-mysql模块生成文件:

# rpm -ql rsyslog-mysql

生成的数据库文件传送给数据库服务器:

# scp /usr/share/doc/rsyslog-mysql-5.8.10/createDB.sql 192.168.1.11:/root

将文件导入数据库:

# mysql < createDB.sql

授权rsyslog用户

# mysql
mysql> GRANT ALL ON Syslog.* [email protected]‘192.168.1.%‘ IDENTIFIED BY ‘rsyslogpass‘;

mysql> FLUSH PRIVILEGES;

编辑日志服务器配置文件添加ommysql模块,日志信息指向数据库服务器,重启服务:

# vim /etc/rsyslog.conf
> $ModLoad ommysql
> *.info;mail.none;authpriv.none;cron.none    :ommysql:192.168.1.11,Syslog,rsysloguser,rsyslogpass
# service rsyslog restart

查看mysql信息:

数据库已接收到日志信息。

安装lamp平台部署loganalyzer

安装lamp平台:

# yum install httpd php php-mysql

配置loganalyzer:

# tar xf loganalyzer-3.6.6.tar.gz
# mkdir -p /var/www/html/log
# cp -a loganalyzer-3.6.6/src/*/var/www/html/log/
# cp -a loganalyzer-3.6.6/contrib/*/var/www/html/log/
# cd /var/www/html/log/
# chmod +x configure.sh secure.sh
# ./configure.sh
# ./secure.sh
# chmod 666 config.php
# chown -R apache:apache ./*

启动服务:

# chkconfig httpd on
# service httpd start

访问站点http://192.168.1.10/log配置信息:

点击here继续;

点击Next继续;

文件可写,点击Next继续;

关闭用户数据库,Next继续;

连接数据库,Next继续;

安装完成:



结语:

查看日志,分析日志是一位运维工程师的日常,rsyslog+loganalyzer可以将日志信息反映于web页面,显示更直观,便于统计、分析,并且还可以远程查看,管理,搭建过程也非常方便;以上为本人学习整理内容,试验中如有遗漏和失误,欢迎各路大神来喷。

时间: 2024-10-12 22:36:45

rsyslog+loganalyzer搭建日志服务器的相关文章

django+nginx+xshell简易日志查询,接上&lt;关于《rsyslog+mysql+loganalyzer搭建日志服务器&lt;个人笔记&gt;》的反思&gt;

纠正一下之前在<关于<rsyslog+mysql+loganalyzer搭建日志服务器<个人笔记>>的反思>中说到的PHP+MySQL太慢,这里只是说我技术不好,没有技术可以修改这个开源的php日志程序罢了,当然,在做这个的时候,也是菜鸟一个,只是想自己尝试一下.高手可以直接跳过..... 首先,写在前面,因为上班空闲时间不多,只有忙里偷闲或自己回家的时间弄下,所以这个前后的时间就比较久了. 之前在上篇写到,是准备使用apache+django来搭建的,但是真的,我折腾

rsyslog+mysql+loganalyzer搭建日志服务器&lt;个人笔记&gt;

大概思路如下: 使用Linux自带的rsyslog服务来做底层,然后再使用mysql与rsyslog的模板来存储文件,并且以web来进行显示出来.<模板的存储以日期的树形结构来存储,并且以服务器客户端IP为文件名进行划分. 最终的效果如下图: 大概步骤如下: 1.配置好rsyslog server的服务 2.配置好lamp架构 3.安装好Loganalyzer日志web 4.建好web权限控制 一.配置好rsyslog server的服务 以下为/etc/rsyslog.conf的配置文件,自行

CentOS7下利用rsyslog+loganalyzer配置日志服务器及Linux和windows客户端配置

一.简介: 随着机房内的服务器和网络设备增加,日志管理和查询就成了让系统管理员头疼的事. 系统管理员遇到的常见问题如下: 1.日常维护过程中不可能登录到每一台服务器和设备上去查看日志: 2.网络设备上的存储空间有限,不可能存储日期太长的日志,而系统出现问题又有可能是很久以前发生的某些操作造成的: 3.在某些非法入侵的情况下,入侵者一般都会清除本地日志,清除入侵痕迹: 4.zabbix等监控系统无法代替日志管理,无法监控如系统登录.计划任务执行等项目. 基于上述原因,在当前的网络环境中搭建一台用于

rsyslog+LogAnalyzer+MySQL日志服务器

ryslog 是一个快速处理收集系统日志的程序,提供了高性能.安全功能和模块化设计.rsyslog 是syslog的升级版,它将多种来源输入输出转换结果到目的地,据官网介绍,现在可以处理100万条信息 LogAnalyzer 是一款syslog日志和其他网络事件数据的Web前端.它提供了对日志的简单浏览.搜索.基本分析和一些图表报告的功能.数据可以从数据库或一般的syslog文本文件中获取,所以LogAnalyzer不需要改变现有的记录架构.基于当前的日志数据,它可以处理syslog日志消息,W

centos 7.0 依赖Rsyslog+LogAnalyzer部署日志服务器

Loganalyzer简介: LogAnalyzer 是一款syslog日志和其他网络事件数据的Web前端.它提供了对日志的简单浏览.搜索.基本分析和一些图表报告的功能.数据可以从数据库或一般的syslog文本文件中获取,所以LogAnalyzer不需要改变现有的记录架构.基于当前的日志数据,它可以处理syslog日志消息,Windows事件日志记录,支持故障排除,使用户能够快速查找日志数据中看出问题的解决方案. LogAnalyzer 获取客户端日志会有两种保存模式,一种是直接读取客户端/va

rsyslog+mysql+loganalyzer 环境搭建日志服务器

环境:CentOS6.6 rsyslog+mysql+loganalyzer 环境搭建日志服务器 Client端:    192.168.2.10 MySQL服务器:  192.168.2.11 # Client端安装必备的软件包 yum install rsyslog-mysql -y 生成了2个文件: /lib64/rsyslog/ommysql.so           #rsyslog支持数据库的模块文件 /usr/share/doc/rsyslog-mysql-5.8.10/creat

rsyslog+loganalyzer+mysql+apache+php的lamp架构搭建日志服务器

当服务器遇到问题时,运维工程师都会根据日志分析问题,当黑客入侵服务器时,基本都会删除日志,以免留下蛛丝马迹,由此可见日志对服务器来说多么重要,为此很多公司都会有自己的日志服务器,下面我们来一起学习如何搭建日志服务器和日志分析工具. 1.首先必须得客户机与服务器都安装rsyslog这个软件: [[email protected] ~]# yum -y install rsyslog 2.客户机修改配置文件(1.4为日志服务器) [[email protected] ~]# grep -v "^$&

rsyslog + mysql + loganalyzer 构建日志服务器

rsyslog支持的特性 支持多线程 支持tcp,ssl,tls.relp 可以把日志存储于关系型数据库中 支持过滤器,可以实现过滤日志中的任意部分. 支持自定义格式 适用于企业级的日志记录需求. 功能模块化 rsyslog用facility接收各个应用和程序的日志,并把日志分类.有以下几类 auth        与认证相关的 authpriv 与用户认证授权相关的,如用户登陆 cron     与周期任务相关的 daemon    与守护进程相关的 kern        与内核相关的 lp

Rsyslog+MySQL+LogAnalyzer部署日志服务器

实验要求 搭建可视化日志搜集分析平台,用于集中搜集日志,并通过可视化日志分析工具呈现: Apps Server是要搜集日志的Nodes,可以有多台,这里我只用1台Node: Rsyslog Server是统一接收各Nodes提交过来的日志,监听在TCP/UDP 514节点: MySQL Server是用于存储提交的日志信息,做独立服务器,也可做Cluster: LogAnalyzer是一款基于LAMP的可视化日志分析工具,后端查询数据库,将结果整理输出: 拓扑如下: 实现机理 Linux上的Rs