rsyslog+analyzer+mysql实现日志收集展示

why->what->where->when->who->how

1.为什么要进行日志收集?为什么要用到rsyslog?

日志是我们对系统和应用程序的运行状况分析的根本依据,同时一些日志也有其特殊的作用,例如mysql的二进制日志和事务日志。因此要进行日志收集,为了避免重复的进行日志系统的实现,因此在linux发行版中提供了系统日志收集-rsyslogd

2.什么是rsyslog?

rsyslog的前身是syslog,其是一个日志收集器,用于应用程序日志收集和内核日志收集。

rsyslog相比syslog的改进:

(1)支持为远程主机收集日志,以多线程工作,监听在tcp/udp的514端口

(2)强大的过滤器,可实现过滤日志信息中的任何部分

(3)传输过程支持ssl加密

(4)支持将日志存储在mysql,pgsql等关系型数据库中

3.什么地方会用到rsyslog?

在应用程序没有实现日志收集系统的时候,可以通过rsyslog记录日志。

在网络设备上的日志需要集中管理时,通过rsyslog服务器进行统一收集。

4.什么时候会用到rsyslog?

对于一个应用程序而来,其开始运行就需要记录日志,如果本身没有实现日志记录的功能,就可以借助于rsyslog

在进行日志的集中收集的时候

5.怎么使用rsyslog?

rsyslog使用涉及的概念:

facility:可理解为设施,作用是在功能或程序上对日志进行分类

//多个程序产生的日志可设置为一个facility,由rsyslog统一从facility对这些日志完成收集

facility有:auth,authprvi,cron,mail,kern,mark,user,uucp

local0-local7(用户自定义使用)

priority:日志信息的优先级

日志的优先级列表:debug,info,warn,notice,error,alert,emerg

rsyslog软件包系统会自动安装,并以守护进程的形式开机自动运行,其主配置文件是/etc/rsyslog.conf

配置文件分为三段组成:

###MODULES###

加载哪些模块

###GLOBAL DIRECTORY###

###RULES###

定义日志收集规则

facility:priority       target

target可以是:文件(/var/log)

@host(日志服务器)

:mysql:ip,db,user,pass

rsyslog+mysql+loganalyzer实现日志展示收集?

1.准备好mysql

yum -y install mysql-server

2.配置rsyslog

(1)安装rsyslog-mysql    //rsyslog连接mysql的模块

(2)rsyslog.conf的###MODULE###段中:

$ModLoad ommysql

###RULE###段中

facility:priority       :ommysql:localhost:Syslog:username:password

(3)重启rsyslog服务

(4)初始化记录数据库,安装rsyslog-mysql生成一个sql文件,导入到mysql中,并做好授权

mysql -uusername -hlocalhost -ppasswd < /usr/share/doc/rsyslog-mysql-5.3.10-creatdb.sql

3.安装loganalyzer

loganalyzer是一个php应用程序,因此需要先准备运行环境

(1)安装apache

(2)安装php

(3)测试php能否正常连接mysql

<?php

$conn=mysql_connect(‘localhost‘,‘user‘,‘pass‘);

if $conn echo "ok!";

else echo "fail!";

mysql_close()

?>

(4)解压loganlyzer到文档目录下

tar xf loganalyzer-3.6.4.tar.gz -C /var/www/html/

cd /var/www/html

ln -sv loganalyzer-3.6.4 log

cd log

mv contrib/* src

移动着两个脚本之后,除src目录之外,其他文件都用不上,可以移除

cd src

chmod 777 ./*.sh

./configure.sh  //生成config.php文件

./secure.sh

在浏览器访问http://localhost/log/src/install.php进行安装即可

时间: 2024-10-10 16:20:39

rsyslog+analyzer+mysql实现日志收集展示的相关文章

CentOS 6.5下利用Rsyslog+LogAnalyzer+MySQL部署日志服务器

一.简介 LogAnalyzer 是一款syslog日志和其他网络事件数据的Web前端.它提供了对日志的简单浏览.搜索.基本分析和一些图表报告的功能.数据可以从数据库或一般的syslog文本文件中获取,所以LogAnalyzer不需要改变现有的记录架构.基于当前的日志数据,它可以处理syslog日志消息,Windows事件日志记录,支持故障排除,使用户能够快速查找日志数据中看出问题的解决方案. LogAnalyzer 获取客户端日志会有两种保存模式,一种是直接读取客户端/var/log/目录下的

logstash通过rsyslog对nginx的日志收集和分析

logstash通过rsyslog对nginx的日志收集和分析 http://bbotte.blog.51cto.com/6205307/1613571 logstash&elasticsearch&kibana的安装和配置 http://bbotte.blog.51cto.com/6205307/1614453  这一篇文章里面是以nginx打补丁的方式实现rsyslog把nginx的日志同步到logstash做分析,不过线上环境种种不一样,下面是把nginx的日志直接通过rsyslog

Centos6.5安装rsyslog+loganalyzer+mysql部署日志服务器

Centos6.5安装rsyslog+loganalyzer+mysql部署日志服务器 系统环境: [[email protected] ~]# uname -r 2.6.32-431.el6.x86_64 rsyslog版本:(Centos6.5系统自带的版本都是这个5.8.10) [[email protected] ~]# rsyslogd -v rsyslogd 5.8.10, compiled with: FEATURE_REGEXP: Yes FEATURE_LARGEFILE: N

rsyslog+loganalyzer+mysql部署日志服务器

rsyslog是一个用来管理系统日志的开源程序,是早前syslog的升级版,对原有的日志系统进行了功能的扩展. rsyslog守护进程可以被配置成两种环境,一种是配置成日志收集服务器,rsyslog进程可以从网络中收集其它主机上的日志数据,这些主机会将日志配置为发送到另外的远程服务器.另外就是可以配置为客户端,用来过滤和发送内部日志数据到本地文件夹(如/var/log)或一台远程rsyslog服务器上. 一.rsyslog特性 多线程 支持通过TCP,SSL,TLS,RELP协议实现日志数据的可

Centos6.5下利用rsyslog+loganalyzer+mysql部署日志服务器

RHEL 6.x 搭建rsyslog日志服务器和loganalyzer日志分析工具 =============================================== rsyslog的介绍 logrotate日志滚动的介绍 rsyslog的存储途径 基于web的loganalyzer日志分析工具的搭建 ====================================================== 一.rsyslog的介绍 Linux的日志记录了用户在系统上一切操作,看日

CentOS 6.7下利用Rsyslog+LogAnalyzer+MySQL部署日志服务器

一.简介 LogAnalyzer 是一款syslog日志和其他网络事件数据的Web前端.它提供了对日志的简单浏览.搜索.基本分析和一些图表报告的功能.数据可以从数据库或一般的syslog文本文件中获取,所以LogAnalyzer不需要改变现有的记录架构.基于当前的日志数据,它可以处理syslog日志消息,Windows事件日志记录,支持故障排除,使用户能够快速查找日志数据中看出问题的解决方案. LogAnalyzer 获取客户端日志会有两种保存模式,一种是直接读取客户端/var/log/目录下的

CentOS 下利用Rsyslog+LogAnalyzer+MySQL部署日志服务器

一.安装并设置LAMP环境       yum -y install httpd mysql* php* 二.安装Rsyslog     服务器端:    yum install  rsyslog rsyslog-mysql      rsyslog-mysql :将日志传送到MySQL 数据库     mysql -uroot -p1234 < /usr/share/doc/rsyslog-mysql-5.8.10/createDB.sql    配置数据权限    # mysql -uroo

logstash日志收集展示与邮件报警

有时候我们需要对一些服务器日志进行分析,并对其中错误的日志进行报警,在这里我们采用logstash来收集这些日志,和采用自己开发的邮件发送系统来发送错误日志数据. 例如我们有几个文件需要监控(BI日志) 我们可以通过配置logstash来收集这些文件日志 input{ file{ path=> "/diskb/bidir/smartbi_prd_*/apache-tomcat-5.5.25_prd_*/logs/catalina.out" start_position=>

转载关于CentOS 6.5下利用Rsyslog+LogAnalyzer+MySQL部署日志服务器

http://www.cnblogs.com/mchina/p/linux-centos-rsyslog-loganalyzer-mysql-log-server.html