rsyslog+mysql+loganalyzer搭建日志服务器<个人笔记>

大概思路如下:

使用Linux自带的rsyslog服务来做底层,然后再使用mysql与rsyslog的模板来存储文件,并且以web来进行显示出来。<模板的存储以日期的树形结构来存储,并且以服务器客户端IP为文件名进行划分。

最终的效果如下图:

大概步骤如下:

1.配置好rsyslog server的服务

2.配置好lamp架构

3.安装好Loganalyzer日志web

4.建好web权限控制

一、配置好rsyslog server的服务

以下为/etc/rsyslog.conf的配置文件,自行修改为以下的配置。

[[email protected] ~]# grep -v ‘^#‘ /etc/rsyslog.conf|grep -v ‘^$‘
$ModLoad ommysql
*.* :ommysql:localhost,Syslog,rsyslog,123456
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imklog # provides kernel logging support (previously done by rklogd)
$ModLoad immark # provides --MARK-- message capability
$ModLoad imudp
$UDPServerRun 514
$ModLoad imtcp
$InputTCPServerRun 514
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$template DynamicFile,"/var/log/ttlogs/%$YEAR%/%$MONTH%/%$DAY%/%fromhost-ip%-test.log"
*.* ?DynamicFile
$IncludeConfig /etc/rsyslog.d/*.conf
*.info;mail.none;authpriv.none;cron.none /var/log/messages
authpriv.* /var/log/secure
mail.* -/var/log/maillog
cron.* /var/log/cron
*.emerg *
uucp,news.crit /var/log/spooler
local7.* /var/log/boot.log
[[email protected] ~]#
# /etc/init.d/rsyslog restart #重启下rsyslog的服务
#chkconfig rsyslog on #设置开机启动
# netstat -tpnl #检查rsyslogd服务是否正常启动,514端口
#logger ‘test_samcao‘ #发送测试日志测试
#tail -f /var/log/messages #查看是否有测试信息,上面的有添加mysql的接口,会有错误提示但不影响

注:需要注意下rsyslog的版本,有些版本的配置不太一样。会有问题,在此需要根据 /var/log/message中的日志信息进行排查,在此第一步配置rsyslog server就配置完了

二、准备配置LAMP环境

下面的这步可以直接简单的搭建好LAMP的环境

#yum -y install httpd mysql mysql-server php php-mysql postgresql postgresql-server php-postgresql php-pgsql php-devel gd gd-devel php-gd
#/etc/init.d/httpd start
#/etc/rc.d/init.d/mysqld start
#/usr/bin/mysqladmin -u root password ‘new-password‘

  三、安装好Loganalyzer日志web

#wget http://download.adiscon.com/loganalyzer/loganalyzer-3.6.5.tar.gz
#tar zxvf loganalyzer-3.6.5.tar.gz
#cd loganalyzer-3.6.5
# mkdir -p /var/www/html/loganalyzer
# rsync -a src/* /var/www/html/loganalyzer/
# touch /var/www/html/loganalyzer/config.php
# chmod 666 /var/www/html/loganalyzer/config.php

然后就是访问 http://192.168.1.213/loganalyzer 页面进行web安装的操作了。这个我忽略了。图太多。而且我已经安装完了。再截图太麻烦。可以看这个链接:

http://www.cnblogs.com/mchina/p/linux-centos-rsyslog-loganalyzer-mysql-log-server.html

注:上面安装的时候注意下,数据库如果没有需要自己手动建一下,还有数据表的名称的大小写。还有gd库的支持打开/etc/php.ini将 gd.jpeg_ignore_warning = 0这行的注释取消掉

四、建好web权限控制

默认可以直接打开web页面查看日志,可能有时候需要进行相关的权限设置,没有再深入研究loganalyzer,在此直接使用apache的密码来处理了下这个问题

1. 将http.conf中的AllowOverride all

[[email protected] ~]# cat /var/www/html/.htaccess
AuthName "Login"
AuthType basic
AuthUserFile "/var/webuser"
require valid-user
[[email protected] ~]#

4.使用后面会提示需要输入密码.直接输入密码即可.但是需要添加多个用户的时候不可使用上面的命令.其中-c表示需要创建一个加密文件,可使用 htpasswd -mdps /var/webuser cs来进行添加账号.

这样就完事了.最后在访问web的时候,会提示需要输入密码。输入然后就可以正常的访问了。

其中有些配置信息上面没有说清楚,如果有需要的同学可以看下下面的一些链接 :

https://linux.cn/article-5023-1.html 在 Linux 上配置一个 syslog 服务器

http://www.cnblogs.com/mchina/p/linux-centos-rsyslog-loganalyzer-mysql-log-server.html CentOS 6.5下利用Rsyslog+LogAnalyzer+MySQL部署日志服务器

其它的还有一些官方的链接,在此就不帖了,有问题自行百度去吧。这个只是我自己的一个记录。

[[email protected] ~]# grep -v ‘^#‘ /etc/rsyslog.conf |grep -v  ‘^$‘
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imklog   # provides kernel logging support (previously done by rklogd)
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$IncludeConfig /etc/rsyslog.d/*.conf
*.info;mail.none;authpriv.none;cron.none                /var/log/messages
authpriv.*                                              /var/log/secure
mail.*                                                  -/var/log/maillog
cron.*                                                  /var/log/cron
*.emerg                                                 :omusrmsg:*
uucp,news.crit                                          /var/log/spooler
local7.*                                                /var/log/boot.log
module(load="imfile" PollingInterval="10")
input(type="imfile"
    File="/usr/local/u-mail/service/nginx/logs/access.log"
    StateFile="/var/spool/rsyslog/statefile1"
    Tag="tag1"
    Severity="access"
    Facility="local7")
local7.*    @192.168.1.213:514
*.*    @192.168.1.213
[[email protected] ~]# 
时间: 2024-10-26 10:21:33

rsyslog+mysql+loganalyzer搭建日志服务器<个人笔记>的相关文章

django+nginx+xshell简易日志查询,接上&lt;关于《rsyslog+mysql+loganalyzer搭建日志服务器&lt;个人笔记&gt;》的反思&gt;

纠正一下之前在<关于<rsyslog+mysql+loganalyzer搭建日志服务器<个人笔记>>的反思>中说到的PHP+MySQL太慢,这里只是说我技术不好,没有技术可以修改这个开源的php日志程序罢了,当然,在做这个的时候,也是菜鸟一个,只是想自己尝试一下.高手可以直接跳过..... 首先,写在前面,因为上班空闲时间不多,只有忙里偷闲或自己回家的时间弄下,所以这个前后的时间就比较久了. 之前在上篇写到,是准备使用apache+django来搭建的,但是真的,我折腾

rsyslog + mysql + loganalyzer 构建日志服务器

rsyslog支持的特性 支持多线程 支持tcp,ssl,tls.relp 可以把日志存储于关系型数据库中 支持过滤器,可以实现过滤日志中的任意部分. 支持自定义格式 适用于企业级的日志记录需求. 功能模块化 rsyslog用facility接收各个应用和程序的日志,并把日志分类.有以下几类 auth        与认证相关的 authpriv 与用户认证授权相关的,如用户登陆 cron     与周期任务相关的 daemon    与守护进程相关的 kern        与内核相关的 lp

Rsyslog+MySQL+LogAnalyzer部署日志服务器

实验要求 搭建可视化日志搜集分析平台,用于集中搜集日志,并通过可视化日志分析工具呈现: Apps Server是要搜集日志的Nodes,可以有多台,这里我只用1台Node: Rsyslog Server是统一接收各Nodes提交过来的日志,监听在TCP/UDP 514节点: MySQL Server是用于存储提交的日志信息,做独立服务器,也可做Cluster: LogAnalyzer是一款基于LAMP的可视化日志分析工具,后端查询数据库,将结果整理输出: 拓扑如下: 实现机理 Linux上的Rs

利用rsyslog+mysql+loganalyzer部署日志服务器

rsyslog简介: 在CentOS上rsyslog服务专门负责记录系统日志信息(更早的版本系统使用的是syslog,rsyslog是syslog的下一代版本),rsyslog有三部分组成:syslogd,klogd,logrotate syslogd主要记录系统与网络等服务的日志信息: klogd主要记录内核产生的各项信息: logrotate主要用来对日志文件进行切割循环记录: mysql简介: MySQL是一个关系型数据库管理系统,在 WEB 应用方面MySQL是最好的 RDBMS (Re

rsyslog+loganalyzer搭建日志服务器

日志简介: 日志:即历史事件,按时间序列将发生的事件予以记录:日志记录了事件发生的时间,时间内容,事件的关键性程度:运维人员可通过检查这些记录的信息,发现错误发生的原因,或寻找受到攻击时,攻击者留下的痕迹. syslog是CentOS6之前的默认日志系统: syslogd:系统进程的相关日志 kloged:内核事件相关日志 rsyslog是CentOS6的默认日志系统: 支持多线程 支持tcp,ssl,tls,relp等协议 支持MySQL,PGSQL,Oracle等多种关系型数据中 强大的过滤

rsyslog+mysql+loganalyzer 环境搭建日志服务器

环境:CentOS6.6 rsyslog+mysql+loganalyzer 环境搭建日志服务器 Client端:    192.168.2.10 MySQL服务器:  192.168.2.11 # Client端安装必备的软件包 yum install rsyslog-mysql -y 生成了2个文件: /lib64/rsyslog/ommysql.so           #rsyslog支持数据库的模块文件 /usr/share/doc/rsyslog-mysql-5.8.10/creat

rsyslog+loganalyzer+mysql+apache+php的lamp架构搭建日志服务器

当服务器遇到问题时,运维工程师都会根据日志分析问题,当黑客入侵服务器时,基本都会删除日志,以免留下蛛丝马迹,由此可见日志对服务器来说多么重要,为此很多公司都会有自己的日志服务器,下面我们来一起学习如何搭建日志服务器和日志分析工具. 1.首先必须得客户机与服务器都安装rsyslog这个软件: [[email protected] ~]# yum -y install rsyslog 2.客户机修改配置文件(1.4为日志服务器) [[email protected] ~]# grep -v "^$&

Rsyslog+Loganalyer+MySQL下部署日志服务器

Rsyslog+Loganalyer+MySQL下部署日志服务器 准备工作(三台Centos服务器Centos7): MySQL服务器(192.168.1.70):收集储存管理日志 web/Rsyslog服务器(192.168.1.52):搭建httpd服务,提供在web端查看日志信息 测试服务器(192.168.1.71):生成日志,并将日志信息发送给Rsyslog服务器 关闭防火墙和selinux 配置MySQL服务器 安装MySQL服务,创建用户,授权对Syslog数据库的访问. #yum

rsyslog+MySQL+loganalyzer日志集中分析管理

前言   rsyslog系统日志,在CentOS5上叫syslog,而在CentOS6上叫rsyslog,叫增强版的syslog,CentOS5上的配置文件在/etc/syslog.conf下,而CentOS6在/etc/rsyslog.conf下.       syslog默认是把我们的日志放到文件.用户.日志服务器.管道中.       rsyslog在syslog的基础上还多了一条途径,允许把日志放到mysql数据中.       rsyslog比syslog好在哪里:       Mul