Linux系统日志远程采集

一台正常提供服务Linux服务器，每时每刻都在产生着大量的日志信息，若生产环境中，有几十台甚至上百台服务器，那么一台一台的去查看系统的日志是非常麻烦的。

在技术不断更新的今天，有很多可以技术可以对日志进行集中管理，最普遍的操作还是要属ELK日志分析系统了，不过这些日志是如何产生的？是由哪个服务来进行统一管理的呢？这篇文章就围绕着系统日志的服务——rsyslog这个服务来叙述一下。

Linux系统中有很多日志类型，如下是一些系统本身产生的日志文件：

/var/log/boot.log
/var/log/cron
/var/log/dmesg
/var/log/lastlog
/var/log/maillog或/var/log/mail/*
/var/log/messages
/var/log/secure
/var/log/wtmp,/var/log/faillog
/var/log/httpd/* , /var/log/samba/*

若想详细了解日志文件记录的是什么信息，可以参考这篇博文：Linux中常见日志文件的介绍，里面还包括了7个报错等级的介绍！这里不啰嗦了就。

系统中的日志大多数都是由rsyslog这个服务来管理的，这个服务的主配置文件如下：

[[email protected] ~]# grep -v "^$" /etc/rsyslog.conf | grep -v "^#"    #过滤配置文件中的空行和注释行
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imjournal # provides access to the systemd journal
$WorkDirectory /var/lib/rsyslog
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$IncludeConfig /etc/rsyslog.d/*.conf
$OmitLocalLogging on
$IMJournalStateFile imjournal.state
*.info;mail.none;authpriv.none;cron.none                /var/log/messages
上面行开头的星号表示所有服务，点号后面的等级表示那些等级记录下来，/var/lo....表示记录到哪里
authpriv.*                /var/log/secure   #表示authpriv所有等级的信息都记录到secure文件中
mail.*              /var/log/maillog   #表示mail服务的所有级别信息都记录到/var/log/maillog中
cron.*                                /var/log/cron
*.emerg                            :omusrmsg:*
uucp,news.crit                 /var/log/spooler
local7.*                            /var/log/boot.log
#由上面几行注释可以看出，第一段中的点号前面表示某个服务，点号后面表示哪些报错等级要记录。
#点号前后都可以使用通配符星号来表示，如第一列为“*.*”，则表示所有服务的所有等级
#若为“*.info”，则表示所有服务的info等级及比info更严重的等级都记录起来。

在上面的配置文件中，日志存放的位置是可以改动的，也可以更改哪些日志的等级要记录下来，但是一般不建议改动。

其实，依靠/etc/rsyslog.conf这个配置文件，也是可以将其日志发送到另一台服务器上，然后再另一台服务器上进行统一管理，如果生产环境较小，服务器不多的情况下，可以采用这种情况，但是如果生产环境的服务器数量比较多，则推荐部署ELK日志分析系统。

配置rsyslog服务实例

我这里有两台服务器，主机名分别是aaa和bbb（IP地址分别是192.168.1.1和1.2），现在就来实现以下需求：

  • 1、将aaa服务器的所有系统服务日志的info级别以上的同步发送到bbb服务器上进行统一管理；
  • 2、将编译安装的Nginx的日志发送到bbb服务器上进行管理；
  • 3、将编译安装的apache的日志也发送到bbb服务器上进行管理（由于和默认端口和Nginx的冲突，所以在实现了第二个需求后，就将Nginx服务停止，再启动apache服务）；

开始配置：

1、将aaa服务器的所有系统服务日志的info级别以上的同步发送到bbb服务器上进行统一管理

（1）在aaa服务器上进行以下操作：

[[email protected] ~]# vim /etc/rsyslog.conf     #编辑日志服务的配置文件
             #..............省略部分内容
$ModLoad imudp             #将该行开头的注释符号“#”去掉，以便开启udp协议
$UDPServerRun 514     #将该行开头的注释符号“#”去掉，以便开启udp的514端口

# Provides TCP syslog reception
$ModLoad imtcp         #将该行开头的注释符号“#”去掉，以便开启tcp协议
$InputTCPServerRun 514    #将该行开头的注释符号“#”去掉，以便开启tcp的514端口
             #..............省略部分内容
*.info;mail.none;authpriv.none;cron.none         /var/log/messages
*.info                @@192.168.1.2  #星号表示所有服务“*.info”表示info等级及以上的信息
#@@表示使用tcp协议传输，192.168.1.2是指定要发送到哪台服务器
#若使用一个@符号，则表示使用udp协议传输
             #..............省略部分内容
#编辑完成后，保存退出即可。
[[email protected] ~]# systemctl restart rsyslog           #重启rsyslog服务，以便更改生效

（2）在bbb服务器上进行以下操作：

[[email protected] ~]# vim /etc/rsyslog.conf        #编辑日志服务的配置文件，开启udp和tcp的514端口
             #..............省略部分内容
$ModLoad imudp                #去掉该行开头的“#”注释符号
$UDPServerRun 514                #去掉该行开头的“#”注释符号

# Provides TCP syslog reception
$ModLoad imtcp               #去掉该行开头的“#”注释符号
$InputTCPServerRun 514               #去掉该行开头的“#”注释符号
             #..............省略部分内容
[[email protected] ~]# systemctl restart rsyslog        #重启服务，使更改生效
[[email protected] ~]# tailf /var/log/secure     #动态监控着本机的日志文件
Sep 19 15:00:32 aaa useradd[5998]: new group: name=lvjianzh, GID=1003
Sep 19 15:00:32 aaa useradd[5998]: new user: name=lvjianzh, UID=1003, GID=1003....
             #..............省略部分内容

（3）在aaa服务器上进行以下操作（主要是为了产生日志信息）：

[[email protected] ~]# useradd admini
[[email protected] ~]# echo ‘123.com‘ | passwd --stdin admini
更改用户 admini 的密码 。
passwd：所有的身份验证令牌已经成功更新。

（4）查看bbb产生的新日志如下：

2、将编译安装的Nginx的日志发送到bbb服务器上进行管理；

（1）在aaa服务器上进行以下操作：

[[email protected] ~]# vim /etc/yum.repos.d/epel.repo     #写入以下文件，指定阿里镜像站

[epel]
name=epel
baseurl=https://mirrors.aliyun.com/epel/7/x86_64/
gpgcheck=0
#必须保证系统默认自带的yum文件也存在/etc/yum.repos.d/目录下，写入后保存退出即可。
[[email protected] ~]# yum repolist             #最好执行一下该命令
             #..............省略部分内容
(7/7): base/7/x86_64/primary_db                    | 6.0 MB   00:01
源标识                          源名称                            状态
base/7/x86_64                   CentOS-7 - Base                   10,097
epel                            epel                              13,384
#上面一行就是我们刚写入的文件生效的，表示没问题
extras/7/x86_64                 CentOS-7 - Extras                    304
updates/7/x86_64                CentOS-7 - Updates                   311
repolist: 24,096
#若命令yum  repolist执行后没有显示出上述内容，排除配置文件的错误后，可以执行以下命令
[[email protected] ~]# yum makecache          #用来建立元数据缓存的
             #..............省略部分内容
元数据缓存已建立
[[email protected] ~]# yum -y install nginx                 #安装nginx服务
[[email protected] ~]# systemctl start nginx     #启动Nginx服务
[[email protected] ~]# netstat -anpt | grep nginx              #确定Nginx服务已启动
tcp        0      0 0.0.0.0:80      0.0.0.0:* LISTEN      6609/nginx: master
tcp6       0      0 :::80       :::*         LISTEN      6609/nginx: master
[[email protected] ~]# ls /var/log/nginx/   #以下是yum安装Nginx后，Nginx两个日志文件的存放位置
access.log  error.log
#记住Nginx日志的存放路径，一会要用到，若采用的是编译安装，请自行找到Nginx日志存放路径记下来
[[email protected] ~]# vim /etc/rsyslog.conf           #编辑rsyslog服务的配置文件
             #..............省略部分内容
#在配置文件末尾写入以下内容
$ModLoad imfile
$InputFilePollInterval 1
$InputFileName /var/log/nginx/access.log
$InputFileTag nginx-info-access;
$InputFilestateFile state-nginx-info-accesslog
$InputRunFileMonitor
$InputFileName /var/log/nginx/error.log
$InputFileTag nginx-info-error;
$InputFilestateFile state-nginx-info-errorlog
$InputRunFileMonitor
$InputFilePollInterval 10
if $programname == ‘nginx-info-access‘ then @192.168.1.2:514
if $programname == ‘nginx-info-access‘ then ~
if $programname == ‘nginx-info-error‘ then @192.168.1.2:514
if $programname == ‘nginx-info-error‘ then ~
[[email protected] ~]# systemctl restart rsyslog               #重启服务以便生效

关于上面写入的配置项解释如下：

$ModLoad imfile         #加载模块
$InputFilePollInterval 1    #间隔多久采集次，默认单位是秒
$InputFileName /var/log/nginx/access.log    #指定要采集的日志文件
$InputFileTag nginx-info-access;           #给对应的日志打一个标签
$InputFilestateFile state-nginx-info-accesslog    #给这个日志命名
$InputRunFileMonitor        #启动监控
#以下的配置和上面类似，因为要采集两个日志文件嘛！
$InputFileName /var/log/nginx/error.log
$InputFileTag nginx-info-error;
$InputFilestateFile state-nginx-info-errorlog
$InputRunFileMonitor
$InputFilePollInterval 10
#以下是指定将采集的日志发送到哪里，同理，一个@符号表示使用的udp协议，两个表示tcp协议
if $programname == ‘nginx-info-access‘ then @192.168.1.2:514
if $programname == ‘nginx-info-access‘ then ~   #这的~，表示本地的意思
if $programname == ‘nginx-info-error‘ then @192.168.1.2:514
if $programname == ‘nginx-info-error‘ then ~

（2）在bbb服务器上进行日志的监控：

（3）客户端访问aaa的Nginx服务，以便产生日志。

（4）再回到bbb服务器上，查看是否有关于aaa服务器的Nginx访问日志产生（如果没有新的日志产生，在排除配置错误的前提下，客户端可以多刷新几次）：

可以看出来，Nginx的日志信息简直不要太详细，对么？日志信息中包含了该日志产生的时间？是哪台服务器产生的？标签名是什么？哪个IP地址访问的？访问时间是什么时候？访问的状态码是什么？客户端访问时使用的是什么系统、系统的位数是多少？如(Windows NT 10.0; Win64; x64，表示是64为的win10系统)，用的是什么浏览器进行访问的？我这里使用谷歌访问的，它竟然还记录了我客户端谷歌浏览器的版本号。

至此，Nginx的日志文件采集就完成了，那么现在进行apache的日志采集，有了前面的铺垫，这就简单多了，简单改一下配置项就可以了。

3、将编译安装的apache的日志也发送到bbb服务器上进行管理

（1）在aaa服务器上进行以下操作：

[[email protected] ~]# yum -y install httpd            #安装apache服务
[[email protected] ~]# systemctl stop nginx      #为了避免端口冲突，停止Nginx服务
[[email protected] ~]# systemctl start httpd      #启动apache服务
[[email protected] ~]# vim /etc/rsyslog.conf          #更改rsyslog配置文件，主要是更改采集日志的路径
             #..............省略部分内容
$ModLoad imfile
$InputFilePollInterval 1
$InputFileName /var/log/httpd/access_log      #主要是改这个
$InputFileTag httpd-info-access;
$InputFilestateFile state-httpd-info-accesslog
$InputRunFileMonitor
$InputFileName /var/log/httpd/error_log #还要改这个
#其余配置项可不改，但是建议改一下，以免看起来日志不太直观。
$InputFileTag httpd-info-error;
$InputFilestateFile state-httpd-info-errorlog
$InputRunFileMonitor
$InputFilePollInterval 10
if $programname == ‘httpd-info-access‘ then @192.168.1.2:514
if $programname == ‘httpd-info-access‘ then ~
if $programname == ‘httpd-info-error‘ then @192.168.1.2:514
if $programname == ‘httpd-info-error‘ then ~
#主要就是将上面配置中的Nginx都换成了httpd。
[[email protected] ~]# systemctl restart rsyslog                 #重启服务，使更改生效

（2）在bbb服务器上进行日志的监控：

（3）客户端访问aaa的Nginx服务，以便产生日志（多刷新几次）。

（4）再回到bbb服务器上，查看是否有关于aaa服务器的httpd访问日志产生。

OK！没问题，采集到了。。。

———————— 本文至此结束，感谢阅读 ————————

原文地址：https://blog.51cto.com/14154700/2439346

时间： 2024-10-11 23:34:02

Linux系统日志远程采集的相关文章

嵌入式 Linux进程间通信（四）——Linux系统日志

嵌入式 Linux进程间通信(四)--Linux系统日志 syslog 是一种工业标准的协议,用来记录设备的日志.Linux日志系统由系统日志监控程序syslogd和内核日志监控程序klogd组成,两个监控程序都是守护程序(daemon),且都注册成了系统服务.syslogd专门记录非内核的其他设备所产生的日志,当系统的控制权由系统交给init的时候,日志信息的记录由syslogd负责记录.Klogd主要负责内核所产生的日志.内核日志记录信息由dmesg /var/log/dmesg查看. 常见

八周三次课（1月31日） 10.32/10.33 rsync通过服务同步 10.34 linux系统日志 10.35 screen工具

八周三次课(1月31日)10.32 rsync通过服务同步10.33 rsync通过服务同步10.34 linux系统日志10.35 screen工具===============================================================================================================================================================================

十（7）rsync：介绍、常用选项、通过ssh同步、通过服务同步、linux系统日志、screen

                        rsync工具介绍 rsync:数据备份工具(remote sync). rsync不仅可以远程同步数据(类似scp),而且可以本地同步数据(类似cp),但是不同于cp或scp的一点是,如果数据存在的话它不会覆盖以前的数据,而是会先判断已存在的数据是否和新的数据有差异,只有数据不同时才会把不同的部分覆盖.  (系统如果没有rsync命令,安装:yum install -y rsync) (如:有两台机器A.B,要把A的数据每小时都备份到B下,而且A

八周三课 rsync通过服务同步，linux系统日志，screen工具

rsync通过服务的方式同步通过服务的方式首先我们要开启一个服务,它的架构是cs架构.客户端和服务端.服务端开启一个服务,rsync服务,并且要监听一个端口,默认为873,并且这个端口是可以自定义的.开启服务后,客户端究竟可以通过873这个端口和服务端进行通信.它的命令格式有两个"::".例如:rsync -av test1/ 192.168.133.130::module/dir/自启动服务前,我们要编辑配置文件,配置文件的默认路径为 /etc/rsyncd.conf.启动方式为rs

10.32/10.33 rsync通过服务同步 10.34 linux系统日志 screen工具

通过后台服务的方式 在远程主机上建立一个rsync的服务器,在服务器上配置好rsync的各种应用,然后将本机作为rsync的一个客户端连接远程的rsync服务器. 在128主机上建立并配置rsync的配置文件/etc/rsyncd.conf,把你的rsyncd.conf编辑成以下内容: [[email protected] ~]# vim /etc/rsyncd.conf # /etc/rsyncd: configuration file for rsync daemon mode port=8

linux桌面 远程windows系统

linux桌面远程windows系统 1.安装yum参考地址: http://lk886655.blog.51cto.com/7036409/1965548 2.安装rdesktop #yum install rdesktop 3.在命令行输入下面命令即可 #rdesktop -g 1024x768  -u username  -p password IP 例如:#rdesktop -g 1024x768  -u administrator -p password   192.168.10.11

Linux Mount远程目录

Linux Mount远程目录 Linux的mount命令可谓强大,可以将远程机器的目录来挂接到本地作为一个目录存在,以后你就如同访问本地目录一下的访问远程目录.为了达到这个目的你需要做至少两件事情:1.在被mount的机器上做nfs的设定2.在需要mount的机器上做mount设定.首先来看如何在被mount的机器(PC_A)上做设定.其实这是通过nfs(network file system)来实现的.在/etc目录下有一个文件exports来定义所有允许共享的目录和设置:第一步需要做的就是

LinuxShell脚本之利用rsync+ssh实现Linux文件系统远程备份

功能介绍: 该脚本用于定期(结合crontab一起使用)将本地目录通过rsync+ssh传输到远程服务器,每次执行都生成一个带有以时间命名的目录,并且当前最新版本的数据链接到一个名字叫current的符号链接上,便于查找和恢复.在数据传输完成前,会传输到临时目录下,这个临时目录被命名为"时间-incomplete".超过10天的备份将被删除,超过10天的日志文件也将被删除. 运行原理: 脚本运行的核心就在于ssh的互信和rsync命令.利用rsync能实现压缩传输,节省传输时间. 感谢

10.32/10.33 rsync通过服务同步10.34 linux系统日志10.35 screen工具

- 10.32/10.33 rsync通过服务同步 - 10.34 linux系统日志 - 10.35 screen工具 - 扩展 1. Linux日志文件总管logrotate http://linux.cn/article-4126-1.html 2. xargs用法详解 http://blog.csdn.net/zhangfn2011/article/details/6776925 # 10.32 rsync通过服务来同步 上 - rsync通过服务的方式同步 - 要编辑配置文件/etc/