企业日志分析之linux系统message收集展示

之前写了收集linux系统历史history命令,下面介绍一下系统里日志收集与展示的。

老规矩,先看效果,满意的话继续看。

一、效果图

1、总览

2、linux系统日志收集数据总量

主要是展示所选范围内容收集日志总量

3、linux系统日志收集主机数

主要是展示当前总共有多少台主机上传了message日志数据

4、linux系统日志程序类型Top5

主要是展示收集的日志信息里前5个程序名;我这5个都是docker服务器,所以docker日志有很多。

5、linux系统日志时间数据总量图

主要是展示每个时间段收集的数据量

6、linux系统日志数据

主要是展示详细的日志数据

安装elk的过程可以参考上一篇,地址是http://dl528888.blog.51cto.com/2382721/1703059

二、收集日志

我收集的是系统/var/log/messages日志,然后通过rsyslog的tcp 8514端口发给logstash。

1、配置rsyslog

默认rsyslog都安装了,所以只需要修改配置

在/etc/rsyslog.conf里添加

*.* @@localhost:8514

然后重启rsyslog

2、配置logstash

[[email protected] tmp]# cat /etc/logstash/conf.d/logstash_agent.conf
input {
    tcp {
    port => "8514"
    type => "syslog"
   }
}

filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
    }
  }
}

output {
redis {

host => ["10.10.125.8:6379"]

data_type =>"list"
key => "logstash:redis"

}

}

3、导入模板

导入顺序

1、Linux系统日志试图.json

2、Linux系统日志搜索.json

3、Linux系统日志Dashboard.json

其他的有问题可以留言。

时间: 2024-08-03 23:21:38

企业日志分析之linux系统message收集展示的相关文章

awstats 日志分析工具linux下的安装和使用

合并日志文件可以使用 bash 的sort命令: #sort -m -t " " -k 4 -o log_all access*.log 也可以使用  awstats 提供的 logresolvemerge.pl #perl /usr/local/awstats/tools/logresolvemerge.pl -dnslookup=100 -showsteps access*.log >log_all -showsteps 表示每8192行显示一次进度. -dnslookup=

企业日志分析之日志管理

感谢dl528888(吟)帮忙和相关的技术. 自己刚刚弄会了日志管理. 图:

linux系统监控图表展示--nmon和nmon analyser

1. 下载及说明 nmon工具下载地址: http://cznic.dl.sourceforge.net/project/nmon/nmon_linux_14i.tar.gz nmon analyser工具下载地址: https://www.ibm.com/developerworks/community/wikis/form/anonymous/api/wiki/61ad9cf2-c6a3-4d2c-b779-61ff0266d32a/page/b7fc61a1-eef9-4756-8028-

理论+实操:深入理解Linux文件系统与日志分析

前言: inode(文件节点)与block(数据块) 硬链接与软连接 恢复误删除的文件 (即rm-rf 的操作,可以先进行备份的操作,然后可以进行恢复ext4和xfs文件系统皆可) 日志文件的分类 用户日志与程序日志 一 :inode和block概述 1.1 概述 文件数据包括元信息与实际数据 文件存储在硬盘上,硬盘最小存储单位是"扇区",每个扇区储存512字节 block(块) 连续的八个扇区组成一个block,一个block单位是4k 是文件存取的最小单位 inode(索引节点)

Linux/Centos7系统管理之深入理解Linux文件系统与日志分析

前言: inode(文件节点)与block(数据块) 硬链接与软连接 恢复误删除的文件 (即rm-rf 的操作,可以先进行备份的操作,然后可以进行恢复ext4和xfs文件系统皆可) 日志文件的分类 用户日志与程序日志 一 :inode和block概述 1.1 概述 文件数据包括元信息与实际数据 文件存储在硬盘上,硬盘最小存储单位是"扇区",每个扇区储存512字节 block(块) 连续的八个扇区组成一个block,一个block单位是4k 是文件存取的最小单位 inode(索引节点)

centos 7搭建ELK日志分析系统

一.ELK的组成 ELK由ElasticSearch.Logstash和Kiabana三个开源工具组成,其官方网站为https://www.elastic.co/cn Elasticsearch:是个开源分布实时分析搜索引擎,建立在全文搜索引擎库Apache Lucens基础上,同时隐藏了Apache Luces的复杂性.Elasticsearch将所有的功能打包成一个独立的服务,并提供了一个简单的RESTful API接口,它具有分布式.零配置.自动发现.索引自动分片.索引副本机制.RESTf

Linux中的日志分析及管理

日志文件对于诊断和解决系统中的问题很有帮助,因为在Linux系统中运行的程序通常会把系统消息和错误消息写入相应的日志文件,这样系统一旦出现问题就会"有据可查".此外,当主机遭受攻击时,日志文件还可以帮助寻找攻击者留下的痕迹.一.主要日志文件在Linux系统中,日志数据主要包括以下三种类型:[内核及系统日志][用户日志][程序日志]Linux系统本身和大部分服务器程序的日志文件默认情况下都放置在目录"/var/log"中.一部分程序公用一个日志文件,一部分程序使用单个

《Linux内核分析》第三周 构建一个简单的Linux系统MenuOS

[刘蔚然 原创作品转载请注明出处 <Linux内核分析>MOOC课程http://mooc.study.163.com/course/USTC-1000029000] WEEK THREE(2.29——3.6)构造一个简单的Linux系统MenuOS SECTION 1 Linux内核源代码简介 1.操作系统的两把宝剑(回顾上一讲) 中断上下文的切换——保存现场&恢复现场 进程上下文的切换 2.Linux内核源代码简介 打开内核源代码页面 arch/目录:支持不同CPU的源代码:其中的

linux系统调优-存储(内存、硬盘)

首先一个基本概念:                ?存储系统存储速度的快->慢:       内存->闪存->磁盘 因为内存的价格限制以及操作系统支持的限制,我们只能从磁盘这块来看,可见磁盘正是存储系统的最大瓶颈所在. **下面具体提出我们的优化方案 优化方案1.缓存机制: 我们在磁盘里嵌入一小块高速的内存,用以保持常用的数据,我们称它为缓存.这样既可以使用磁盘,也能提高性能 缓存分为3类 Filestem cache.Diskcache.Disk controller cache.这里