一、ELK日志分析平台是什么?
首先来看一下传统的日志查找方式:当有客户报障时,需要:
1、登录服务器
ssh [email protected]
ssh [email protected]
ssh [email protected]
…
2、找到位置
cd /apps/logs/nginx/; cd /apps/logs/mysql/;
cd /apps/logs/docker; cd /apps/logs/java/;
…… ……
3、查看日志
head tail grep wc awk count cut …… ……
因此,传统的日志架构存在的以下若干缺点:
- 开发人员无权登录,经过运维周转费时费力
- 日志数据分散在多个系统,难以查找
- 日志数据量大,查询速度慢
- 一个调用会涉及多个系统,难以在这些系统的日志中快速定位数据
- 数据不够实时
- ……
二、日志架构的演变
传统的日志架构,需要运维人员强大的正则功底,对日志运用shell命令,
例如:cat tail grep awk sed等,对日志进行处理,再筛选出自己想要的结果或寻找关键字。
有了ELK后,对运维和开发处理日志的要求降低,只需要在web界面上简单的操作,就可以找到自己想要的数据,并进行画图
二、ELK概述
1、那么ELK名称怎么由来呢?
首字母为该管理系统三个主要软件:Elasticsearch、Logstash、Kibana。
这三个并非该管理系统的全部组成,而且还可以添加Redis,kafka,filebeat等软件
它们各自的功能大概可以这样概述:
E
实时分析、实时检索、海量存储
建立索引,以便日后快速查看、搜索、分析
L
数据流传输、日志结构化
K
分析统计、酷炫图表
下面我们就开始详细学习ELK的各个组件
时间: 2024-10-24 12:48:25