ELK日志分析平台
一、ELK介绍
ELK是三个开源软件的缩写,分别为:Elasticsearch 、 Logstash以及Kibana,都是开源软件,新增一个beats,(轻量级日志处理工具Agent)
Elasticsearch是开源分布式搜索引擎,提供搜索、分析、存储数据三大功能,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等
Logstash 主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
Kibana 也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。
Beats在这里是一个轻量级日志采集器,其实Beats家族有6个成员,早期的ELK架构中使用Logstash收集、解析日志,但是Logstash对内存、cpu、io等资源消耗比较高。相比 Logstash,Beats所占系统的CPU和内存几乎可以忽略不计。
二、elasticsearch搭建
环境介绍:
centos 6.8
JDK 1.8
1.下载ELK的三大组件
Elasticsearc下载地址: https://www.elastic.co/downloads/elasticsearch
Logstash下载地址: https://www.elastic.co/downloads/logstash
Kibana下载地址: https://www.elastic.co/downloads/kibana
2.创建运行elk用户
groupadd elk
useradd -g elk elk
创建运行目录:
mkdir elk
chown -R elk:elk /elk
◆关闭防火墙
3.修改配置参数
配置limit相关参数:
vim /etc/security/limits.conf
添加以下内容
* soft nproc 65536
* hard nproc 65536
* soft nofile 65536
* hard nofile 65536
以上均是由root用户完成
4.安装ELK
由elk用户来操作
tar -xvf elasticsearch-6.5.2.tar.gz
vi config/elasticsearch.yml
修改以下内容
cluster.name: my-application
node.name: node-1
bootstrap.system_call_filter: false(手动添加)
network.host: 192.168.19.95
http.port: 9200
保存退出
5.启动elasticsearch
启动Elasticsearch
./bin/elasticsearch
nohup ./elasticsearch & ##后台启动
查看是否启动:
netstat -an |grep 9200
6.启动验证
在浏览器中输入http://192.168.19.95:9200/
{
"name" : "node-1",
"cluster_name" : "my-application",
"cluster_uuid" : "O-cNGXEsScSns8Catgq4wg",
"version" : {
"number" : "6.5.2",
"build_flavor" : "default",
"build_type" : "tar",
"build_hash" : "9434bed",
"build_date" : "2018-11-29T23:58:20.891072Z",
"build_snapshot" : false,
"lucene_version" : "7.5.0",
"minimum_wire_compatibility_version" : "5.6.0",
"minimum_index_compatibility_version" : "5.0.0"
},
"tagline" : "You Know, for Search"
}
7.启动报错处理
◆max number of threads [1024] for user [lish] likely too low, increase to at least [2048]
解决:切换到root用户,进入limits.d目录下修改配置文件。
vi /etc/security/limits.d/90-nproc.conf
修改如下内容:
* soft nproc 1024
#修改为
* soft nproc 2048
◆max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
解决:切换到root用户修改配置sysctl.conf
vi /etc/sysctl.conf
添加下面配置:
vm.max_map_count=655360
并执行命令:
sysctl -p
◆max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
解决:修改切换到root用户修改配置limits.conf 添加下面两行
命令:vi /etc/security/limits.conf
* hard nofile 65536
* soft nofile 65536
三、logstash搭建
1、解压文件
tar -xvf logstash-6.5.2.tar.gz
2、新建索引配置文件
cd /elk/logstash-6.5.2/bin
mkdir conf
vi conf/logstash-indexer.conf
内容如下:
input {
file {
path=>["/elk/logstash-6.5.2/logs/a.log","/elk/logstash-6.5.2/logs/b.log"]
}
}
output {
elasticsearch { hosts => ["192.168.19.95:9200"] }
stdout { codec => rubydebug }
}
◆◆◆◆◆
input{file{...}}部分指定的是日志文件的位置(可以多个文件)
output部分则是表示将日志文件的内容保存到elasticsearch,这里hosts对应的是一个数组,可以设置多个elasticsearch主机,相当于一份日志文件的内容,可以保存到多个elasticsearch中
3、启动
在logstash /bin 目录下
./logstash -f conf/logstash-indexer.conf
等待片刻,打开另一个窗口,向/elk/logstash-6.5.2/logs/a.log 中写入 hello world 保存退出,然后观察logstash的运行窗口,是否有东西输出
{
"message" => "hello world",
"@version" => "1",
"@timestamp" => "2016-01-08T14:35:16.834Z",
"host" => "yangjunmingdeMacBook-Pro.local",
"path" => "/var/opt/log/a.log"
}
此时浏览http://localhost:9200/_search?pretty 也应该能看到一堆输出,表明elasticsearch接收到logstash的数据了
四、kibana的配置启动
1、修改配置文件
vi /elk/kibana-6.5.2-linux-x86_64/config/kibana.yml
修改第12行:
elasticsearch.url: "http://192.168.19.95:9200"
##指定访问位置
2、启动服务
/elk/kibana-6.5.2-linux-x86_64/bin
./kibana
启动完成后,在浏览器里输入http://localhost:5601/ 即可看到kibana界面,首次运行,会提示创建index,直接点击Create按钮即可。
原文地址:https://www.cnblogs.com/weizhixu/p/10111460.html