部署ELK日志分析系统，比较消耗计算机硬件，如果使用虚拟机进行测试部署，建议分配较多的硬件资源，否则，当elk容器运行后，会使其无法正常运行。我这里将分配给docker主机5G内存，四个CPU。
一、环境准备
我这里使用一台docker主机（如需要部署docker服务，可以参考博文：Docker的安装详细配置），其IP地址为192.168.20.6，在其之上运行elk容器。
二、配置docker主机运行elk容器
[[email protected] ~]# echo "vm.max_map_count = 655360" >> /etc/sysctl.conf
#更改其虚拟内存
[[email protected] ~]# sysctl -p #刷新内核参数
vm.max_map_count = 655360 #若容器不能正常运行，可适当调大此参数值
[[email protected] ~]# docker pull sebp/elk #elk镜像大小在2G以上，所以建议先下载到本地，再运行容器
[[email protected] ~]# docker run -itd -p 5601:5601 -p 9200:9200 -p 5044:5044 -e ES_HEAP_SIZE="3g" -e LS_HEAP_SIZE="1g" --name elk sebp/elk
#基于sebp/elk运行elk容器
# “-e ES_HEAP_SIZE="3g" ”：是限制elasticsearch所使用的内存大小
# -e LS_HEAP_SIZE="1g" ：限制logstash使用的内存大小至此，即可通过浏览器访问docker主机的5601端口访问到以下界面了（以下进行的所有操作，看图进行即可，都已标记在图上了）：
当看到以下页面后（注意选择RPM选项卡），根据下面的提示命令在我们的docker主机上执行即可。
执行以上页面的提示命令操作，如下：
[[email protected] ~]# curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.4.0-x86_64.rpm
#下载rpm包
[[email protected] ~]# rpm -ivh filebeat-7.4.0-x86_64.rpm #安装下载的rpm包
[[email protected] ~]# vim /etc/filebeat/filebeat.yml
======== Filebeat inputs ==========
filebeat.inputs: #修改filebeat.inputs下面的内容
enabled: true #改为true，以便启用filebeat
paths: #修改path段落，添加要收集的日志路径
- /var/log/messages #指定一下系统日志的文件路径
- /var/lib/docker/containers/*/*.log #这个路径是所有容器存放的日志路径
========== Kibana =============
host: "192.168.20.6:5601" #去掉此行注释符号，并填写kibana的监听端口及地址
------------ Elasticsearch output ------------
hosts: ["192.168.20.6:9200"] #修改为Elasticsearc的监听地址及端口
#修改完上述配置后，保存退出即可
[[email protected] ~]# filebeat modules enable elasticsearch #启用elasticsearch模块
[[email protected] ~]# filebeat setup #初始化filebeat，等待时间稍长
Index setup finished.
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards
Loaded machine learning job configurations
Loaded Ingest pipelines
#出现上述信息，才是初始化成功
[[email protected] ~]# service filebeat start #启动filebeat当执行完上述操作后，即可点击下面的“Dicover”，进行查看日志的操作了，如下：
若最近十五分钟内有新的日志，并且docker主机的时间也处于同步状态，那么可以考虑执行下面的命令，以便重启elk这个容器再进行查看。
[[email protected] ~]# systemctl daemon-reload #重新加载配置文件
[[email protected] ~]# docker restart elk #重启elk容器当可以正常访问到上面的页面时，这时我们运行一个容器，让其每隔十秒钟输出一段字符，然后查看kibana是否可以采集到该容器相关的日志信息，如下：
[[email protected] ~]# docker run busybox sh -c ‘while true;do echo "this is a log message from container busybox!";sleep 10;done‘
#运行这个容器，每隔十秒输出一段字符然后看下图，依次操作，如下：
如果能够看到相应的日志信息，则说明elk这个容器运行正常。
———————— 本文至此结束，感谢阅读 ————————
原文地址：https://blog.51cto.com/14154700/2447197
时间： 2024-11-12 03:02:29