centos7 部署 ELK 日志系统

===============================================

2017/12/17_第1次修改                       ccb_warlock

===============================================

ELK(elasticsearch、logstash、kibana)可以作为日志收集及分析的一整套系统,通过阿里的普及也有越来越多的公司在使用,使用下来功能还可以,这里整理记录一个部署手册。

为了方便,将ELK都部署在一台os里。



一、环境准备

操作系统:centos7(CentOS-7-x86_64-Minimal-1708)

CPU:1核

内存:4G

可以在你的windows上安装Bitvise SSH Client远程执行命令行和传输文件。

1.1 安装vim、wget

yum install -y vim wget


二、安装Java环境

 2.1 部署java文件

根据官方的描述,

Elasticsearch要求是java8以上。

Logstash要求是Java 8,不支持Java 9。

官网:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

进入后,选择“Accept License Agreement”,选择下载“jdk-8u151-linux-x64.tar.gz”;

将下载的jdk-8u151-linux-x64.tar.gz上传到/root目录下。

# 解压到/usr/local/下

cd
tar -zxvf jdk-8u151-linux-x64.tar.gz -C /usr/local/

 2.2 设置java环境变量

# 修改profile文件

vim /etc/profile

在最后添加下面的内容,wq保存。

export JAVA_HOME=/usr/local/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

# 让profile文件立即生效

source /etc/profile

# 可以用下面的命令查看java的环境变量是否生效

java -version

出现下面的内容就说明java的jdk已经部署完成。

 2.3 删除/root下的安装包(非必要,用于生产环境建议删除) 

rm -rf /root/jdk-8u151-linux-x64.tar.gz


三、部署elasticsearch

 3.1 yum安装elasticsearch

# 获取rpm包

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.1.0.rpm

# 安装

rpm -ivh elasticsearch-6.1.0.rpm

#查找安装路径

rpm -ql elasticsearch

一般是装在/usr/share/elasticsearch/下。

 3.2 设置data的目录

# 创建/data/es-data目录,用于elasticsearch数据的存放

mkdir -p /data/es-data

# 修改该目录的拥有者为elasticsearch

chown -R elasticsearch:elasticsearch /data/es-data

 3.3 设置log的目录

#  创建/data/es-log目录,用于elasticsearch日志的存放

mkdir -p /log/es-log

# 修改该目录的拥有者为elasticsearch

chown -R elasticsearch:elasticsearch /log/es-log

 3.4 修改配置文件elasticsearch.yml

vim /etc/elasticsearch/elasticsearch.yml

根据下面的内容进行修改,wq保存。

#设置data存放的路径为/data/es-data
path.data: /data/es-data

#设置logs日志的路径为/log/es-log
path.logs: /log/es-log

#设置内存不使用交换分区
bootstrap.memory_lock: false
#配置了bootstrap.memory_lock为true时反而会引发9200不会被监听,原因不明

#设置监听的网络地址为0.0.0.0
network.host: 0.0.0.0

#开启监听的端口为9200
http.port: 9200

#增加新的参数,为了让elasticsearch-head插件可以访问es (5.x版本,如果没有可以自己手动加)
http.cors.enabled: true
http.cors.allow-origin: "*"

 3.5 启动elasticsearch

# 启动

systemctl start elasticsearch

# 查看状态

systemctl status elasticsearch

# 设置开机启动

systemctl enable elasticsearch

 3.6 开启9200端口

firewall-cmd --add-port=9200/tcp --permanent
firewall-cmd --reload

 3.7 测试安装是否成功

# 安装net-tools

yum install -y net-tools

# 检查9200是否有监听

netstat -antp |grep 9200

休息了,明天再写。。

时间: 2024-08-29 23:44:39

centos7 部署 ELK 日志系统的相关文章

部署 elk 日志系统 elasticsearch、logstash、 kibana

安装elk         安装Java 1.8环境         解压源码安装包:         tar xf jdk-8u121-linux-x64.tar.gz          ll         mkdir /work/opt -p         mv  jdk1.8.0_121  /work/opt/jdk         ll /work/opt/jdk/         chown -R root.root  /work/opt                   vim

在CentOS7中部署ELK日志分析系统

在CentOS7中部署ELK日志分析系统 ELK原理介绍 什么是ELK ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件.新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具. Elasticsearch是实时全文搜索和分析引擎,提供搜集.分析.存储数据三大功能:是一套开放REST和JAVA API等

基于Docker容器部署ELK日志分析系统

部署ELK日志分析系统,比较消耗计算机硬件,如果使用虚拟机进行测试部署,建议分配较多的硬件资源,否则,当elk容器运行后,会使其无法正常运行.我这里将分配给docker主机5G内存,四个CPU. 一.环境准备 我这里使用一台docker主机(如需要部署docker服务,可以参考博文:Docker的安装详细配置),其IP地址为192.168.20.6,在其之上运行elk容器. 二.配置docker主机运行elk容器 [[email protected] ~]# echo "vm.max_map_c

ELK日志系统:Elasticsearch+Logstash+Kibana搭建教程

ELK日志系统:Elasticsearch + Logstash + Kibana 搭建教程 安装配置JDK环境 JDK安装(不能安装JRE) JDK下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载包:jdk-8u131-linux-x64.rpm yum localinstall jdk-8u131-linux-x64.rpm mvn 安装 cd /usr/lo

Docker 部署ELK 日志分析

Docker 部署ELK 日志分析 elk集成镜像包 名字是 sebp/elk 安装 docke.启动 yum install docke service docker start Docker至少得分配3GB的内存:不然得加参数 -e ES_MIN_MEM=128m  -e ES_MAX_MEM=1024m 加了-e参数限制使用最小内存及最大内存. Elasticsearch至少需要单独2G的内存: vm.max_map_count至少需要262144,修改vm.max_map_count 参

ELK日志系统之kibana的使用操作

1.ELK日志系统打开后,打开kibana的操作界面,第一步创建索引模式: 2222222222222222222222222222222222222222222222 333333333333333333333333333333333创建成功 444444444444444444444444444444 放牛去 原文地址:https://www.cnblogs.com/spll/p/10955215.html

ELK日志系统:Filebeat使用及Kibana如何设置登录认证

原文:ELK日志系统:Filebeat使用及Kibana如何设置登录认证 根据elastic上的说法: Filebeat is a lightweight, open source shipper for log file data. As the next-generation Logstash Forwarder, Filebeat tails logs and quickly sends this information to Logstash for further parsing an

CentOS 8 部署 ELK日志分析 平台

需求 1.开发人员不能登录线上服务器查看日志2.各个系统都有日志,日志分散难以查找3.日志数据量大,查找慢,数据不够实时 解决办法:部署ELK平台 ELK介绍 ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件.新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash . ELK架构图 Elasticsearch简介: El

单机部署ELK日志收集、分析系统

最近做日志分析,发现logstash较符合自己的需求, Logstash:做系统log收集,转载的工具.同时集成各类日志插件,对日志查询和分析的效率有很大的帮助.一般使用shipper作为log收集.indexer作为log转载. Logstash shipper收集log 并将log转发给redis 存储 Logstash indexer从redis中读取数据并转发给elasticsearch redis:是一个db,logstash shipper将log转发到redis数据库中存储.Log