ELK学习记录二 :elasticsearch、logstash及kibana的安装与配置

注意事项:

1.ELK版本要求5.X以上,本人使用版本:elasticsearch-6.0.0、kibana-6.0.0-linux-x86_64、logstash-6.0.0.tar

2.Elasticsearch5.x版本必须基于jdk1.8,安装环境必须使用jdk1.8

3.本人使用linux操作系统的centos6.5版本作为测试环境,其他环境命令有差异,请注意

4.本教程适合完全离线安装

5.ELK及jdk安装包下载路径:https://pan.baidu.com/s/1KAPtSt4b2kbv0u2WbQElQw 密码:087c

一、在服务器系统上准备好安装包

可通过xshell上传安装包到服务器:

二、安装jdk1.8

2.1 创建安装目录:

sudo mkdir /usr/lib/jvm

2.2 解压jdk压缩包

tar jdk-8u151-linux-x64.tar.gz -C /usr/local/jvm/

2.3 配置环境变量

进入配置文件:vim ~/.bashrc,在文档最后追加一下内容

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_151
export JRE_HOME=/usr/lib/jvm/jdk1.8.0_151/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

然后按esc键,输入:wq,保存退出, 由于安装路径不同,路径需要作相应更改。

2.4 将环境变量刷新到缓存

刷新到缓存source ~/.bashrc,然后执行java -version查看是否配置成功。

三、安装Logstash

3.1 新建elk文件夹

3.2解压logstash到elk文件夹中

sudo tar xvzf installPackage/logstash-6.0.0.tar.gz -C elk/

3.3创建Logstash测试启动配置文件

在logstash文件夹的config文件夹下面创建test.conf文件,并输入一下内容: #输入

#输入
input{}
#过滤
filter{}
#输出
output{}

3.4切换到root用户启动Logstash

./bin/logstash -f config/test.conf

可能会报错:

我们发现在root用户的bashrc文件中没有我们配置好的jdk,重新在root用户下配置一下jdk环境变量,并重新启动Logstash:

上图表示启动成功。

四、安装elasticsearch

4.1 解压elasticsearch到elk文件夹中

tar xvzf installPackage/logstash-6.0.0.tar.gz -C elk/

4.2. 修改ES配置文件:

vim config/elasticsearch.yml

(elasticsearch.yml中的配置冒号前没有空格,冒号后一个空格,不然有可能报错)

4.3 启动elasticsearch

启动elasticsearch必须使用非root且没有sudo权限的用户启动,所以这里要新建一个普通用户并切换用户启动

专门为es创建个账号,然后再将这个文件夹切换到新建的这个用户下,然后用这个用户启动。

创建用户组和用户命令如下

groupadd elasticsearch
useradd elasticsearch -g elasticsearch -p elasticsearch

账号创建完了,更改elasticsearch文件夹及内部文件的所属用户及组为elsearch:elsearch

输入命令:

chown -R elasticsearch: /usr/local/elk/elasticsearch-6.0.0/

切换到elasticsearch文件夹下面:

使用elasticsearch用户启动  ./bin/elasticsearch

4.4 启动遇到的问题

主要下面四个错误:

[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

切换到root用户,编辑limits.conf 添加类似如下内容

vi /etc/security/limits.conf

添加如下内容:

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

[2]: max number of threads [1024] for user [elasticsearch] is too low, increase to at least [4096]

切换到root用户,编辑90-nproc.conf 修改类似如下内容

*          soft    nproc     4096

[3]max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

切换到root用户修改配置sysctl.conf

vi /etc/sysctl.conf

添加下面配置:

vm.max_map_count=655360

并执行命令:

sysctl –p

[4]: ERROR: bootstrap checks failed

system call filters failed to install; check the
logs and fix your configuration or disable system call filters at your own risk

问题原因:因为Centos6不支持SecComp,而ES默认bootstrap.system_call_filter为true进行检测,所以导致检测失败,失败后直接导致ES不能启动。

解决方法:在elasticsearch.yml中配置bootstrap.system_call_filter为false,注意要在Memory下面:

bootstrap.memory_lock: false
bootstrap.system_call_filter: false

修改完错误之后切换到elasticsearch用户重新启动:

发现启动成功。

4.5 启动成功验证

执行:curl 192.168.209.131:9200,结果如下图则启动成功

或者在浏览器方访问192.168.209.131:9200

五、安装kibana

5.1 解压kibana到elk文件夹中

直接切换为root用户操作:

tar xvzf installPackage/kibana-6.0.0-linux-x86_64.tar.gz -C elk/

5.2 修改kibana配置文件

vim config/kibana.yml

修改配置:

server.host: "localhost"
elasticsearch.url: "http://localhost:9200"

其中,localhost以实际ip地址为准

5.3 启动kibana

./bin/kibana

5.4 启动验证

浏览器访问192.168.209.131:5601

表示启动成功。

到此ELK安装完成!

原文地址:https://www.cnblogs.com/luyanlong/p/8718632.html

时间: 2024-10-11 06:48:49

ELK学习记录二 :elasticsearch、logstash及kibana的安装与配置的相关文章

ELK日志系统:Elasticsearch+Logstash+Kibana搭建教程

ELK日志系统:Elasticsearch + Logstash + Kibana 搭建教程 安装配置JDK环境 JDK安装(不能安装JRE) JDK下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载包:jdk-8u131-linux-x64.rpm yum localinstall jdk-8u131-linux-x64.rpm mvn 安装 cd /usr/lo

Windows API 编程学习记录<二>

恩,开始写Windows API编程第二节吧. 上次介绍了几个关于Windows API编程最基本的概念,但是如果只是看这些概念,估计还是对Windows API不是很了解.这节我们就使用Windows API 让大家来了解下Windows API的用法. 第一个介绍的Windows API 当然是最经典的MessageBox,这个API 的作用就是在电脑上显示一个对话框,我们先来看看这个API的定义吧: int WINAPI MessageBox(HWND hWnd, LPCTSTR lpTe

Spring Boot学习记录(二)--thymeleaf模板

Spring Boot学习记录(二)–thymeleaf模板 标签(空格分隔): spring-boot 自从来公司后都没用过jsp当界面渲染了,因为前后端分离不是很好,反而模板引擎用的比较多,thymeleaf最大的优势后缀为html,就是只需要浏览器就可以展现页面了,还有就是thymeleaf可以很好的和spring集成.下面开始学习. 1.引入依赖 maven中直接引入 <dependency> <groupId>org.springframework.boot</gr

Linux学习之CentOS--CentOS6.4下Mysql数据库的安装与配置【转】

如果要在Linux上做j2ee开发,首先得搭建好j2ee的开发环境,包括了jdk.tomcat.eclipse的安装(这个在之前的一篇随笔中已经有详细讲解了Linux学习之CentOS(七)--CentOS下j2ee环境搭建),如果要开发web项目,我们当然可以安装一个myeclipse到Linux系统上去,这个安装方法和安装eclipse完全相同,就没有记录下来了,有了jdk.tomcat.eclipse我们就已经能进行我们的程序开发了,但是如果要做一个项目,哪怕是小的不能再小的项目都离不开数

ELK日志分析系统之Kibana7.x最新版安装与配置

3.Kibana的简介 Kibana 让您能够自由地选择如何呈现自己的数据.Kibana 核心产品搭载了一批经典功能:柱状图.线状图.饼图.旭日图等等. 3.1.软件包下载地址:https://www.elastic.co/cn/downloads/kibana 3.1.1 软件包tar压缩包,解压到/application目录中,并创建链接文件. ln -s /application/kibana-7.3.2-linux-x86_64 /application/kibana 3.2.配置Kib

Manage Spring Boot Logs with Elasticsearch, Logstash and Kibana

下载地址:https://www.elastic.co/downloads When time comes to deploy a new project, one often overlooked aspect is log management. ELK stack (Elasticsearch, Logstash, Kibana) is, among other things, a powerful and freely available log management solution.

ELK 学习笔记之 elasticsearch head插件安装

elasticsearch head插件安装: 准备工作: 安装nodejs和npm https://nodejs.org/en/download/ node-v6.11.2-linux-x64.tar.xz 由于是xz压缩文件,所以要先安装 yum -y install xz $xz -d ***.tar.xz $tar -xvf  ***.tar 配置环境变量 # set node environment export NODE_HOME=/usr/local/node-v6.11.2-li

Maven学习记录(二)--Maven核心概念

转载自 http://www.cnblogs.com/xdp-gacl/p/4051819.html 博主写的很好,所以直接转载过来了 一.Maven坐标 1.1.什么是坐标? 在平面几何中坐标(x,y)可以标识平面中唯一的一点. 1.2.Maven坐标主要组成 groupId:组织标识(包名) artifactId:项目名称 version:项目的当前版本 packaging:项目的打包方式,最为常见的jar和war两种 样例: 1.3.Maven为什么使用坐标? Maven世界拥有大量构建,

Elasticsearch 7.x 最详细安装及配置

一.Elasticsearch 7.x 小马哥说过,学习技术栈得看版本,那么 Elasticsearch 7.x 有什么好的特性呢? ES 7.0 是 2019 年 4 月份发布的,底层是 Lucene 8.0.其他还有需要了解的是: 废除单个索引下多 Type 的支持 ES Security 免费使用 ECK - ES Operator on K8s 新功能:New Cluster coordination 新功能:完整的 High Level REST Client 新功能:Script S