ELK环境的部署与安装

ELK简介

Elasticsearch：是一个高度可扩展的开源全文搜索和分析引擎。能够快速，实时的存储，搜索和分析大量数据，通常用做底层引擎技术。

Kibana：是一个开源分析和可视化平台，是进入Elastic Stack的窗口，可以在Elasticsearch中对程序的数据进行可视化探索和实时分析，旨在与Elasticsearch协同工作。
使用Kibana搜索，查看和与存储在Elasticsearch索引中的数据进行交互，可以轻松执行数据分析，并在各种表格，图标和地图中查看数据，基于浏览器的界面能够快速创建和共享动态仪表板

Logstash：是一个具有实时功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据标准化到所在的目录文件中
1.水平和扩展的数据处理管道，具有强大的Elasticsearch和Kibana协同作用
2.混合，匹配和编排不同的输入，过滤器和输出，以便在管道协调中发挥作用
3.插件丰富，提供能过的灵活性

安装ELK环境

在安装这些软件的首要准备就是 需要最新的java-JDK运行环境。在官网下载最新的java和对应的JDK
设置java的环境变量

下载最新的java环境安装包

下载地址：https://download.oracle.com/otn-pub/java/jdk/11.0.1+13/90cf5d8f270a4347a95050320eef3fb7/jdk-11.0.1_linux-x64_bin.tar.gz?AuthParam=1542018669_d87a6dc817cccfcd1391cf5a905d87a6

安装Elasticsearch

1.下载Elasticsearch

# wget  `https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.3.tar.gz

2.解压文件

# tar -zxvf elasticsearch-6.4.3.tar.gz

3.切换到解压目录，运行Elasticsearch

# ./bin/elasticsearch

?在后台运行

# ./bin/elasticsearch -d

4.打开终端，进行测试，能够返回信息说明运行正常

 curl http://localhost:9200

运行的时候，如果出现下面的现象，可参考之后的解决方案进行尝试

现象1

这是由于对root用户的安全保护，需要使用其他的用户进行授权才能正常启动

解决办法

# groupadd elsearch
# useradd elsearch -g elsearch
# chown -R elsearch:elsearch  elasticsearch-6.4.3

切换用户，重新启动

# su elsearch
# /opt/elasticsearch-6.4.3/bin/elasticsearch

切换用户，出现下面的情况时，需要修改一下 / 的权限

 SIOCSIFADDR: 不允许的操作
 # chmod 755 /

之后再切换用户，重新启动

现象2

解决办法

修改配置文件，在文件最后加上下面的字段：

# vim ./config/elasticsearch
    xpack.ml.enabled:false

现象3

问题[1]

[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
   max number of threads [1024] for user [elsearch] likely too low, increase to at least [2048]

解决办法

# vim /etc/security/limits.conf
     加入下面的内容
     * soft nofile 65536
     * hard nofile 131072
     * soft nproc 2048
     * hard nproc 4096
 # vim /etc/security/limits.d/20-nproc.conf
     * sort nproc 65535
     root soft nproc unlimited

问题[2]*

[2]: max virtual memory areas vm.max_map_count [65530] is too low,
     increase to at least [262144]

解决办法

# vim /etc/sysctl.conf
    vm.max_map_count=655360
# sysctl -p

问题[3]

 [3]: system call filters failed to install; check the logs and fix
      your configuration or disable system call filters at your own risk

解决办法

# vim ./conf/elasticsearch.yml
    bootstrap.memory_lock:false
    bootstrap.system_call_filter:false
切换用户 重新启动elasticsearch

启动后，没有问题就说明启动成功。如果启动后出现下面的内容

ERROR: [1] bootstrap checks failed
       [1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

解决办法
在配置文件limits.conf的末尾再加上下面的字段

# vim /etc/security/limits.conf
    * hard nofile 65536
    * soft nofile 65536

之后切换用户，重新启动，进行测试，出现端口或者下图内容说明启动成功。

# curl http://192.168.10.128:9200
# ss -tnulp | grep 9200

安装Kibana

安装的时候需要注意版本号要一致，不然会导致不兼容，在启动后，就会一致报错，警告，创建不了索引等等问题。

1.下载与Elasticsearch相同版本号的Kibana

# wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.3-linux-x86_64.tar.gz

2.解压文件

# tar vxf kibana-6.4.3-linux-x86_64/

3.修改配置文件，这里暂时不需要修改配置文件。启动Kibana

# vim ./config/kibana.yml
# ./bin/kibana

出现下面的信息，表示的是正在进行优化，需要等待，不可关闭

   log   [08:15:25.623] [info][optimize] Optimizing and caching bundles for ml, stateSessionStorageRedirect, status_page, timelion, dashboardViewer, apm and kibana. This may take a few minutes
   log   [08:21:46.222] [info][optimize] Optimization of bundles for ml, stateSessionStorageRedirect, status_page, timelion, dashboardViewer, apm and kibana complete in 380.59 seconds

另开一个终端，当没有在显示log的时候，查看5601端口是否开启，不要关闭刚才的启动

# ss -tnulp | grep 5601

之后通过火狐浏览器或者谷歌浏览器打开网址，能够正常进入到下图的状态表示Kibana安装完成

# firefox http://192.168.10.128:5602

安装Logstash

1.下载logstash软件

# wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.3.tar.gz

2.解压文件：

# tar vxf logstash-6.4.3.tar.gz

3.切换目录

# cd logstash-6.4.3

4.测试是否安装

# bin / logstash -e " input  { stdin {} } output  { stdout {} }"

出现下面的内容表示安装成功
Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}
[INFO ][logstash.agent  ] Successfully started Logstash API endpoint {:port=>9600}

6.接着在终端下面继续输入下面的内容

hello world
能够显示下面内容表示安装成功
hello world
    {
        "message" => "hello world",
        "@version" => "1",
        "@timestamp" => 2018-11-15T08:43:54.138Z,
        "host" => "room0pc99.tedu.cn"
    }

至此，上面的内容就是安装ELK环境的基本操作，仅供参考。

参考文献

Elasticsearch文档
Kibana文档
Logstash文档
Elasticsearch集群部署

原文地址：https://www.cnblogs.com/moniter/p/12305116.html

时间： 2024-10-09 04:42:42

ELK环境的部署与安装的相关文章

ELK环境部署与群集配置

一.ELK是什么? 1.1  ELK由来 ELK是elasticsearch,logstash,kibana  这三个工具的简称 1.2  ELK三个组件的介绍 Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. Logstash是一个完全开源的工具,他可以对你的日志进行收集.过滤,并将其存储供以后使用(如,搜索). Kibana 也是一个开源和免费的工具,它Kibana可以为 L

使用本脚本可以自动批量完成中间节点环境的部署工作，包括：Nginx编译安装、添加程序管理脚本、设置开机启动、反向代理配置、证书分发、添加iptables规则等

使用本脚本可以自动批量完成中间节点环境的部署工作,包括:Nginx编译安装.添加程序管理脚本.设置开机启动.反向代理配置.证书分发.添加iptables规则等.脚本支持自定义nginx安装版本.设置编译模块.配置监听端口等. 1. Nginx Role规则说明 本脚本用于中间节点(Nginx反向代理)环境的自动化配置,主要内容包括: 安装基础依赖环境: 创建nginx启动用户(支持自定义用户): 下载nginx安装文件(可自定义nginx版本): 解压安装文件: 执行编译安装(可自定义编译参数和

CentOS7.X环境下基于docker安装部署RabbitMQ集群

1.IP地址规划(将信息配置到/etc/hosts中)主机名 IP地址RabbitMQ01 192.168.8.131RabbitMQ02 192.168.8.132RabbitMQ03 192.168.8.133RabbitMQ04 192.168.8.1342.RabbitMQ集群安装(1)四个节点同时运行,下载RabbitMQ镜像[[email protected]~]# docker pull rabbitmq:3-management(2)四个节点分别运行,启动RabbitMQ容器 [

docker学习4-docker安装tomcat环境和部署war包

前言 tomcat部署web项目非常方便,把war包放到webapps目录就可以了.本篇使用docker快速搭建一个tomcat环境 下载tomcat镜像 拉取官方最新版tomcat镜像 [[email protected] ~]# docker pull tomcat Using default tag: latest latest: Pulling from library/tomcat 6f2f362378c5: Pull complete 494c27a8a6b8: Pull compl

开源日志分析系统ELK平台搭建部署

开源日志分析系统ELK平台搭建部署 一.前言 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误. 通常,日志被分散的储存不同的设备上.如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志.这样是不是感觉很繁琐和效率低下.当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总. 集中化管理

ELK环境搭建完整说明

ELK环境搭建完整说明 ELK:ElasticSerach.Logstash.Kibana三款产品名称的首字母集合,用于日志的搜集和搜索.简单地理解为我们可以把服务端的日志(nginx.tomcat等)直接web化展示查看,十分方便. 本机环境说明: 系统:centos7.5 ElasticSerach:6.4.2 Logstash:6.4.2 Kibana:6.4.2 Filebeat:6.4.2 部署情况简介 说明:图是直接搜索的网上的,其中nginx.elk这里都采用单机直接部署,所以ip

搭建lnmp环境，部署php动态网站

搭建LNMP 前言:"N"代表Nginx与apache的作用一样,都是为了搭建网站服务器,由俄罗斯人lgor sysoev开发,其特点是占有内存少,并发能力强,单台物理服务器可支持3万-5万个并发请求,中国使用nginx网站用户有:百度.京东.新浪.网易.腾讯.淘宝等. 通过下面的实验搭建LNMP环境,部署天空影城的php动态网站 本实验在虚拟机中运行,使用Redhat6.5系统部署! 一.安装及运行 1.搭建yum仓库,安装支持软件 nginx的配置及运行需要pcre,zlib等软件

Linux 环境下pip的安装

转载原地址为http://i.cnblogs.com/EditPosts.aspx?opt=1,转载请注明原地址,谢谢! 1. 概述 自动化发布平台需要在线上环境重新安装部署,涉及到多个包的安装,之前没有记录下.导致此次安装的时候, 有些过程主要重新再经历一遍,不过也好,至少可以趁这个机会把Python涉及各个模块安装部署做到自动化. 1.1 pip的安装 网上一堆关于Linux下pip的安装文档,大部分是无法使用的,不知道这些人自己有没有尝试过.而且大部分是完全一样的, 估计是粘贴复制的居多.

百度BAE JAVA环境项目部署和调试

转自:http://www.kankanews.com/ICkengine/archives/56319.shtml 起初在一个应用挂在虚拟主机上,昨天早上虚拟主机挂了.本来考虑迁移到SAE上的,但之前发现SAE的JVM云豆消耗的太快(PS:我是中级开发者,每月10000云豆,如果有哪位大神对SAE JAVA云豆能控制的好的请私密我一下,在此谢谢了),只能考虑百度的BAE了. 之前有玩过几次BAE,不过都是小程序,很简单,随便弄弄就好了.现在面对的是一个在虚拟主机上跑了3个月的项目做迁移.顿时头