centos7搭建ELK Cluster日志分析平台(一)

应用场景:ELK实际上是三个工具的集合,ElasticSearch + Logstash + Kibana,这三个工具组合形成了一套实用、易用的监控架构,

     很多公司利用它来搭建可视化的海量日志分析平台。

              官网下载地址https://www.elastic.co/downloads

      Elasticsearch:

       一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。

       Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。

       设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

     Logstash:

       用于管理日志和事件的工具,你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用,例如搜索、存储等。

     Kibana:

       是一个优秀的前端日志展示框架,它可以非常详细的将日志转化为各种图表,为用户提供强大的数据可视化支持。

    

     Filebeat:类似于 “agent” 装在被监控端上(数据源),用来实时收集日志文件数据。

     

                    【最简单的架构图】

安装环境:三台主机安装 Elasticsearch 5.4    IP: 192.168.1.21/22/23  ;

     一台主机安装 Logstash 5.4      IP: 192.168.1.24  ;

     一台主机安装 Kibana 5.4       IP: 192.168.1.25  ;

     一台测试机装 Filebeat 5.4

安装步骤

    前提:已经装好 Java 8(官方建议5.4版本最至少Java 8 或以上):

    

  1. 导入官方PGP-Key

     ~]#rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

  

  2建立下载rpm包的repo   

     ~]# vim /etc/yum.repos.d/elk.repo

     [elasticsearch-5.x]

     name=Elasticsearch repository for 5.x packages

     baseurl=https://artifacts.elastic.co/packages/5.x/yum

     gpgcheck=1

     gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

     enabled=1

     autorefresh=1

     type=rpm-md

   保存后退出;

  3安装elasticsearch包

     ~]#yum install elasticsearch

  

  4编辑配置文件

     ~]# vim /etc/elasticsearch/elasticsearch.yml

    

     

   保存,退出;

  

  5启动服务

     ~]# systemctl daemon-reload

     ~]# systemctl start elasticsearch

     ~]# systemctl status elasticsearch

     

      ~]#systemctl enable elasticsearch   //加入开机启动

  6. 查看端口状态

     ~]#ss -tnl

     

    至此,节点es-1配置完成。

  7.配置集群中的另外节点es-2 和 es-3

   配置同es-1,修改一下配置文件里的节点名和地址即可,不再赘述。   

  8. es集群的相关查询

    注意:Elasticsearch 5.x版本不再支持相关插件:如 “elasticsearch-head”...,解释可以访问官网,实在需要,可以独立运行(此处跳过)

       Elasticseach 1.x  2.x仍可支持,请查看:http://mobz.github.io/elasticsearch-head/

   查询集群状态方法①

     ~]# curl -XGET ‘http://192.168.1.21:9200/_cat/nodes‘   //随意一台es中可执行,也可更换其中的 ip(这里可22或23)

     

      ~]# curl -XGET ‘http://192.168.1.21:9200/_cat/nodes?v‘   //同上在后面添加 ?v ,表示详细显示

     

   查询集群状态方法②

     ~]# curl -XGET ‘http://192.168.1.21:9200/_cluster/state/nodes?pretty‘

     

   查询集群中的master

     ~]# curl -XGET ‘http://192.168.1.21:9200/_cluster/state/master_node?pretty‘

    或

     ~]# curl -XGET ‘http://192.168.1.21:9200/_cat/master?v‘

     

   查询集群的健康状态

     ~]# curl -XGET ‘http://192.168.1.21:9200/_cat/health?v‘

    或

     ~]# curl -XGET ‘http://192.168.1.21:9200/_cluster/health?pretty‘

     

  

  至此ES集群安装结束

    

时间: 2024-10-30 17:21:24

centos7搭建ELK Cluster日志分析平台(一)的相关文章

Centos7下ELK+Redis日志分析平台的集群环境部署记录

之前的文档介绍了ELK的架构基础知识,下面简单记录下ELK结合Redis搭建日志分析平台的集群环境部署过程,大致的架构如下: + Elasticsearch是一个分布式搜索分析引擎,稳定.可水平扩展.易于管理是它的主要设计初衷 + Logstash是一个灵活的数据收集.加工和传输的管道软件 + Kibana是一个数据可视化平台,可以通过将数据转化为酷炫而强大的图像而实现与数据的交互将三者的收集加工,存储分析和可视转化整合在一起就形成了ELK. 基本流程:1)Logstash-Shipper获取日

centos7搭建ELK Cluster集群日志分析平台(三)

续  centos7搭建ELK Cluster集群日志分析平台(一) 续  centos7搭建ELK Cluster集群日志分析平台(二) 已经安装好elasticsearch 5.4集群和logstash 5.4 安装kibana步骤 1.下载安装Kibana  ~]#wget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.0-x86_64.rpm 如果链接失效,官网下载:https://www.elastic.co/down

centos7搭建ELK Cluster集群日志分析平台(二)

续  centos7搭建ELK Cluster集群日志分析平台(一) 已经安装完Elasticsearch 5.4 集群. 安装Logstash步骤 1. 安装Java 8 官方说明:需要安装Java 8 ,不支持Java 9... //自行安装,略过 2. 安装Logstash 可以同elasticsearch一样建立repo文件通过yum安装,也可以去官网直接下载rpm包进行本地安装:   ~]# rpm -ivh logstash-5.4.0.rpm  //这里直接下载好进行本地安装 3.

性能优化分析Spring Cloud ELK+kafka日志分析平台

一.概述 在笔者的上一篇博客介绍了Spring Cloud ELK+kafka日志分析平台的搭建,http://xuyangyang.club/articles/2018/05/24/1527176074152.html,但是笔者在测试环境中发现,在logstash采用了grok插件去处理日志埋点和解析的时候发现了高资源占用,在阿里云8核16G的服务器部署后,测试环境大概每秒不超过几百条的日志的解析下竟然CPU占用高达95%左右,笔者分析了其中的原因,首先由于几个服务的日志格式相关配置还没有落地

安装logstash+kibana+elasticsearch+redis搭建集中式日志分析平台

本文是参考logstash官方文档实践的笔记,搭建环境和所需组件如下: Redhat 5.7 64bit / CentOS 5.x JDK 1.6.0_45 logstash 1.3.2 (内带kibana) elasticsearch 0.90.10 redis 2.8.4 搭建的集中式日志分析平台流程如下: elasticsearch 1.下载elasticsearch. wget https://download.elasticsearch.org/elasticsearch/elasti

docker:搭建ELK 开源日志分析系统

ELK 是由三部分组成的一套日志分析系统, Elasticsearch: 基于json分析搜索引擎,Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片, 索引副本机制,restful风格接口,多数据源,自动搜索负载等. Logstash:动态数据收集管道,Logstash是一个完全开源的工具,它可以对你的日志进行收集.分析,并将其存储供以后使用 Kibana:可视化视图,将elasticsearh所收集的data通过视图展现.kibana 是一个

centos7搭建ELK Cluster集群日志分析平台(四):简单测试

续之前安装好的ELK集群 各主机:es-1 ~ es-3 :192.168.1.21/22/23 logstash: 192.168.1.24 kibana: 192.168.1.25 测试机:client: 192.168.1.26 在测试机上安装并启动filebeat 1. 下载filebeat  ~]# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.0-linux-x86_64.tar.gz

[ELK]快速搭建简单的日志分析平台

下载ELK(Elasticsearch,Logstash,Kibana) Elasticsearch:wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.4.tar.gz Logstash:wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz Kibana:wget htt

Elk实时日志分析平台5.0版本源码安装配置

目录 一. 安装JAVA. 1 二. 安装elasticsearch. 2 三. 配置elasticsearch. 2 四. 安装logstash. 3 五. 配置 logstash. 3 六. 安装kibana. 4 七. 配置kibana. 5 八. 安装x-pack插件... 5 九. x-pack管理用户... 6 1. 添加用户... 6 2. 查看用户... 6 3. 测试用户登录... 6 4. 删除用户... 6 十. 安装filebeat. 7 一. 安装JAVA # mkdi