ElasticSearch实战

ElasticSearch实战-入门

1.概述

  今天接着《ElasticSearch实战-日志监控平台》一文来给大家分享后续的学习,在《ElasticSearch实战-日志监控平台》中给大家介绍一个日志监控平台的架构方案,接下来给大家分享如何去搭建部署这样一个平台,给大家做一个入门介绍。下面是今天的分享目录:

  • 搭建部署 Elastic 套件
  • 运行集群
  • 截图预览

  下面开始今天的内容分享。

2.搭建部署 Elastic 套件

  搭建 Elastic 套件较为简单,下面我们开始去搭建部署相关套件,首先我们准备必要的环境。

2.1 基础软件

  大家可以 Elastic 的官方网站下载对应的安装包,地址如下所示:

  [下载地址

  另外,一个基础环境就是需要用到 JDK,ES 集群依赖 JDK,地址如下所示:

  [下载地址

2.2 Logstash 部署

  这里我们将 Logstash 的服务部署在中心节点中,其核心配置文件如下所示:

  • central.conf

input {
    redis {
        host => "10.211.55.18"
        port => 6379
        type => "redis-input"
        data_type => "list"
        key => "key_count"
    }
}
filter {
    grok {
        match => ["message", "%{IPORHOST:client} (%{USER:ident}|-) (%{USER:auth}|-) \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:http_version})?|-)\" %{NUMBER:response} %{NUMBER:bytes} \"(%{QS:referrer}|-)\" \"(%{QS:agent}|-)\""]
    }
    kv {
                source => "request"
                field_split => "&?"
                value_split => "="
        }
    urldecode {
        all_fields => true
    }
}

output {
    elasticsearch {
        cluster => "elasticsearch"
        codec => "json"
        protocol => "http"
    }
}

  其代理节点,分别部署在日志生产节点之上,核心配置文件如下所示:

  • shipper.conf

input {
    file {
        type => "type_count"
        path => ["/home/hadoop/dir/portal/t_customer_access.log"]
        exclude => ["*.gz", "access.log"]
    }
}

output {
    stdout {}
    redis {
        host => "10.211.55.18"
        port => 6379
        data_type => "list"
        key => "key_count"
    }
}

2.3 Elasticsearch 部署

  接着,我们部署 ES 集群,配置较为简单,其配置内容如下所示:

  • elasticsearch.yml
node.name: "node1"

  这里我只配置了其节点名称信息,集群名称使用默认的,若大家需要配置其他信息可自行处理,需要注意的是,这里在实用 scp 命令分发到其他节点时,需要修改其属性值,保持每个节点的 node.name 值不一样即可。

  另外,在安装插件 ES 集群的相关插件时,可以使用以下命令:

  • head 插件
sudo elasticsearch/bin/plugin -install mobz/elasticsearch-head
  • bigdesk 插件
sudo elasticsearch/bin/plugin -install lukas-vlcek/bigdesk

  其对应的 Web UI 界面如下图所示:

  • head插件的界面

  • bigdesk的界面

  关于其他的 ES 集群的插件,搭建可以根据实际业务需求进行选择性的安装,这里就不多赘述了。

2.4 Kibana 部署

  这里我们需要安装一个能够去可视化 ES 集群数据的工具,这里我们选择 Kibana 工具去可视化我们的数据,其安装较为简单,只需配置对应的核心文件即可,配置如下:

  • kibana.yml
elasticsearch_url: "http://10.211.55.18:9200"

  这里去可视化 node1 节点 ES 集群中数据。

3.运行集群

  接着,我们启动整个系统,启动步骤如下所示:

  • 启动 Redis
[[email protected] ~]$ redis-server &
  • 启动代理节点(分别在其代理节点启动shipper)
bin/logstash agent --verbose --config conf/shipper.conf --log logs/stdout.log &
  • 启动中心服务
bin/logstash agent --verbose --config conf/central.conf --log logs/stdout.log &
  • 启动 ES 集群(分别在 ES 节点启动)
bin/elasticsearch start
  • 启动 Kibana 服务
bin/kibana

4.预览截图

  这里,我们可以预览收集的日志,日志信息我只抽取了几条,截图如下:

  我们还可以使用筛选功能,选取我们需要观察的数据结果,这里我们筛选了 IP 和 AppName 属性进行观察,如下图所示:

5.总结

  这里需要注意的是,若是我们首次启动 Kibana 服务,收集日志信息为空的情况下,在我们创建索引时,Settings 模块下的界面中 Create 按钮会是灰色状态,导致无法创建,这里大家在创建的时候需要保证我们有日志已被收集存储到 ES 集群。如下图,由于我已收集存储日志到 ES 集群,所以按钮呈现绿色状态,供点击创建。如下图所示:

6.结束语

  这篇博客就和大家分享到这里,如果大家在研究学习的过程当中有什么问题,可以加群进行讨论或发送邮件给我,我会尽我所能为您解答,与君共勉!

时间: 2024-10-18 09:28:19

ElasticSearch实战的相关文章

ElasticSearch实战-入门

http://www.cnblogs.com/smartloli/ 1.概述 今天接着<ElasticSearch实战-日志监控平台>一文来给大家分享后续的学习,在<ElasticSearch实战-日志监控平台>中给大家介绍一个日志监控平台的架构方案,接下来给大家分享如何去搭建部署这样一个平台,给大家做一个入门介绍.下面是今天的分享目录: 搭建部署 Elastic 套件 运行集群 截图预览 下面开始今天的内容分享. 2.搭建部署 Elastic 套件 搭建 Elastic 套件较为

ElasticSearch实战-日志监控平台

1.概述 在项目业务倍增的情况下,查询效率受到影响,这里我们经过讨论,引进了分布式搜索套件——ElasticSearch,通过分布式搜索来解决当下业务上存在的问题.下面给大家列出今天分析的目录: ElasticSearch 套件介绍 ElasticSearch 应用场景和案例 平台架构 下面开始今天的内容分享. 2.ElasticSearch 套件 2.1LogStash LogStash是一个开源的.免费的日志收集工具,属于Elastic家族的一员,负责将收集的日志信息输送到ElasticSe

ElasticSearch实战-编码实践

1.概述 前面在<ElasticSearch实战-入门>中给大家分享如何搭建这样一个集群,在完成集群的搭建后,今天给大家分享如何实现对应的业务功能模块,下面是今天的分享内容,目录如下所示: 编码实践 效果预览 总结 2.编码实践 由于 ES 集群支持 Restful 接口,我们可以直接通过 Java 来调用 Restful 接口来查询我们需要的数据结果,并将查询到的结果在在我们的业务界面可视化出来.我们知道在 ES 集群的 Web 管理界面有这样一个入口,如下图所示: 我们可以在此界面的入口中

ElasticSearch实战系列四: ElasticSearch理论知识介绍

前言 在前几篇关于ElasticSearch的文章中,简单的讲了下有关ElasticSearch的一些使用,这篇文章讲一下有关 ElasticSearch的一些理论知识以及自己的一些见解. 虽然本人是一个实战派,不太喜欢讲这些理论知识,因为这块可以查看官方文档,那里会写得非常详细,但是在使用了ElasticSearch之后,发现有的知识点需要掌握一定的理论知识才能理解,对于初学者来说有的不好理解,因此写下该篇文章,希望读者在看完之后能够有所帮助. ElasticSearch 理论知识介绍 Ela

Elasticsearch实战 | 必要的时候,还得空间换时间!

1.应用场景 实时数据流通过kafka后,根据业务需求,一部分直接借助kafka-connector入Elasticsearch不同的索引中. 另外一部分,则需要先做聚类.分类处理,将聚合出的分类结果存入ES集群的聚类索引中.如下图所示: 业务系统的分层结构可分为:接入层.数据处理层.数据存储层.接口层. 那么问题来了? 我们需要基于聚合(数据处理层)的结果实现检索和聚合分析操作,如何实现更快的检索和更高效的聚合分析效果呢? 2.方案选型 方案一: 只建立一个索引,aggs_index. 数据处

ElasticSearch实战系列一: ElasticSearch集群+Kinaba安装教程

前言 本文主要介绍的是ElasticSearch集群和kinaba的安装教程. ElasticSearch介绍 ElasticSearch是一个基于Lucene的搜索服务器,其实就是对Lucene进行封装,提供了 REST API 的操作接口. ElasticSearch作为一个高度可拓展的开源全文搜索和分析引擎,可用于快速地对大数据进行存储,搜索和分析. ElasticSearch主要特点:分布式.高可用.异步写入.多API.面向文档 . ElasticSearch核心概念:近实时,集群,节点

干货 |《从Lucene到Elasticsearch全文检索实战》拆解实践

1.题记 2018年3月初,萌生了一个想法:对Elasticsearch相关的技术书籍做拆解阅读,该想法源自非计算机领域红火已久的[樊登读书会].得到的每天听本书.XX拆书帮等. 目前市面上Elasticsearch的中文书籍就那么基本,针对ES5.X以上的三本左右:国外翻译有几本,都是针对ES1.X,2.X版本,其中<深入理解Elasticsearch>还算比较经典. 拆书的目的: 1)梳理已有的Elasticsearch知识体系: 2)拾遗拉在角落的Elasticsearch知识点: 3)

干货 | Elasticsearch、Kibana数据导出实战

1.问题引出 以下两个导出问题来自Elastic中文社区. 问题1.kibana怎么导出查询数据? 问题2:elasticsearch数据导出 就像数据库数据导出一样,elasticsearch可以么? 或者找到它磁盘上存放数据的位置,拷贝出来,放到另一个es服务器上或者转成自己要的数据格式? 实际业务实战中,大家或多或少的都会遇到导入.导出问题. 根据数据源的不同,基本可以借助: 1.程序写入 2.数据同步 logstash/flume/cana/es_hadoopl等来实现关系型数据库(如:

ES-什么是elasticsearch

前言 观今宜鉴古,无古不成今.在学习elasticsearch之前,我们要知道,elasticsearch是什么?为什么要学习elasticsearch?以及用它能干什么? 关于elasticsearch 现在,你还离得开搜索吗?无论是Google还是百度提供的搜索入口,还是项目自己的搜索,比如QQ提供的搜索入口等等,都大大的方便了我们的工作.生活.但是你有没有想过——搭建属于自己的搜索服务,应用于你的博客项目.公司项目……无论你想不想,都要学习!因为随着公司业务的增长,数据也爆炸性增长.对于数