Elastic Stack-Elasticsearch使用介绍(六)

一、前言

    很久没有更新博客,实在对不住大家。从10月份假期以后我就开始优化程序,来应对双11,这段时间确实很忙,不好意思。好在优化效果还不错,我负责的模块在双11期间没有任何大问题,整体效果还是比较好的,直到本周才正真的做到解放。扯淡过后,这里我还是开始我们监控篇,监控有些数据还是要借助于Kibana去观察的,我这边在暂时先放一下Kibana下篇咱们探讨下,这里先只用Kibana去展示下我们监控的数据。我仔细思考了一下,可能这个系列还是不能很快的结束,还有很多很多要说的我感觉,比如Beats、源码方面的东西、还有些实战等等,当然这都是后话,先开始我们今天的主题,

二、Elasticsearch监控

    我们先来说下官方给我们提供接口,通过Kibana看图形化的界面也是通过这些接口实现的,所以我们先要了解这些接口,官方是通过_cat这个接口来提供对Elasticsearch监控的。这个里面包括了我们对集群状况、线程数、索引、节点等等我们想要监控到的指标,接下来我们来看一下这些接口。

    aliases

展示别名有关索引的别名的信息,包括过滤器和路由信息。这个地方我就不给大家展示例子了,因为这是本机环境没有建立别名,大家自己去尝试一下。这里我啰嗦下别名的作用,用来无缝切换索引,为什么要无缝切换索引,每天新增数据太多以后,为了避免数据库和索引里面数据不一样所以这里要每天重建一下索引,这里就是通过别名的方式去实现的。

   allocation

   每个节点上有多少分片以及分片使用了多少磁盘空间;这个format是指定格式,我比较喜欢看见json格式,另外还能指定排序的列,下面的例子会展示;

   

count

查询当前集群和单个索引文档的个数,查询单个索引的话在count后面加上索引的名字;

fielddata

展示每个分片上fielddata当前正在使用的堆内存量;

health

整个集群的健康状况;

indices

查询所有索引的状况,包括副本、文档数目、分配磁盘空间大小、健康状况等等;支持单个或者模糊查询多个索引的状况,后面跟随的s的参数就是可以根据那个列进行排序,可以支持多个列;

master

主节点情况;

nodeattrs

自定义节点的属性,我没有使用过;

nodes

每个节点使用的情况,包括CPU、磁盘空间、内存等等,可以指定想要监控的类型,如下在h后面指定想要监控的类型;

pending_tasks

等待执行任务的列表;

plugins

安装插件的列表;

recovery

查询索引分片恢复的状况,这个当节点出现故障时候才会使用;

repositories

集群中注册的快照的节点;

thread_pool

显示每个节点的线程池统计信息,默认情况下,返回线程池活跃,队列和拒绝统计信息。

shards

显示每个分片详情分布,分片告诉包含那些索引的主和副本、文档、磁盘大小等等信息;

segments

查询每个索引segment的详情,不了解segment的可以去看下前面的文章;

snapshots

查询快照信息;

templates

查询现有版本的信息;

三、使用X-Pack监控

   这里我们监控主要监控Elasticsearch和Logstash,具体安装步骤就参考下官方文档;X-Pack提供很多工具,Monitoring就是用来监控的,这个插件是免费的,我们安装好以后主要来看下我们需要注意的指标,介绍下这个工具的使用,Linux下的安装我就不给大家多说什么,网上一大把,Windows下给大家一个链接看看,这里强调几点:每个节点都必须安装x-pack;配置xpack.security.enabled : false以后可以进行免登陆,接下来我们来下看搭好以后整个Kibana界面;

整体状况:

节点状况:

这个页面可以查看每个索引的对应状况:

这个页面查看节点更详细内存分布:

这个页面查看每个索引的一些状况

另外还可以对Logstash监控更好的方便我们进行调优,现在还有很多基于Grafana去搞监控,做对比等等的,有机会可以搞一波,其实我也想在公司推广一下,办法很多,随意大家玩;

四、结束

  接下来会介绍下Kibana和Beats相关方面的东西,更新的频率也会多一些,又要到年底可以回顾下该年的收获,欢迎大家加群438836709,欢迎大家关注我公众号!

原文地址:https://www.cnblogs.com/wtzbk/p/10013713.html

时间: 2024-08-02 18:21:11

Elastic Stack-Elasticsearch使用介绍(六)的相关文章

集中式日志分析平台 Elastic Stack(介绍)

一.ELK 介绍 ELK 构建在开源基础之上,让您能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地对数据进行搜索.分析和可视化. 最近查看 ELK 官方网站,发现新一代的日志采集器 Filebeat,他是 Beats 家族其中的一员,性能超越 logstash,部署简单,占用资源少,可以很方便的和 logstash,ES 对接. 从官方网站可以看出新一代 ELK 架构如下: 1.Beats Beats 平台集合了多种单一用途数据采集器.这些采集器安装后可用作轻量型代理,从成百上千或成千

ES 集中式日志分析平台 Elastic Stack(介绍)

一.ELK 介绍 ELK 构建在开源基础之上,让您能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地对数据进行搜索.分析和可视化. 最近查看 ELK 官方网站,发现新一代的日志采集器 Filebeat,他是 Beats 家族其中的一员,性能超越 logstash,部署简单,占用资源少,可以很方便的和 logstash,ES 对接. 从官方网站可以看出新一代 ELK 架构如下: 1.Beats Beats 平台集合了多种单一用途数据采集器.这些采集器安装后可用作轻量型代理,从成百上千或成千

使用 Elastic Stack 来监控和调优 Golang 应用程序

Golang 因为其语法简单,上手快且方便部署正被越来越多的开发者所青睐,一个 Golang 程序开发好了之后,势必要关心其运行情况,今天在这里就给大家介绍一下如果使用 Elastic Stack 来分析 Golang 程序的内存使用情况,方便对 Golang 程序做长期监控进而调优和诊断,甚至发现一些潜在的内存泄露等问题. Elastic Stack 其实是一个集合,包含 Elasticsearch.Logstash 和 Beats 这几个开源软件,而 Beats 又包含 Filebeat.P

Elastic Stack从入门到实践

第1章 课程概述对课程整体进行介绍给出相关学习说明和建议1-1 _课程导学1-2 说明和建议 第2章 Elasticsearch 篇之 入门本章会对 Elasticsearch 篇进行一个总体的介绍,让大家对该篇每一章要讲解的内容有初步的了解.然后会讲解 Elasticsearch 中常见的术语.api,然后运行 Elasticsearch 并实际感受 api 的调用方式,为接下来的课程做好准备.2-1 -术语介绍2-2 -Document介绍2-3 -Index介绍2-4 -restapi介绍

Elastic Stack实战学习教程~日志数据的收集、分析与可视化

Elastic Stack介绍 近几年,互联网生成数据的速度不断递增,为了便于用户能够更快更精准的找到想要的内容,站内搜索或应用内搜索成了不可缺少了的功能之一.同时,企业积累的数据也再不断递增,对海量数据分析处理.可视化的需求也越来越高. 在这个领域里,开源项目ElasticSearch赢得了市场的关注,比如,去年Elastic公司与阿里云达成合作伙伴关系提供阿里云 Elasticsearch 的云服务.今年10月Elastic公司上市,今年11月举行了Elastic 中国开发者大会.目前各大云

CentOS7下Elastic Stack 5.0日志分析系统搭建

一.概述 Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. Logstash是一个开源的用于收集,分析和存储日志的工具. Kibana 也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以汇总.分析和搜索重要数据日志. Beats是elasticsearch公司开源的一款采集系统监控数据的代理ag

Elastic Stack之kibana入门

为了解决公司的项目在集群环境下查找日志不便的问题,我在做过简单调研后,选用Elastic公司的Elastic Stack产品作为我们的日志收集,存储,分析工具. Elastic Stack是ELK(Elasticsearch,Logstash,Kibana)从5版本开始的新名称,那么的他们都能干什么?参见下图: 我们使用logstash来收集日志,Elasticsearch存储日志,Kibana用来搜索并展示可视化的页面给用户. ok,本章重点讲Kibana在linux下的安装,假设你已经安装了

Elastic Stack 安装

Elastic Stack 是一套支持数据采集.存储.分析.并可视化全面的分析工具,简称 ELK(Elasticsearch,Logstash,Kibana)的缩写. 安装Elastic Stack 时,必须相关组件使用相同的版本,例如:如果您使用Elasticsearch 6.3.0,则安装Beats 6.3.0,Elasticsearch Hadoop 6.3.0, Kibana 6.3.0和Logstash 6.3.0. 安装顺序 ElasticSearch Kibana LogStash

ElasticSearch入门 第六篇:复合数据类型——数组,对象和嵌套

这是ElasticSearch 2.4 版本系列的第六篇: ElasticSearch入门 第一篇:Windows下安装ElasticSearch ElasticSearch入门 第二篇:集群配置 ElasticSearch入门 第三篇:索引 ElasticSearch入门 第四篇:使用C#添加和更新文档 ElasticSearch入门 第五篇:使用C#查询文档 ElasticSearch入门 第六篇:复合数据类型——数组,对象和嵌套 在ElasticSearch中,使用JSON结构来存储数据,

[UI] Elastic Stack & scrollReveal.js

Elastic Stack & scrollReveal.js Elastic Stack http://freebiesbug.com/code-stuff/elastistack-js-dragging-interaction/ http://tympanus.net/Development/ElasticStack/ scrollReveal.js https://github.com/julianlloyd/scrollReveal.js http://scrollrevealjs.or