针对Elasticsearch的开源分析及可视化平台——Kibana

Kibana是一个针对Elasticsearch的开源分析及可视化平台,用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana,可以通过各种图表进行高级数据分析及展示。

Kibana让海量数据更容易理解。它操作简单,基于浏览器的用户界面可以快速创建仪表板(dashboard)实时显示Elasticsearch查询动态。

在云市不需要复杂部署安装,一键使用Kibana。设置Kibana也非常简单,无需编码或者额外的基础架构,一分钟只能就能启动Elasticsearch索引监测。

Kibana不是一个统计工具

Kibana 因其丰富的图表类型和漂亮的前端界面,被很多人理解成一个统计工具。而我个人认为,ELK 这一套体系,不应该和 Hadoop 体系同质化。定期的离线报表,不是 Elasticsearch 专长所在(多花费分词、打分这些步骤在高负载压力环境上太奢侈了),也不应该由 Kibana 来完成(每次刷新都是重新计算)。Kibana 的使用场景,应该集中在两方面:

   1.实时监控

通过 histogram 面板,配合不同条件的多个 queries 可以对一个事件走很多个维度组合出不同的时间序列走势。时间序列数据是最常见的监控报警了。

   2.问题分析

通过 Kibana 的交互式界面可以很快的将异常时间或者事件范围缩小到秒级别或者个位数。期望一个完美的系统可以给你自动找到问题原因并且解决是不现实的,能够让你三两下就从 TB 级的数据里看到关键数据以便做出判断就很棒了。

这时候,一些非 histogram 的其他面板还可能会体现出你意想不到的价值。全局状态下看似很普通的结果,可能在你锁定某个范围的时候发生剧烈的反方向的变化,这时候你就能从这个维度去重点排查。而表格面板则最直观的显示出你最关心的字段,加上排序等功能。入库前字段切分好,对于排错分析真的至关重要。

主要功能

Elasticsearch无缝之集成

Kibana架构为Elasticsearch定制,可以将任何结构化和非结构化数据加入Elasticsearch索引。Kibana还充分利用了Elasticsearch强大的搜索和分析功能。

整合你的数据

Kibana能够更好地处理海量数据,并据此创建柱形图、折线图、散点图、直方图、饼图和地图。

复杂数据分析

Kibana提升了Elasticsearch分析能力,能够更加智能地分析数据,执行数学转换并且根据要求对数据切割分块。

让更多团队成员受益

强大的数据库可视化接口让各业务岗位都能够从数据集合受益。

接口灵活,分享更容易

使用Kibana可以更加方便地创建、保存、分享数据,并将可视化数据快速交流。

可视化多数据源

Kibana可以非常方便地把来自Logstash、ES-Hadoop、Beats或第三方技术的数据整合到Elasticsearch,支持的第三方技术包括Apache Flume、Fluentd等。

简单数据导出

Kibana可以方便地导出感兴趣的数据,与其它数据集合并融合后快速建模分析,发现新结果。

与Elasticsearch REST API实现可视化交互

Sense是一个可视化终端,通过Kibana插件支持自动补全、自动缩进和语法检查功能。提升了与Elasticsearch API交互的体验。

注意事项

Kibana 目前不支持对保存在 Elasticsearch 中的 dashboard 做这个事情

所以一定得保存成 yourname.json 文件放入 app/dashboards/ 目录里才行。

静态的 JSON 文件其实是利用模板技术

所以直接导出得到的 JSON 文件还不能直接起作用。需要稍微做一点修改。

你可以打开默认可用的 logstash.json 文件,看看有什么奇特的地方,没错,就是下面这样:

"query": "{{ARGS.query || ‘*‘}}"

而你自己保存下来的 JSON,这里都会是具体的数据。所以,要让自己的 JSON 布局也支持动态仪表板的话,按照这个写法也都加上 ARGS.query 就好了!

从 logstash.json 里还可以看到,除了 ?query= 以外,其实还支持 from= 参数,默认是 24h。

用 JSON 的局限

动态仪表板其实有两种用法,这里只用到了 file/logstash.json 静态文件方式,这种方式只支持一个 query 条件,也没有太多的附加参数支持。而 script/logstash.js 方式,支持多个 query 条件,以及 index、pattern、interval、timefield 等更多的参数选项。

当然,研究一下 angularjs 的用法,给 JSON 文件里也加上 ARGS.query 的 split 方法,也不算太难。

如果你想试用Kibana,那就扫一下上方二维码,或者点击“阅读全文”前往「好雨云市」网站查看Kibana详情,一键即可使用。而且在云市,你会发现不只Kibana一款有料的云应用……

时间: 2024-10-09 23:23:10

针对Elasticsearch的开源分析及可视化平台——Kibana的相关文章

使用Akka、Kafka和ElasticSearch等构建分析引擎 -- good

本文翻译自Building Analytics Engine Using Akka, Kafka & ElasticSearch,已获得原作者Satendra Kumar和网站授权. 在这篇文章里,我将和大家分享一下我用Scala.Akka.Play.Kafka和ElasticSearch等构建大型分布式.容错.可扩展的分析引擎的经验. 我的分析引擎主要是用于文本分析的.输入有结构化的.非结构化的和半结构化的数据,我们会用分析引擎对数据进行大量处理.如下图所示为第一代架构,分析引擎可以用REST

开源日志分析系统ELK平台搭建部署

开源日志分析系统ELK平台搭建部署 一.前言 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误. 通常,日志被分散的储存不同的设备上.如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志.这样是不是感觉很繁琐和效率低下.当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总. 集中化管理

用Grafana为Elasticsearch做日志分析

用Grafana为Elasticsearch做日志分析 作者:chszs,未经博主允许不得转载.经许可的转载需注明作者和博客主页:http://blog.csdn.net/chszs Grafana是一个开源的.功能强大的指标仪表板和图形编辑器工具,它面向Graphite.Elasticsearch.OpenTSDB.Prometheus和InfluxDB等数据源.目前Grafana的最新版本为2.6版. Grafana仪表板界面如下: Graphite:Graphite是一个可扩展的实时图表,

《开源安全运维平台-OSSIM最佳实践》已经上市

<开源安全运维平台-OSSIM最佳实践>已上市 经多年潜心研究开源技术,历时三年创作的<开源安全运维平台OSSIM最佳实践>一书即将出版.该书用100多万字记录了作者10多年的OSSIM研究应用成果,重点展示了开源安全管理平台OSSIM在大型企业网运维管理中的实践.国内目前也有各式各样的运维系统,经过笔者对比分析得出这些工具无论在功能上.性能上还是在安全和稳定性易用性上都无法跟OSSIM系统想媲美,而且很多国内的开源安全运维项目在发布几年后就逐步淡出了舞台,而OSSIM持续发展了十

让你久等了!《开源安全运维平台OSSIM疑难解析--入门篇》9月上市

2019年暑期,众所期待的新书<开源安全运维平台OSSIM疑难解析:入门篇>开始印刷,9月份即可预售.此书从立意到付梓,历时超过两年,经过数十次大修,历经曲折与艰辛,希望为大家代奉献一本好书,愿这本书能陪伴OSSIM用户一起进步一起成长. 一.写作目的 目前,OSSIM在中国移动.中国电信.中国石油.华为等大型企业内得到应用推广,这些企业在安全运营中心(SOC)基础上组建了OSSIM运维和二次开发团队,但图书市场缺乏专门讲解OSSIM运维和开发的书籍.为了解答OSSIM运维工程师在工作中遇到的

初试 Netflix 开源持续云交付平台 Spinnaker

目录 Spinnaker 介绍 环境.软件准备 安装 Development Spinnaker 配置依赖环境 配置并安装 Spinnaker 演示 Spinnaker Pipeline 演示 Spinnaker 集成 Jenkins 1.Spinnaker 介绍 Spinnaker 是 Netflix 的开源项目,是一个持续交付平台,它定位于将产品快速且持续的部署到多种云平台上.Spinnaker 通过将发布和各个云平台解耦,来将部署流程流水线化,从而降低平台迁移或多云品台部署应用的复杂度,它

基于OSSIM 的开源安全运维平台

基于OSSIM 的开源安全运维平台 一个安全运维平台能否有效就要看收集数据的能力,如果数据源都有缺失,那上层的关联分析很可能会产生偏差.对于网络安全设备而言,主要采集其安全日志(包括报警)和设备运行状态信息.这本OSSIM最佳实践向您展示了其基于插件的强大数据采集和处理能力. 然而目前市场上的安全设备的输出信息随着设备种类和生产厂家的不同都有所不同,并且没有一个统一的标准来格式化所有的安全日志.因此,同时收集多源异构安全设备的数据,除了OSSIM之外的各类开源工具都是一个复杂而艰难的过程. 1.

《开源安全运维平台:OSSIM最佳实践》内容简介

<开源安全运维平台:OSSIM最佳实践 > 李晨光 著 清华大学出版社出版 内 容 简 介在传统的异构网络环境中,运维人员往往利用各种复杂的监管工具来管理网络,由于缺乏一种集成安全运维平台,当遇到故障时总是处于被动“救火”状态,如何将资产管理.流量监控.漏洞管理.入侵监测.合规管理等重要环节,通过开源软件集成到统一的平台中,以实现安全事件关联分析,可从本书介绍的OSSIM 平台中找到答案.本书借助作者在OSSIM 领域长达10 年开发应用实践经验之上,以大量生动实例阐述了基于插件收集日志并实现

《开源安全运维平台OSSIM最佳实践》

经多年潜心研究开源技术,历时三年创作的<开源安全运维平台OSSIM最佳实践>一书即将出版.该书用80多万字记录了,作者10多年的IT行业技术积累,重点展示了开源安全管理平台OSSIM在大型企业网运维管理中的实践.国内目前也有各式各样的开源安全运维系统,经过笔者对比分析得出这些工具无论在功能上.性能上还是在安全和稳定性易用性上都无法跟OSSIM系统想媲美,而且很多国内的开源安全运维项目在发布1-2年后就逐步淡出了舞台,而OSSIM持续发展了十多年.下面就看看这本书中涉及OSSIM主要讲解那些内容