微信二八杠源码》用elasticsearch和kibana 进行简单的实时数据报表分析

微信二八杠源码(h5.hxforum.com) 联系方式170618633533企鹅2952777280 微信Tel17061863533 源码出售,平台出租,房卡出售有意者私聊

elasticsearch公司已经渐渐把ES变成为实时分析的工具,相比solr,es在实用产品化上确实领先很多。ES公司主推的ELK套件就是完成实时日志分析的完整解决方案,其中的kibana是一个简易报表工具,完全针对es进行开发,同类型产品几乎没有竞争者;logstash是日志拉取采集的工具,有很多同类产品,比如flume, fluentd。

ELK的配置安装网上有挺多资料了,我在这并不想介绍如何部署这套工具,而是讲讲在使用elasticsearch+kibana的心得。由于日志类型数据也是个跟业务有关系的事,所以未必需要使用logstash。 当然它的功能完整,也可以学习它的配置进行数据采集,但我估计很多时候也可以自己修改已有采集工具,甚至使用storm进行数据传输。

elasticsearch是一个基于lucene全文检索引擎,索引采用倒排方式。由于不用索引缺失字段,加上追加式增加记录,因此数据建倒排据时性能很强,另外查询时候是进行倒排链的交集并集计算,也是非常高效。因此除了传统信息检索领域,我认为这也是ES能用来实时日志统计的原因。报表数据的生成就是一次单表级常规的查询后,进行count或者简单的聚合;当然这里的查询也不支持表关联这么复杂的。

ES的功能配置不少,很多功能需要按需现查手册。ES本身是schema-free的,不建index也能存进数据,只是字段处理方式都默认了而已。但为了方便kibana展示,以及性能存储优化,需要关注一下index结构的设计。由于kibana推荐数据日存,所以在es这端建议用template来配置mapping。例如这个

  1. {
  2. "template": "log-*",
  3. "settings" : {
  4. "number_of_shards" : 1,
  5. "number_of_replicas" : 0
  6. },
  7. "mappings": {
  8. "logs": {
  9. "_all": { "enabled": false },
  10. "dynamic_templates": [
  11. {
  12. "string_template" : {
  13. "match" : "*",
  14. "mapping": { "type": "string", "index": "not_analyzed" },
  15. "match_mapping_type" : "string"
  16. }
  17. }
  18. ],
  19. "properties" : {
  20. "message" : { "type" : "string", "index" : "analyzed" },
  21. "@timestamp" : { "type" : "date", "index" : "not_analyzed" }
  22. }
  23. }
  24. }
  25. }

template会识别所有以log-开头的index都使用这套mapping, dynamic_templates是对不同字段进行特殊处理。

最好设置一个date类型字段,报表多半需要一些按时间进行的展示;string类型只能做count, 如果要做sum avg等计算需要用number类型;目前Kibana还提供了经纬数据展示,你需要geo_point类型得以支持。

数据采集的方式很多,logstash就是做这个的,和大多数工具一样,他们兼顾转发和收集的功能,但Logstash有个好处是解析过程也是可以配置,你需要去研究一下用法。

自己写代码提交到es也可以,可以用es客户端,或者http提交json,如果是批量提交需要用bulk接口, 如果是批量索引,每个doc完成以后还要多空一行,否则可能只能索引到头一个。

kibana目前出到4了,提供了完整的web服务,不像3那样还要部署到容器。4代的报表功能拆分得更细。

首先需要在setting界面设置读取的index, 前缀+* 匹配所有,如果index里没有数据也不能匹配上。

discover界面可以搜索数据,选择展示的字段。

visualize界面是设置展示效果的,目前支持饼图、柱状图、线图、报表等多种:Y轴设置统计值,可设置一到多个Y轴。 X轴设置数据划分方法,还可以对X进行组合,各种指标需要亲自摸索才能做出好看的效果。

配置好discover和visualize之后记得保存,用来组合生成dashboard,到这里一个简易的报表界面就完成了。

开始玩的时候,发现kibana找不到数据,不知道是哪弄错了,把时间范围扩大才查到,才知道遇到的问题,本来打算跟着改kibana的配置,好像没成功,最后还是把时间增加了时区:"2015-12-09T10:01:02+08:00", 所以我建议采集部分要自己处理。

elasticsearch+kibana能帮助你轻松完成一个实时日志报表的功能。这两个工具都是只需要修改配置便可以直接启动,部署非常便捷,es还可以下head和kopf插件来管理。你只需要关注如何根据自己业务进行合适的数据格式设计和数据采集。

原文地址:https://www.cnblogs.com/kojeijs/p/8438691.html

时间: 2024-10-01 20:55:05

微信二八杠源码》用elasticsearch和kibana 进行简单的实时数据报表分析的相关文章

h5微信牌九二八杠源码出售搭建教程

最低配置要求:linux服务器,系统: CentOS 6.8,内存2G以上,独享5M以上带宽 <?php /*  [UCenter] (C)2001-2099 Comsenz Inc.  This is NOT a freeware, use is subject to license terms $Id: friend.php 1059 2011-03-01 07:25:09Z monkey $ */ !defined('IN_UC') && exit('Access Denied

h5牛牛源码h5二八杠源码出售搭建教程

QQ联系2164097691 材料下载地址:h5.hubawl.com linux服务器,系统: CentOS 6.8,内存2G以上,独享5M以上带宽 <?php /**  *      [Discuz!] (C)2001-2099 Comsenz Inc.  *      This is NOT a freeware, use is subject to license terms  *  *      $Id: memcp.inc.php 29364 2012-04-09 02:51:41Z

只需两步快速获取微信小程序源码

只需两步快速获取微信小程序源码 第一次在掘金这样高大上的社区写文章,忐忑地敲下我获取小程序源码过程中的经验分享. 最近在学习微信小程序开发,半个月学习下来,很想实战一下踩踩坑,于是就仿写了某个小程序的前端实现,过程一言难尽,差不多两周时间过去了,发现小程序的坑远比想象的要多的多!!在实际练手中,完全是黑盒的,纯靠推测,部分效果在各种尝试后能能做出大致的实现,但是有些细节,实在不知道如何去实现.这种时候,真的很想一窥源码,查看究竟,看看大厂的前端大神们是如何规避了小程序的一些比较奇葩的坑. 于是就

怼完Sophia怼深度学习!细数完大神H5微信牛牛棋牌源码架设出售是这样怼人的...

十多个小时前,深度学习大神Yann LeCun语出惊人,他宣布放弃H5微信牛牛棋牌源码架设出售( h5.super-mans.com Q2012035031 ?17061863513 vx同)H5微信牛牛棋牌源码架设出售这个词.因为媒体对这个词的炒作言过其实,混淆了大家真正的工作,而"可微分编程"才是对此更好的描述: "将各种参数化的函数模块网络组装起来,做成新软件,同时以某种基于梯度的优化再将其训练出来" 这跟普通的编程工作也没多大差别,除了参数化的自动微分,以及

微信小程序源码下载(200多个)

微信小程序源码下载汇总,点击标题进入对应的微信小程序下载页面. 最新 demo源码(点击标题进入帖子下载) 描述 1 微信小程序 会议室预定小程序 微信小程序 会议室预定小程序**** 本内容被作者隐藏 **** 2 微信小程序-双人五子棋小游戏 微信小程序-双人五子棋小游戏**** 本内容被作者隐藏 **** 3 打卡签到小程序 用微信小程序实现的一个简单的打卡签到的小程序拒绝 4 微信小程序---左滑删除 微信小程序---左滑删除**** 本内容被作者隐藏 **** 5 一个借钱的记事本的微

11款手机微信小游戏源码特效

html5微信吃苹果游戏源码下载 html5手机淘宝万能时装屋小游戏源码下载 html5 3d拳王游戏制作3D拳击游戏源码下载 html5 3d拼图游戏制作3D魔方游戏源码下载 htm5 3d游戏制作3D熊出没游戏源码下载 html5微信小游戏超级染色游戏源码下载 html5读心术小游戏源码下载_读心术微信小游戏源码下载 找你歌微信html5游戏源码下载_找你歌微信游戏源码下载 方言等级考试游戏源码下载_方言等级测试微信游戏源码下载 中秋节吃月饼游戏html5微信游戏源码下载 9款html5微信

VS.NET2010 C#开发的微信公众平台源码

C#.NET微信公众平台源码,功能齐全 会员卡,微商城,微营销等等 源码已集成目前市场主流功能,并实时更新,应用商店更有大量贴心/实用/酷炫功能和模板可供自主添加 下载源码网站http://www.zhyin.com 演示地址http://cx010108.zhyin.com/admin/ 联系QQ:11851298

VS.NET NET4.0 C#.NET微信公众平台源码,功能齐全 微信源码

C#.NET微信公众平台源码,功能齐全 微信源码 会员卡,微商城,微营销等等 源码已集成目前市场主流功能,并实时更新,应用商店更有大量贴心/实用/酷炫功能和模板可供自主添加 演示地址http://cx010108.pssdss.com/admin/ 用户名 admin 密码 529 源码下载http://www.pssdss.com/d230.html 更多源码网站http://www.pssdss.com 联系QQ:11851298

微信TOKEN验证源码

using System;using System.Collections.Generic;using System.Web;using System.Web.UI;using System.Web.UI.WebControls;using System.Data;using System.IO;using System.Net;using System.Text;using System.Xml;using System.Web.Security; public partial class w