大快DKH大数据基础服务平台监控参数说明(附图文)

标题:DKhadoop大数据处理平台监控数据介绍
2018年国内大数据公司50强榜单排名已经公布了出来,大快以黑马之姿闯入50强,并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。本篇承接上一篇《DKM平台监控参数说明》,继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。
DKhadoop大数据处理平台架构的安装相关文章已经分享过,详细的内容可以找一下看看。在上一篇中已经就集群平均负载、集群磁盘使用情况、HDFS监控界面、Hbase监控界面等监控参数进行说明。今天就把剩下的一些监控参数一起介绍完,关于大快大数据处理平台监控参数的介绍就完整了。

1、Yarn监控界面
(1) 执行失败的应用程序

监控 yarn资源管理中总执行失败的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(2)已提交的应用程序

监控 yarn资源管理中已提交的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟

(3)正在运行的应用程序


监控 yarn资源管理中正在运行的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(4) 等待执行的应用程序


监控 yarn资源管理中等待执行的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟

(5)已完成的应用程序

监控 yarn资源管理中已完成的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(6)被kill的应用程序


监控 yarn资源管理中被杀死的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
2、Spark监控界面
注意:(spark 运行任务后才有监控数据)
(1) 最大可使用内存


监控 Spark 集群中最大可使用的内存
纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(2)已使用的内存

监控 Spark 集群中已经使用的内存
纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(3)剩余内存

监控 Spark 集群中剩余的内存
纵轴表示内存容量,单位(MB)
横轴表示时间,单位分钟
(4)Spark中任务数量

监控 Spark 集群中任务数量
纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(5)Spark中正在运行的任务数量

监控 Spark中正在运行的任务数量
纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(6)正在运行的stage数量

监控 Spark集群中正在运行的stage数量
纵轴表示stage数量,单位个
横轴表示时间,单位分钟

(7)失败的stage数量

监控 Spark集群中运行失败的stage数量
纵轴表示stage数量,单位个
横轴表示时间,单位分钟
(8)准备就绪的stage数量

监控 Spark集群中准备就绪的stage数量
纵轴表示stage数量,单位个
横轴表示时间,单位分钟
备注:
(横轴的时间表示采集时间,一般是1分钟一次)

原文地址:http://blog.51cto.com/13636660/2160227

时间: 2024-10-29 03:39:00

大快DKH大数据基础服务平台监控参数说明(附图文)的相关文章

奇点云数据中台技术汇(一)DataSimba——企业级一站式大数据智能服务平台

在这个“数据即资产”的时代,大数据技术和体量都有了前所未有的进步,若企业能有效使用数据,让数据赚钱,这必将成为企业数字化转型升级的有力武器. 奇点云自研的一站式大数据智能服务平台——DataSimba,旨在提供数据采集.数据加工.数据治理.数据规范.数据资产.数据服务等全链路的产品+技术+方法论服务,构建面向业务应用的大数据智能平台.其主要核心模块包括了数据开发套件.数据治理套件.数据服务引擎.数据智能.数据安全. 1.数据采集 数据采集作为数据中台第一个环节,不仅仅是要“采集”,也要将数据合理

奇点云数据中台技术汇(一) DataSimba——企业级一站式大数据智能服务平台

在这个"数据即资产"的时代,大数据技术和体量都有了前所未有的进步,若企业能有效使用数据,让数据赚钱,这必将成为企业数字化转型升级的有力武器. 奇点云自研的一站式大数据智能服务平台--DataSimba,旨在提供数据采集.数据加工.数据治理.数据规范.数据资产.数据服务等全链路的产品+技术+方法论服务,构建面向业务应用的大数据智能平台.其主要核心模块包括了数据开发套件.数据治理套件.数据服务引擎.数据智能.数据安全. 1.数据采集 数据采集作为数据中台第一个环节,不仅仅是要"采

大快政务大数据分析平台架构与特点介绍

从事大数据行业的朋友应该都知道大数据已经上升到了国家战略高度,2015年8月31日,×××印发了<促进大数据发展行动纲要>.旨在通过建立"用数据说话.用数据决策.用数据管理.用数据创新"的管理机制,实现基于数据的科学决策. 目前,我国每年善生并被存储的数据总量超过800EB,相当于全人类讲过的话160倍.我国的电子政务发展指数为0.6071,排名第63位.经过这几年的发展的,已经偶60余个地×××府出台了城市大数据发展计划. 政务大数据处理平台是一款汇集大数据处理.在线分析

大快DKhadoop大数据处理平台详解

大数据可以说是从搜索引擎诞生之处就有了,我们熟悉的搜索引擎,如百度搜索引擎.360搜索引擎等可以说是大数据技处理技术的最早的也是比较基础的一种应用.大概在2015年大数据都还不是非常火爆,2015年可以说是大数据的一个分水岭.随着互联网技术的快速发展,大数据也随之迎来它的发展高峰期.整个大数据处理技术的核心基础hadoop.mapreduce.nosql系统,而这三个系统是建立在谷歌提出的大表.分布式文件系统和分布式计算的三大技术构架上,以此来解决海量数据处理的问题.虽然说大数据处理技术最早兴起

大数据可视化服务平台Davinci上榜2019年度最受欢迎中国开源软件

由宜信科技中心数据中台部自主研发并开源的可视化服务平台Davinci(达芬奇)入选榜单[2019年度最受欢迎中国开源软件],并在“企业软件”这一细分类目中位列第二. (Davinci上榜) (企业软件类细分榜单) (奖杯) 我们先来给大家介绍一下这个优秀的可视化服务平台——Davinci. Davinci 是一个 DVAAS(Data Visualization as a Service)平台解决方案,面向业务人员/数据工程师/数据分析师/数据科学家,致力于提供一站式数据可视化解决方案. 它既可

大快大数据平台架构设计的构成模块

大数据也不是近几年才出现的新东西,只是最近几年才真正意义上变得热门.火爆!而这要得益于互联网信息技术的快速发展,网络改变世界.改变生活,大数据技术的应用让这样的改变更为深刻.关注大数据或者是互联网方面新闻的人应该知道,大数据已经上升到了国家战略的高度.可以说这是时代发展的必然趋势,从国家战略层面推进大数据技术的普及与应用,一个至关重要且非常核心的问题--数据安全问题就非常突出.解决数据安全问题,必然要回归到大数据开发所使用的框架!国内的大数据开发起步较晚于国外,所有关于大数据大开发的各种标准和规

学习大数据基础框架hadoop需要什么基础

什么是大数据?进入本世纪以来,尤其是2010年之后,随着互联网特别是移动互联网的发展,数据的增长呈爆炸趋势,已经很难估计全世界的电子设备中存储的数据到底有多少,描述数据系统的数据量的计量单位从MB(1MB大约等于一百万字节).GB(1024MB).TB(1024GB),一直向上攀升,目前,PB(等于1024TB)级的数据系统已经很常见,随着移动个人数据.社交网站.科学计算.证券交易.网站日志.传感器网络数据量的不断加大,国内拥有的总数据量早已超出 ZB(1ZB=1024EB,1EB=1024PB

学习hadoop大数据基础框架需要什么基础

什么是大数据?进入本世纪以来,尤其是2010年之后,随着互联网特别是移动互联网的发展,数据的增长呈爆炸趋势,已经很难估计全世界的电子设备中存储的数据到底有多少,描述数据系统的数据量的计量单位从MB(1MB大约等于一百万字节).GB(1024MB).TB(1024GB),一直向上攀升,目前,PB(等于1024TB)级的数据系统已经很常见,随着移动个人数据.社交网站.科学计算.证券交易.网站日志.传感器网络数据量的不断加大,国内拥有的总数据量早已超出 ZB(1ZB=1024EB,1EB=1024PB

DKH大数据整体解决方案的优势介绍

大数据技术的发展与应用已经在深刻地改变和影响我们的日常生活与工作,可以预见的是在大数据提升为国家战略层面后,未来的几年里大数据技术将会被更多的行业应用.相信很多人对于大数据技术的应用还是处于一个非常陌生的阶段,可能在很多地方听说过大数据,但具体应用在哪方面可能就并不清楚了.举个最简单的的例子,前段时间新闻报道说警方在某明星的演唱会上抓捕了一名在逃嫌犯,而这名嫌犯是在进入现场时被监控识别出来的.这种就是大数据技术的一种具体的应用表现.这个案例可能不是很贴切,但应该很好理解了吧!企业对大数据技术的需