hbase ganglia监控配置

hbase ganglia 显示器

hbase 构造

  1. hadoop-metrics2-hbase.properties
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.sink.ganglia.period=10  

hbase.sink.ganglia.period=10
hbase.sink.ganglia.servers=239.2.11.71:8649

hbase.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
hbase.period=10
hbase.servers==239.2.11.71:8649

jvm.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
jvm.period=10
jvm.servers==239.2.11.71:8649

rpc.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
rpc.period=10
rpc.servers==239.2.11.71:8649

改动完配置后重新启动集群。就能够在ganglia中查看到相应监控信息了

注意 :

上面配置项中的IP地址为gmond.conf文件里mcast_join指定的IP地址:

/* Feel free to specify as many udp_send_channels as you like.  Gmond
   used to only support having a single channel */
udp_send_channel {
  #bind_hostname = yes # Highly recommended, soon to be default.
                       # This option tells gmond to use a source address
                       # that resolves to the machine‘s hostname.  Without
                       # this, the metrics may appear to come from any
                       # interface and the DNS names associated with
                       # those IPs will be used to create the RRDs.
  mcast_join = 239.2.11.71
  port = 8649
  ttl = 1
}

效果图 ###

hbase监控项

hbase.regionserver.blockCacheCount :内存中缓存块(block cache)数。

缓存中StoreFiles(HFiles)的块(block)数量。

hbase.regionserver.blockCacheEvictedCount :因超出堆限制大小,从缓存中释放的块数量。

hbase.regionserver.blockCacheFree: 可用的缓存块容量。

hbase.regionserver.blockCacheHitCachingRatio:缓存块的缓存命中率(0-100)。读取的缓存命中率被配置为查看缓存(如cacheblocks=true)。

hbase.regionserver.blockCacheHitCount :StoreFiles(HFiles) 从缓存中读取的块数量。

hbase.regionserver.blockCacheHitRatio:缓存块的命中率(0-100).包含全部读请求,虽然cacheBlocks=false 的读出会被计为cache丢失。

hbase.regionserver.blockCacheMissCount:被StoreFiles (HFiles)请求可是未从缓存中读出的块数量。

hbase.regionserver.blockCacheSize:内存中块缓存的容量,特指被blockcache占用的内存容量。

hbase.regionserver.compactionQueueSize :Compaction 队列大小。用于compaction的RegionServer中的Store个数。

hbase.regionserver.flushQueueSize :MemStore中等待flush操作的排队region数量。

hbase.regionserver.fsReadLatency_avg_time :文件系统延迟(ms)。从HDFS读操作的平均时间。

hbase.regionserver.memstoreSizeMB :当前RegionServer中全部Memstore的总容量(MB)。

hbase.regionserver.requests :总的读和写请求次数。请求相当于RegionServer的RPC调用,因此一个Get相当于一次请求,可是哪怕Scan的caching值设置为1000,对SCAN每一个“下一次”调用仅相当于一次请求。(比如,非每行)。对于大数据块的请求,每一个 HFile相应一次请求。

hbase.regionserver.storefileIndexSizeMB:RegionServer中 StoreFile文件索引大小的总和(MB)。

具体监控项可查看http://hbase.apache.org/book.html#rs_metrics

版权声明:本文博主原创文章,博客,未经同意不得转载。

时间: 2024-10-14 15:15:27

hbase ganglia监控配置的相关文章

Ubuntu 下配置Ganglia监控

Ganglia是比较知名的开源监控系统, 运维上需要关注的一些通用的状态都有所涉及.其组成主要是gmond(监控程序),gmetad(信息收集程序),web(监控数据展现app).ubuntu的apt源中Ganglia-webfrontend对应gmetad+web展现应用;ganglia-monitor对应gmond监控程序. 本文主要以ubuntu 14 server版为例进行安装配置: 监控主机: 192.168.1.1 被监控机: 192.168.1.2 ganglia在监控主机与被监控

ganglia监控自定义metric实践

Ganglia监控系统是UC Berkeley开源的一个项目,设计初衷就是要做好分布式集群的监控,监控层面包括资源层面和业务层面,资源层面包括cpu.memory.disk.IO.网络负载等,至于业务层面由于用户可以很方便的增加自定义的metric,因此可以用于做诸如服务性能.负载.出错率等的监控,例如某web服务的QPS.Http status错误率.此外,如果和Nagios集成起来还可以在某指标超过一定阈值时触发相应的报警. Ganglia相比zabbix的优势在于客户端收集agent(gm

Ganglia监控spark1.6.1

Ganglia监控spark1.6.1 Spark的Metrics系统允许用户把Spark metrics信息报告到Ganglia,gmond服务收集metrics信息,最后统一汇总到gmetad并通过web界面呈现.主要着重于如何配置ganglia以及spark的metrics,至于如何编译spark支持ganglia以及ganglia的安装另行详述. 1.编译spark支持ganglia spark默认不把ganglia相关的类包含在发行包中 ,所以在官网上下载的包是不支持ganglia的,

Ganglia的配置,用于监测系统和Hadoop性能

一. 介绍 Ganglia 监控套件包括三个主要部分:gmond,gmetad,和网页接口,通常被称为ganglia- web. gmond 是一个守护进程,他运行在每一个需要监测的节点上,收集监测统计,发送和接受在同一个组播或单播通道上的统计信息. gme tad 也是一个守护进程,他定期检查gmonds ,从那里拉取数据,并将他们的指标存储在RRD存储引擎中.它可以查询多个集群并聚合指标.RRD也被用于生成用户界面的web前端. ganglia- web 顾名思义,他应该安装在有gmetad

Ganglia监控搭建

一.Ganglia介绍: Ganglia是一个监控服务器.集群的开源软件,能够用曲线图表现最近一个小时,最近一天,最近一周,最近一月,最近一年的服务器或者集群的cpu负载,内存,网络,硬盘等指标.Ganglia的强大在于:ganglia服务端能够通过一台客户端收集到同一个网段的所有客户端的数据,ganglia集群服务端能够通过一台服务端收集到它下属的所有客户端数据.这个体系设计表示一台服务器能够通过不同的分层能够管理上万台机器.这个功能是其他mrtg,nagios,cacti所不能比拟. 官方网

HBase安装与配置(完全分布式)

------------------------------------------------ 一.前言 二.环境 三.配置 1.解压hbase安装包 2.配置系统环境变量 3.修改conf/hbase-env.sh脚本,设置环境变量 4.编辑hbase-site.xml进行配置 5.修改regionservers,添加所有slave主机 6.修改hadoop下的hdfs-site.xml 7.分发到各个slave主机 8.启动Hbase 9.验证Hmaster已经启动 四.测试 ------

在OpenStack集群中安装Ganglia监控

1.Ganglia简介 Ganglia由gmond.gmetad和gweb三部分组成 gmond(Ganglia Monitoring Daemon)是一种轻量级服务,安装在每台需要收集指标数据的节点主机上.gmond在每台主机上完成实际意义上的指标数据收集工作,并通过侦听/通告协议和集群内其他节点共享数据.使用gmond,你可以很容易收集很多系统指标数据,如CPU.内存.磁盘.网络和活跃进程的数据等. gmetad(Ganglia Meta Daemon)是一种从其他gmetad或gmond源

HBase的环境配置及其应用

-------------------------------------------------------------------------------------- [版权申明:本文系作者原创,转载请注明出处] 文章出处:http://blog.csdn.net/sdksdk0/article/details/51680296 作者: 朱培              ID:sdksdk0 --------------------------------------------------

Ganglia监控Hadoop集群的安装部署[转]

Ganglia监控Hadoop集群的安装部署 一. 安装环境 Ubuntu server 12.04 安装gmetad的机器:192.168.52.105 安装gmond的机 器:192.168.52.31,192.168.52.32,192.168.52.33,192.168.52.34,192.168.52.35,192.168.52.36,192.168.52.37,192.168.52.38,192.168.52.105 浏览监控web页面的机器:192.168.52.105 二. 介绍