ganglia监控架构

1、我们知道ganglia是C/S结构的,我们熟知的就是一台ganglia server,很多slave。这种结构有什么问题?

1)如果ganglia server出现问题,我们就无法监控到datanode。

2)如果监控节点特别多个100,几百台怎么,一台很明显会处理不过来,web展示会面临很大的性能问题。

我们可以考虑如下的结构:

2、这种架构有什么优势呢:

1)客户端往中间数据接收服务器传输,中间中转的集群是多台的,能实现冗余,保证数据完整

2)ganglia server定向中转机器拉取数据,来实现web展示,这样减轻了ganglia server的压力,且多个ganglia server可以向中间层的服务器拉取数据,实现ha功能。

3、那么应该怎么配置呢?

ganglia server配置

data_source "hxhhadoop" server1.hadoop.gmond.ganglia server2.hadoop.gmond.ganglia server3.hadoop.gmond.ganglia

data_source "hxhstorm" server1.hadoop.gmond.ganglia server2.hadoop.gmond.ganglia server3.hadoop.gmond.ganglia

all_trusted on

setuid_username "hxh"

rrd_rootdir "/data/ganglia/rrds"

gmond client配置

vim  /usr/local/ganglia/etc/gmond.conf

cluster {

name = "hxhhadoop"

owner = "hxh"

latlong = "unspecified"

url = "unspecified"

}

/* The host section describes attributes of the host, like the location */

host {

location = "unspecified"

}

udp_send_channel {

#mcast_join = 239.2.11.71

host = server1.hadoop.gmond.ganglia

port = 8649

ttl = 1

}

udp_send_channel {

host = server2.hadoop.gmond.ganglia

port = 8649

ttl = 1

}

udp_send_channel {

host = server3.hadoop.gmond.ganglia

port = 8649

ttl = 1

}

udp_recv_channel {

#mcast_join = 239.2.11.71

port = 8649

#bind = 239.2.11.71

retry_bind = true

}

tcp_accept_channel {

port = 8649

gzip_output = no

}

注意:

1)这里ganglia server,中间中转的服务器,gmond都是上面这个配置,保证数据只传输给server1、server2、server3,而ganglia server只上server1、server2、server3上面取数据

2)gmond.conf中主要配置udp send的,其他的不需要怎么配置

时间: 2024-10-12 06:37:19

ganglia监控架构的相关文章

ganglia监控自定义metric实践

Ganglia监控系统是UC Berkeley开源的一个项目,设计初衷就是要做好分布式集群的监控,监控层面包括资源层面和业务层面,资源层面包括cpu.memory.disk.IO.网络负载等,至于业务层面由于用户可以很方便的增加自定义的metric,因此可以用于做诸如服务性能.负载.出错率等的监控,例如某web服务的QPS.Http status错误率.此外,如果和Nagios集成起来还可以在某指标超过一定阈值时触发相应的报警. Ganglia相比zabbix的优势在于客户端收集agent(gm

Ubuntu 下配置Ganglia监控

Ganglia是比较知名的开源监控系统, 运维上需要关注的一些通用的状态都有所涉及.其组成主要是gmond(监控程序),gmetad(信息收集程序),web(监控数据展现app).ubuntu的apt源中Ganglia-webfrontend对应gmetad+web展现应用;ganglia-monitor对应gmond监控程序. 本文主要以ubuntu 14 server版为例进行安装配置: 监控主机: 192.168.1.1 被监控机: 192.168.1.2 ganglia在监控主机与被监控

Ganglia监控spark1.6.1

Ganglia监控spark1.6.1 Spark的Metrics系统允许用户把Spark metrics信息报告到Ganglia,gmond服务收集metrics信息,最后统一汇总到gmetad并通过web界面呈现.主要着重于如何配置ganglia以及spark的metrics,至于如何编译spark支持ganglia以及ganglia的安装另行详述. 1.编译spark支持ganglia spark默认不把ganglia相关的类包含在发行包中 ,所以在官网上下载的包是不支持ganglia的,

Ganglia监控搭建

一.Ganglia介绍: Ganglia是一个监控服务器.集群的开源软件,能够用曲线图表现最近一个小时,最近一天,最近一周,最近一月,最近一年的服务器或者集群的cpu负载,内存,网络,硬盘等指标.Ganglia的强大在于:ganglia服务端能够通过一台客户端收集到同一个网段的所有客户端的数据,ganglia集群服务端能够通过一台服务端收集到它下属的所有客户端数据.这个体系设计表示一台服务器能够通过不同的分层能够管理上万台机器.这个功能是其他mrtg,nagios,cacti所不能比拟. 官方网

在OpenStack集群中安装Ganglia监控

1.Ganglia简介 Ganglia由gmond.gmetad和gweb三部分组成 gmond(Ganglia Monitoring Daemon)是一种轻量级服务,安装在每台需要收集指标数据的节点主机上.gmond在每台主机上完成实际意义上的指标数据收集工作,并通过侦听/通告协议和集群内其他节点共享数据.使用gmond,你可以很容易收集很多系统指标数据,如CPU.内存.磁盘.网络和活跃进程的数据等. gmetad(Ganglia Meta Daemon)是一种从其他gmetad或gmond源

ganglia监控

ganglia ganglia 是分布式的监控系统,有两个Daemon, 分别是:客户端Ganglia Monitoring Daemon (gmond)和服务端Ganglia Meta Daemon (gmetad),还有Ganglia PHP Web Frontend(基于web的动态访问方式)组成是一个Linux下图形化监控系统运行性能的软件,界面美观.丰富,功能强大 http://ganglia.sourceforge.net/ 软件下载 环境:RHEL6  x86-64 disable

Ganglia监控Hadoop集群的安装部署[转]

Ganglia监控Hadoop集群的安装部署 一. 安装环境 Ubuntu server 12.04 安装gmetad的机器:192.168.52.105 安装gmond的机 器:192.168.52.31,192.168.52.32,192.168.52.33,192.168.52.34,192.168.52.35,192.168.52.36,192.168.52.37,192.168.52.38,192.168.52.105 浏览监控web页面的机器:192.168.52.105 二. 介绍

Ganglia监控Hadoop集群的安装部署

Ganglia是UC Berkeley发起的一个开源实时监视项目,用于测量数以千计的节点,为云计算系统提供系统静态数据以及重要的性能度量数据.Ganglia系统基本包含以下三大部分. Gmond:Gmond运行在每台计算机上,它主要监控每台机器上收集和发送度量数据(如处理器速度.内存使用量等). Gmetad:Gmetad运行在Cluster的一台主机上,作为Web Server,或者用于与Web Server进行沟通. Ganglia Web前端:Web前端用于显示Ganglia的Metric

Ganglia 监控Hadoop

Ganglia监控Hadoop集群的安装部署 一. 安装环境 Ubuntu server 12.04 安装gmetad的机器:192.168.52.105 安装gmond的机 器:192.168.52.31,192.168.52.32,192.168.52.33,192.168.52.34,192.168.52.35,192.168.52.36,192.168.52.37,192.168.52.38,192.168.52.105 浏览监控web页面的机器:192.168.52.105 二. 介绍