Ganglia的配置,用于监测系统和Hadoop性能

一、 介绍

Ganglia 监控套件包括三个主要部分:gmond,gmetad,和网页接口,通常被称为ganglia- web。

gmond 是一个守护进程,他运行在每一个需要监测的节点上,收集监测统计,发送和接受在同一个组播或单播通道上的统计信息。

gme tad 也是一个守护进程,他定期检查gmonds ,从那里拉取数据,并将他们的指标存储在RRD存储引擎中。它可以查询多个集群并聚合指标。RRD也被用于生成用户界面的web前端。

ganglia- web 顾名思义,他应该安装在有gmetad运行的机器上,以便读取RRD文件。

一般来说一个集群的每台机器上都需要安装gmond,只要负责展示web界面的机器安装了gmetad即可。

二、安装

1.apt-get install ganglia-monitor ganglia-webfrontend

弹出的对话框选择Yes即可

可以看到安装ganglia-webfrontend是包括gmetad和rrdtool等的。

2.链接到web服务器

安装ganglia-webfrontend的时候就已经安装了Apache Web Server,Ganglia-webfrontend默认安装的位置是/usr/share/ganglia-webfront,现在还不能通过浏览器 访问Ganglia监控界面,需要执行以下命令将将ganglia的文件链接到apache的默认目录下。

ln -s /usr/share/ganglia-webfront /var/www/ganglia

3.复制 Ganglia webfrontend Apache 配置,使用下面的命令来正确的位置:

cp /etc/ganglia-webfrontend/apache.conf /etc/apache2/sites-enabled/ganglia.conf

三、配置

1.配置gmond.conf

作下面的变化:

/* If a cluster attribute is specified, then all gmond hosts are wrapped inside
* of a tag. If you do not specify a cluster tag, then all will
* NOT be wrapped inside of a tag. */
cluster {
name = "unspecified"
owner = "unspecified"
latlong = "unspecified"
url = "unspecified"
}

修改为:

cluster {
name = "my cluster"//自己设置的集群名
owner = "root"
latlong = "unspecified"
url = "unspecified"
}
/* Feel free to specify as many udp_send_channels as you like. Gmond
used to only support having a single channel */
udp_send_channel {
mcast_join = 239.2.11.71
port = 8649
ttl = 1
}

修改为:

/* Feel free to specify as many udp_send_channels as you like. Gmond
used to only support having a single channel */
udp_send_channel {
# mcast_join = 239.2.11.71//注释掉,多播
host = 192.168.10.128//改为主机的IP
port = 8649
ttl = 1
}
/* You can specify as many udp_recv_channels as you like as well. */
udp_recv_channel {
mcast_join = 239.2.11.71
port = 8649
bind = 239.2.11.71
}

修改为:

/* You can specify as many udp_recv_channels as you like as well. */
udp_recv_channel {
# mcast_join = 239.2.11.71
port = 8649
#bind = 239.2.11.71
}

2.配置gmetad.conf

Vim /etc/ganglia/gmetad.conf

data_source "my cluster" localhost

修改为:

data_source "my cluster"  192.168.10.128:8649

3.需要重启服务:

/etc/init.d/ganglia-monitor restart
/etc/init.d/gmetad restart
/etc/init.d/apache2 restart

如果遇到apache2 无法重启的情况

vim /etc/apache2/apache2.conf

最后加入一句 ServerName localhost:80即可。

4.现在你可以使用以下命令访问gnglia webinterface:

http://192.168.10.128/ganglia/

四、监测Hadoop集群性能

1.Master节点按上面的方法做,并在gmetad.conf中加入所有机器的IP地址。slave节点只需要安装ganglia-monitor并配置gmond.conf即可。

2.在所有机器上配置hadoop-metrics.properties

修改Hadoop的配置文件/etc/hadoop/hadoop-metrics.properties,根据文件中的说明,修改五处:

dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
dfs.period=30
dfs.servers=192.168.10.128:8649

mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
mapred.period=30
mapred.servers=192.168.10.128:8649

jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
jvm.period=30
jvm.servers=192.168.10.128:8649

rpc.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
rpc.period=10
rpc.servers=192.68.10.128:8649

ugi.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
ugi.period=10
ugi.servers=192.168.10.128:8649

3.在所有机器上配置hadoop-metrics2.properties

在最后加上

*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31

*.sink.ganglia.period=10

*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both

*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40

namenode.sink.ganglia.servers=192.168.10.128:8649

resourcemanager.sink.ganglia.servers=192.168.10.128:8649

datanode.sink.ganglia.servers=192.168.10.128:8649

nodemanager.sink.ganglia.servers=192.168.10.128:8649

maptask.sink.ganglia.servers=192.168.10.128:8649

reducetask.sink.ganglia.servers=192.168.10.128:8649

(后六行根据自己Hadoop情况配置)

也可以在一台机器上配置后传到其他机器上。

4.全部配置完毕后,重启Hadoop环境,再重启ganglia。

所有机器都需要ganglia-monitor restart

Master上还要做gmetad restart和apache2 restart。

然后就可以在页面上看到Hadoop监测相关的内容。

做了一个WordCount程序测试,可以看到我运行了WordCount的位置有明显的网络波动。

另外全部安装完后网页左下角有个饼状图无法显示,安装了GD库也还是不行

apt-get install php5-gd

希望大家知道应该怎么弄的告诉我一下,谢谢。

时间: 2024-10-25 00:15:04

Ganglia的配置,用于监测系统和Hadoop性能的相关文章

COMSCI系统和JWFD系统PC配置标准

下面的标准为  强制标准 CPU: 使用 intel公司  65-45纳米工艺制程   Q6600,  E2140-E2160,E5200,Q9400,Q9500,Q9550,Q9650 主板:使用 华硕,技嘉,微星  这三家公司出的带南桥和北桥芯片的P35-P45主板 显卡:   ATI公司的3650-4650-5650系列GPU显卡 显示器:美国优派-三只鸟的标志的液晶显示器 硬盘:希捷公司的机械硬盘   1T-单碟盘-5400转 光驱:先锋DVD刻录机(不准使用蓝光,蓝光带时流数据,可以读

OTT系统和IPTV方案哪个更适合用于搭建局域网视频点播直播

网路的发展影响着我们生活的各个方面,往大了说国家的各种竞争都是科技的竞争,往小了说我们的生活如果离开网络简直就像生活在原始社会.不说工作了就说回到家连简单的休息都不能做到.所以现在城市小区局域网的建设是基础建设之一,而在现在生活休闲中视频影音系统是主流,也是在小区中占比比较大的,而现在的小区少则上万人多则几十万,如果高峰时同时对于网络有大量请求的话,对于小区的带宽压力将会极大.尤其是现在很多热门影视剧综艺节目播放的时候,很多都是重复的请求,如果在小区内部建设自己的缓存系统将可以大大降低带宽的压力

Hadoop性能调优、YARN的内存和CPU配置

转自: https://blog.csdn.net/tototuzuoquan/article/details/80671128 转: https://blog.csdn.net/dehu_zhou/article/details/52808752 https://blog.csdn.net/dxl342/article/details/52840455 Hadoop为用户作业提供了多种可配置的参数,以允许用户根据作业特点调整这些参数值使作业运行效率达到最优. 一 应用程序编写规范 1.设置Co

Hadoop-04-分布式文件系统和HDFS

1.分布式文件系统和HDFS 1.1产生原因 数据量越来越多,在一个操作系统管辖的范围内存不下,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,由此产生了分布式文件管理系统. 1.2定义 是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间. 1.3特点 (1)通透性: 让实际上通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一般: (2)容错性: 即使系统中有某些节点脱机,整体来说系统

下一代大数据系统和4S标准

大数据行业发展到今天,它创造的价值和带来的社会效应,大家已经看得很明白,同时很多问题和不足也暴露出来,特别是hadoop能够提供的数据处理能力,现在已经挖掘到极限,但是现在各行业对数据的存储和计算需求,似乎却没有停止的迹象.在最近的一次大数据论坛上,大家开始讨论下一代大数据系统和系统标准,借此机会,我们Laxcus大数据实验室表达了自己的看法,提出了4S标准,得到与会者的普遍赞同和肯定.回来后,觉得这个话题应该再说说,所以借着CSDN这个平台,和诸位谈谈我们眼中的下一代大数据系统和4S标准. 概

java商城开发中说说影响java商城系统和jsp商城效率的原因

java是现在比较流行的软件开发语言,同时也是互联网应用中安全性相对较高的一种开发语言了.被很多的电子金融系统开发企业以及电子商务网站建设企业所看重.虽然说在如今的互联网开发中,它比较有优势,然而用得不当的话,反而会使电子商务网站建设的性能受到影响.电子商务网站建设企业,就从多年的java商城开发中说说影响java商城系统和jsp商城效率的原因. 1.缺乏正确的容量规划 容量规划是一个全面的和发展的过程标准,预测当前和未来的IT环境容量需求.制定合理的容量规划不仅会确保和跟踪当前IT生产能力和稳

httpd-2.4部署Discuz!论坛系统、wordpress博客系统和phpMyAdmin程序

检查环境(关闭防火墙和改变SELinux状态,保证外界可以访问): [[email protected] ~]# iptables -F //-F代表无论如何都关闭防火墙,生产环境不建议[[email protected] ~]# iptables -vnLChain INPUT (policy ACCEPT 5 packets, 448 bytes)pkts bytes target prot opt in out source destination Chain FORWARD (polic

集群配置虚拟主机及部署Hadoop集群碰到的问题

配置集群方案 Ubuntu下的配置apache虚拟主机方案: 对其中的Master节点配置虚拟主机,可以通过Chrome浏览器访问目录. 安装虚拟主机之前,先安装Apache2 sudo apt-get install apache2 再安装php5 sudo apt-get install php5 然后,进入 /etc/apache2/sites-available文件夹,添加”*.conf”文件 往该文件里写入 <VirtualHost *:80> ServerName author.x

linux文件系统和mount(硬盘,win分区,光驱,U盘)

fdisk –l查看dos/win/ext2分区(partiton,不是slice,slice是solaris分区) [[email protected] etc]# /sbin/fdisk -l Disk /dev/hda: 80.0 GB, 80026361856 bytes 255 heads, 63 sectors/track, 9729 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Device Boot