Ganglia监控Hadoop集群的安装部署

Ganglia是UC Berkeley发起的一个开源实时监视项目，用于测量数以千计的节点，为云计算系统提供系统静态数据以及重要的性能度量数据。Ganglia系统基本包含以下三大部分。

Gmond：Gmond运行在每台计算机上，它主要监控每台机器上收集和发送度量数据（如处理器速度、内存使用量等）。

Gmetad：Gmetad运行在Cluster的一台主机上，作为Web Server，或者用于与Web Server进行沟通。

Ganglia Web前端：Web前端用于显示Ganglia的Metrics图表

一、安装环境

Ubuntu 14.04

master:192.168.1.10
slave1:192.168.1.20 slave2:192.168.1.30
salve2:192.168.1.40 slave3:192.168.1.50
slave4:192.168.1.60

安装gmetad的机器：master

安装gmond的机 器：slave1
slave2 slave3
slave4 slave5

浏览监控web页面的机器：master

二、介绍

Ganglia 监控套件包括三个主要部分：gmond，gmetad，和网页接口，通常被称为ganglia- web。

• gmond 是一个守护进程，他运行在每一个需要监测的节点上，收集监测统计，发送和接受在同一个组播或单播通道上的统计信息。
• gme tad 也是一个守护进程，他定期检查gmonds ，从那里拉取数据，并将他们的指标存储在RRD存储引擎中。它可以查询多个集群并聚合指标。RRD也被用于生成用户界面的web前端。
• ganglia- web 顾名思义，他应该安装在有gmetad运行的机器上，以便读取RRD文件。

一般来说一个集群的每台机器上都需要安装gmond，只要负责展示web界面的机器安装了gmetad即可。

三、在ubuntu上安装ganglia

在master虚拟机上，运行以下命令：

sudo apt-get install ganglia-monitor rrdtool gmetad ganglia-webfrontend

在安装过程中，你应该会看到类似下面的安装后与apache2服务器重启选择，直接 Yes，然后按Enter键。

四、Ganglia 主节点配置

所有的配置都在/etc/ganglia目录下，在每个节点上都要配置/etc/ganglia/gmond.conf.

在命令行中输入以下命令：

sudo vim /etc/ganglia/<span style="font-family: monospace; font-size: 14px; line-height: 26px;">gmond</span>.conf

红色字体为修改项。

<span style="font-family: monospace; line-height: 26px; font-weight: normal;"><span style="font-size:18px;">
</span></span>

<span style="font-family: monospace; line-height: 26px; font-weight: normal;"><span style="font-size:18px;">
</span></span>

<span style="font-family: monospace; line-height: 26px; font-weight: normal;"><span style="font-size:18px;">
</span></span>

<span style="font-family: monospace; line-height: 26px; font-weight: normal;"><span style="font-size:18px;">
</span></span>

<span style="font-weight: normal;">globals {
daemonize = yes
setuid = yes
<span style="color:#ff0000;">user = hadoop /*运行Ganglia的用户，我的用户为hadoop*/</span>
debug_level = 0
max_udp_msg_len = 1472
mute = no
deaf = no
host_dmax = 120
cleanup_threshold = 300
gexec = no
<span style="color:#ff0000;">send_metadata_interval = 15 /*发送数据的时间间隔*/</span>
}

cluster {
<span style="color:#ff0000;">name = "hadoop" /*集群名称*/</span>
<span style="color:#ff0000;">owner = "nobody" /*运行Ganglia的用户*/</span>
latlong = "unspecified"
url = "unspecified"
}

udp_send_channel {
# mcast_join = <span class="number" style="margin: 0px; padding: 0px; border: none; color: rgb(192, 0, 0); font-family: Consolas, 'Courier New', Courier, mono, serif; line-height: 18px;">239.2</span><span style="margin: 0px; padding: 0px; border: none; font-family: Consolas, 'Courier New', Courier, mono, serif; line-height: 18px;">.</span><span class="number" style="margin: 0px; padding: 0px; border: none; color: rgb(192, 0, 0); font-family: Consolas, 'Courier New', Courier, mono, serif; line-height: 18px;">11.71</span><span style="margin: 0px; padding: 0px; border: none; font-family: Consolas, 'Courier New', Courier, mono, serif; line-height: 18px;"> </span> /*这里不需要更改*/
port = 8649
ttl = 1
}</span>

配置gmetad.conf，在命令行中输入以下命令：

<span style="font-weight: normal;"><span style="font-size:18px;">sudo vim /etc/ganglia/gmetad.conf</span></span>

<span style="font-weight: normal;"><span style="font-size:18px;">data_source "hadoop" master slave1 slave2 slave3 slave4 slave5</span></span>

五、启动&运行

<span style="font-family: monospace; line-height: 26px; font-weight: normal;"><span style="font-size:18px;">sudo /etc/init.d/ganglia-monitor start</span></span><span style="font-weight: normal;"><span style="font-size:18px;"> （每台机器都需要启动）</span></span>

<span style="font-weight: normal;"><span style="font-size:18px;"><span style="font-family: monospace; line-height: 26px;">sudo /etc/init.d/gmetad start</span>（服务端的机器上启动）</span></span>

<span style="font-weight: normal;"><span style="font-family: monospace; line-height: 26px;"><span style="font-size:18px;">sudo /etc/init.d/apache2 restart（服务端启动）</span></span>
</span>

在网上上输入 http://master/ganglia/
有以下界面显示就表示成功