flume监控之ganglia


对于日志来说，我觉得监控意义不大，因为写的速度一般不会特别快，但是如果是spooldir source，里面一下放入几G的数据让flume解析，特别是在结合kafka或者其他框架的话，监控就显得重要了，可以分析整个架构的瓶颈


flume的监控是基于json的，通过jmx产生metrix数据，可以通过web直接访问得到json数据，但是不够直观，也可以交由其他监控框架接收展示，官网上就简单描述了ganglia的方式


安装并启动ganglia（http://www.cnblogs.com/admln/p/ganglia-install-yum.html）之后，不需要再配置ganglia。让flume向ganglia发送metrix一种配置方式是在flume-env.conf中配置，这样启动所有任务都向ganglia发送，也可以直接在启动一个application的时候指定

$ bin/flume-ng agent --conf-file example.conf --name myname -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=myhost:8649


个人感觉展现的不是特别好，但是相对于直接看json还是将就了。

网上还有种说法是交由zabbix展示，不过看了看美团的图（http://tech.meituan.com/mt-log-system-arch.html），也就那样


flume监控之ganglia

时间： 2024-08-19 11:28:58

flume监控之ganglia的相关文章

flume 监控hive日志文件

flume 监控hive 日志文件 一: flume 监控hive的日志 1.1 案例需求: 1. 实时监控某个日志文件,将数据收集到存储hdfs 上面, 此案例使用exec source ,实时监控文件数据,使用Memory Channel 缓存数据,使用HDFS Sink 写入数据 2. 此案例实时监控hive 日志文件,放到hdfs 目录当中. hive 的日志目录是 hive.log.dir = /home/hadoop/yangyang/hive/logs 1.2 在hdfs 上面创建

flume监控

flume提供了一个度量框架,可以通过http的方式进行展现,当启动agent的时候通过传递参数 -Dflume.monitoring.type=http参数给flume agent: 1234 $ bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.monitoring.type=http -Dflume.monitoring.port=5653 -Dflume.root.logger=INFO,c

centos6.5监控平台ganglia搭建与配置

监控平台之-ganglia安装配置 小贝比尔IT技术交流网-小贝比尔 提醒:内存1G  硬盘15G(硬盘最好不要低于15G,不然安装期间会出问题) Selinux和防火墙先关闭,安装成功后再配置 1.关闭selinux  vim/etc/sysconfig/selinu更改:SELINUX=enforcing 为 SELINUX=disabled 2.关闭iptables  service iptables stop 监控主机ip:192.168.0.90 Mask:255.255.255.0

分布式监控系统Ganglia简介及安装

一.Ganglia简介 Ganglia是一款为HPC(高性能计算) 集群设计的可扩展性 的分布式监控系统,它可以监视和显示集群中节点的各种状态信息,他由运行在各个节点上的gmond守护进程来采集 CPU.内存.磁盘利用率.I/O负载.网络流量情况等方面的数据.然后汇总到gmetad守护进程下,使用rrdtool存储数据,然后将历史数据以曲线方式通过PHP页面呈现. Ganglia监控系统由三部分组成,分别是gmond.gmetad.webfrontend gmond  一个守护进程运行在每个需要

开源监控软件ganglia安装手册

Ganglia是一个监控服务器,集群的开源软件,能够用曲线图表现最近一个小时,最近一天,最近一周,最近一月,最近一年的服务器或者集群的cpu负载,内存,网络,硬盘等指标. Ganglia的强大在于:ganglia服务端能够通过一台客户端收集到同一个网段的所有客户端的数据,ganglia集群服务端能够通过一台服务端收集到它下属的所有客户端数据.这个体系设计表示一台服务器能够通过不同的分层能够管理上万台机器.这个功能是其他mrtg,nagios,cacti所不能比拟. Ganglia的扩展插件非常好

两种监控软件ganglia与zabbix各自的搭建

一.  Ganglia的搭建 Ganglia是一个分布式的,监控服务器,集群的开源软件,能够用曲线图表现最近一个小时,最近一天,最近一周,最近一月,最近一年的服务器或者集群的cpu负载,内存,网络,硬盘等指标. Ganglia的强大在于:ganglia服务端能够通过一台客户端收集到同一个网段的所有客户端的数据,ganglia集群服务端能够通过一台服务端收集到它下属的所有客户端数据.这个体系设计表示一台服务器能够通过不同的分层能够管理上万台机器.这个功能是其他mrtg,nagios,cacti所不

分布式监控系统ganglia配置文档

一.Ganglia的组件 Ganglia包括如下程序,他们之间通过XML格式传递监控数据,达到监控效果. Gmetad 这个程序负责收集各个cluster的数据,并更新到rrd数据库中. Gmond 收集本机的监控数据,发送到其他机器上.收集其他机器的监控数据,供Gmetad读取.默认监听端口8649 web front-end 一个基于web的监控界面,需要和Gmetad安装在同一个节点上,从Gmetad取数据,并且读取rrd数据库,生成图片,显示出来. 二.Ganglia的工作模式 Gang

完美集群监控组合ganglia和nagios

Ganglia是伯克利开发的一个集群监控软件.可以监视和显示集群中的节点的各种状态信息,比如如:cpu .mem.硬盘利用率, I/O负载.网络流量情况等,同时可以将历史数据以曲线方式通过php页面呈现. 而ganglia又依赖于一个web服务器用来显示集群状态,用rrdtool来存储数据和生成曲线图,需要xml解析因此需要expat,配置文件解析需要libconfuse.安装apche的httpd还需要支持php4以上,同时还有一些依赖软件. ganglia作为一款最常用的Linux环境中的监

系统监控软件Ganglia的安装

1.实验环境 Centos6.4 2.安装rrdtool(注rrdtool-1.5.3不支持3.6.1) 1 2 #安装ganglia相关包 yum -y install apr-devel apr-util check-devel cairo-devel pango-devel libxml2-devel rpmbuild glib2-devel dbus-devel freetype-devel fontconfig-devel gcc-c++ expat-devel python-deve