Ambari Metrics介绍

概念

Ambari Metrics是Ambari中负责监控集群状态的功能组件。它有如下一些主要的概念:

Terminology Description
Ambari Metrics System (“AMS”) The built-in metrics collection system for Ambari.
Metrics Collector The standalone server that collects metrics, aggregates metrics, serves metrics from the Hadoop service sinks and the Metrics Monitor.
Metrics Hadoop Sinks Plugs into the various Hadoop components sinks to send Hadoop metrics to the Metrics Collector.
Metrics Monitor Installed on each host in the cluster to collect system-level metrics and forward to the Metrics Collector.

简单地说,Ambari收集两类信息放到Collector上:

1. 各节点“系统级”的指标

2. Hadoop各组件的指标

前者是通过安装在每个节点上的Metrics Monitor(就是Agent)来收集的,后者是通过面向特定Hadoop组件的Sink(概念上和Flume的Sink是一样的)来收集的。

最后补充一一点,Collector是使用HBase存放Metrics数据的。

架构

配置

配置Ambari Metrics为分布式模式

默认安装时Ambari Metrics为embedded模式,这样收集的所有数据是存放在Collector节点的本地的,大量的Metrics数据会挤占大量的本地存储空间,该为分布式模式后Metrics数据会放置到HDFS上,所以通常这是安装Ambari后必备一个操作。具体的操作可以参考: http://docs.hortonworks.com/HDPDocuments/Ambari-2.1.0.0/bk_ambari_reference_guide/content/_configuring_ambari_metrics_for_distributed_mode.html

配置Metrics数据的生命周期

大量的Metrics会占用非常大的存数空间,设定Metrics数据的保留时间(TTL)是很必要的,控制Metrics数据保留时间的参数位于ams-site.xml中,以下是相关的配置项:

配置项 默认值 描述
timeline.metrics.host.aggregator.ttl 86400 1 minute resolution data purge interval. Default is 1 day.
timeline.metrics.host.aggregator.minute.ttl 604800 Host based X minutes resolution data purge interval. Default is 7 days.(X = configurable interval, default interval is 2 minutes)
timeline.metrics.host.aggregator.hourly.ttl 2592000 Host based hourly resolution data purge interval. Default is 30 days.
timeline.metrics.host.aggregator.daily.ttl 31536000 Host based daily resolution data purge interval. Default is 1 year.
timeline.metrics.cluster.aggregator.minute.ttl 2592000 Cluster wide minute resolution data purge interval. Default is 30 days.
timeline.metrics.cluster.aggregator.hourly.ttl 31536000 Cluster wide hourly resolution data purge interval. Default is 1 year.
timeline.metrics.cluster.aggregator.daily.ttl 63072000 Cluster wide daily resolution data purge interval. Default is 2 years.

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-10-13 07:11:51

Ambari Metrics介绍的相关文章

Ambari Metrics 详解

Ambari Metrics 原理 Ambari Metrics System 简称为 AMS,它主要为系统管理员提供了集群性能的监察功能.Metrics 一般分为 Cluster.Host 以及 Service 三个层级. Cluster 和 Host 级主要负责监察集群机器相关的性能,而 Service 级别则负责 Host Component 的性能.AMS 涉及的模块如下图所示: 图 1. Ambari Metrics 原理图 对于 AMS 本身来说,涉及的主要模块有 Metrics M

Metrics介绍和Spring的集成

http://colobu.com/2014/08/08/Metrics-and-Spring-Integration/ Metrics可以为你的代码的运行提供无与伦比的洞察力.作为一款监控指标的度量类库,它提供了很多模块可以为第三方库或者应用提供辅助统计信息, 比如Jetty, Logback, Log4j, Apache HttpClient, Ehcache, JDBI, Jersey, 它还可以将度量数据发送给Ganglia和Graphite以提供图形化的监控. Metrics提供了Ga

Ambari Metrics Collector移动日志目录后启动报错

今天早上集群空间满了,移动Ambari Metrics Collector日志目录后服务启动不了,日志如下: java.net.ConnectException: Connection refused at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:712) at org.apache.z

Ambari metrics collector 进程掉

一.报错 二.解决 https://community.hortonworks.com/content/supportkb/171943/errortimelinemetricstorewatcher75-error-getting-me.html 原文地址:https://www.cnblogs.com/water-sky/p/10221195.html

ambari+hdp安装

Yun2集群上Ambari+HDP安装 1. 安装环境说明: 系统版本:CentOS7 安装版本: Ambari版本:2.2.2.0 HDP版本:2.4.2.0 集群机器: Ambari Server :yun2 Ambari Agent:yun3 ,yun4,yun6,yun18,yun19,yun20,yun21 2. 操作系统环境准备 2.1 配置SSH免密码登录 主节点里root用户登录执行如下步骤: ssh-keygen –t rsa cd /root/.ssh cat id_rsa.

利用Ambari进行hdp小版本升级

HDP2.2 升级手册 * 注意事项: 升级描述:当前HDP版本2.2.0.0,升级版本2.2.6.0: 手动升级(命令行)方式官方文档:http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.2.6/bk_upgrading_hdp_manually/content/ch_upgrade_2_1.html 1. 升级前准备工作 1.1 重启服务* 注:因为上次升级Ambari metrics没有重启服务,所以这次重启所有服务以应用上一次的配置更新

Ambari升级

Ambari Server 升级手册 * 注意事项: 升级Ambari Server需要重启HDP服务,重启HDP服务之前请关闭正在进行的业务服务(如:Mapreduce job),以免数据丢失: Ambari Server 2.0.0版本以后集成了新的运维监控服务Ambari Metrics,Nagios服务将被移除,原来依赖于Nagios服务监控报警配置,可以在Ambari Metrics重新配置: 1. 关闭Nagios和Ganglia服务 登录Ambari Server服务管理界面,关闭

【原创】大数据基础之Ambari(1)简介、安装、使用

官方:http://ambari.apache.org/ The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, managing, and monitoring Apache Hadoop clusters. Ambari provides an intuitive, easy-to-use Hadoop management

卸载ambari

* 如果是Ubuntu系统,下面的yum命令要换成apt-get命令.yum remove -> apt-get purgeyum list installed | grep -> sudo apt-cache search all | grep * yum的参数-y是过程中所有提示都自动选yes. 一.停止服务ambari-agent stopambari-server stop 二.删除主组件yum remove ambari-agentyum remove ambari-server 三