CDH使用秘籍(二):cloudera Manager中监控数据的存储

概述

上一篇文章分析了cloudera manager中监控数据、中心数据的存储方式,怎样配置外部表等。这一篇文章进一步分析监控数据的存储,配置,调优等。

Service Monitor 和 Host Monitor 角色在cloudera
manager中存储了时间序列、健康数据、Impla查询和Yarn应用的元数据。经过查看相应的Cloudera Manager的存储连接,发现Service
Monitor和Host Monitor的存储使用的是levelDB的解析类,由此可以推断出本地存储使用的是levelDB。LevelDB可以说是key-value的数据库的鼻祖,读写效率特别高,并发也很大,而Cloudera
Manager的监控的读写数据特别多、频繁。这也可能是Cloudera Manager5选择使用levelDB替换关系数据库的原因。

监控数据在Cloudera Manager升级中的迁移

Cloudera Manager 5 存储Host Monitor 和 Service
Monitor数据到本地数据库。如果使用自动化升级配置从Cloudera Manager 4 升级到 5,数据会从Cloudera manager 4 中的内嵌数据库或者外部数据库中自动迁移到Cloudera
Manger5中的本地数据库中。这是一个自动化执行的过程中,中间可以查看迁移过程的日志等。

Service Monitor 数据存储的配置

Service Monitor存储了时间序列和健康数据,Impla查询的元数据,Yarn应用的元数据。默认情况下,数据时存储在/var/lib/cloudera-service-monitor/目录下,你也可以修改Service
Monitor Storage Directory 配置firehose.storage.base.directory。

You can control how much disk space to reserve for the different classes of data the Service Monitor stores by changing the following
configuration options:

Time-series metrics and health data - Time-Series Storage (firehose_time_series_storage_bytes - 10 GB default)

Impala query metadata - Impala Storage (firehose_impala_storage_bytes - 1 GB default)

YARN application metadata - YARN Storage (firehose_yarn_storage_bytes - 1 GB default)

Host Monitor 数据存储的配置

Host Monitor存储了时间序列和健康数据。默认情况下,数据存储在/var/lib/cloudera-host-monitor/目录下,你也可以修改Host
Monitor Storage Directory 配置。

You can control how much disk space to reserve for Host Monitor data by changing the following configuration option:

Time-series metrics and health data: Time Series Storage (firehose_time_series_storage_bytes - 10 GB default)

数据粒度和时间序列指标数据

Service Monitor 和 Host Monitor使用很多方式存储时间序列指标数据。数据会不断的被汇总成不同的粒度,比如每一个小时,会把数据的平均值,最小值,最大值汇总成一个小时为粒度的数据,每6个小时,会汇总成6个小时的数据。每天、每个星期等。这种方式只会汇总指标数据。Impla的查询和Yarn应用的监控数据当接近限制时,会删除旧的数据。

当存储快达到限制时,会先删除粒度最细的数据,保证存储空间的释放。比如会先删除小时为粒度的数据,其次是以天微粒度的数据。

Moving
Monitoring Data on an Active Cluster

Host
Monitor and Service Monitor Memory Configuration

原创文章,欢迎转载,转载请标明出处  http://blog.csdn.net/shifenglov/article/details/41281399

时间: 2024-10-03 23:01:16

CDH使用秘籍(二):cloudera Manager中监控数据的存储的相关文章

Chrome扩展开发之三——Chrome扩展中的数据本地存储和下载

目录: 0.Chrome扩展开发(Gmail附件管理助手)系列之〇——概述 1.Chrome扩展开发之一——Chrome扩展的文件结构 2.Chrome扩展开发之二——Chrome扩展中脚本的运行机制和通信方式 3.Chrome扩展开发之三——Chrome扩展中的数据本地存储和下载 4.Chrome扩展开发之四——Gmail API的简单介绍 5.Chrome扩展开发之五——OAuth2的理解 6.Chrome扩展开发之六——GmailAssist核心功能的实现(包括Gmail API的使用中的

安装Cloudera Manager中需要注意的问题

环境:centos6.5 查看Cloudera Manager官方安装文档,注意版本一定要对应上 在官网下载安装需要的依赖包 Installation failed. Failed to receive heartbeat from agent. Ensure that the host's hostname is configured properly.     Ensure that port 7182 is accessible on the Cloudera Manager Server

jQuery写省级联动列表,创造二维数组,以及如何存/调用二维数组中的数据

jQuery写省级联动列表,创造二维数组来存放数据,然后通过each来遍历调用,通过creatTxtNode创建文本节点,通过createElement创建标签option,在通过append将文本写入option,再通过appendTo将文本追加到id为city的市级列表中 代码如下: jquery部分: 1 <script src="js/jquery-1.8.3.js" type="text/javascript" charset="utf-8

iOS中的数据的存储方式

Plist(NSArry\NSDictionary) Preference(偏好设置\NSUserDefaults NSCoding(NSKeyedArchiver\NSkeyedUnarchiver) SQLite3 Core Data SQLite3 什么是SQLiteSQLite是一款轻型的嵌入式数据库它占用资源非常的低,在嵌入式设备中,可能只需要几百K的内存就够了它的处理速度比Mysql.PostgreSQL这两款著名的数据库都还快 什么是数据库数据库(Database)是按照数据结构来

如何在QML应用中动态修改ListModel中的数据并存储它为JSON格式

我们知道JSON数据格式被广泛使用在很多的应用中,它可以帮我们保存我们应用的设置数据等.在QML中的ListView或GridView中,我们使用ListModel来显示它里面的数据.这个数据可以来源于xml或JSON.在ListView或GridView中,我们也可以动态修改ListModel中的数据.那么我们将如何保存这个数据呢?本篇文章也同样适用于xml格式的保存.这个练习就留个开发者自己了.当然保存ListModel中的数据也可以使用到SQLite数据库.这个因人而已! 为了方便我们的设

Android笔记(四十二) Android中的数据存储——SQLite(四)update

update方法的四个参数: update()方法参数 对应的sql部分 描述 table update table_name 更新的表名 values set column=xxx ContentValues whereClause where column 修改条件 whereArgs where column = xx 修改条件的参数 看代码: MainActivity.java package cn.lixyz.sqlite; import android.app.Activity; i

CDH秘籍(两):cloudera Manager存储监控数据

概述 上一篇文章分析了cloudera manager中监控数据.中心数据的存储方式,如何配置外部表等.这一篇文章进一步分析监控数据的存储,配置,调优等. Service Monitor 和 Host Monitor 角色在cloudera manager中存储了时间序列.健康数据.Impla查询和Yarn应用的元数据.经过查看对应的Cloudera Manager的存储连接,发现Service Monitor和Host Monitor的存储使用的是levelDB的解析类,由此能够判断出本地存储

CDH使用秘籍(一):Cloudera Manager和Managed Service的数据库

背景 从业务发展需求,大数据平台须要使用spark作为机器学习.数据挖掘.实时计算等工作,所以决定使用Cloudera Manager5.2.0版本号和CDH5. 曾经搭建过Cloudera Manager4.8.2和CDH4,在搭建Cloudera Manager5.2.0版本号的时候,发现对应的Service Host Monitor 和 Service Monitor不能配置外部表,刚开是还以为是配置出错,后来才发现应该是新版本号的Cloudera的存储改变方式了.查了非常多文档,果然发现

卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译】

问题导读: 1.不同的安装方式,卸载方法存在什么区别?2.不同的操作系统,卸载 Cloudera Manager Server and 数据库有什么区别? 重新安装不完整如果你来到这里,因为你的安装没有完成(例如,如果它是由一个虚拟机超时中断),和你想继续安装,然后重新安装,做到以下几点:删除文件和目录: 个人建议:这一步虽然是官网这么做,但是下面命令还是不要执行,因为我们后面还会用到下面命令 /usr/share/cmf/uninstall-cloudera-manager.sh 复制代码 当