CDH使用秘籍(一):Cloudera Manager和Managed Service的数据库

背景

从业务发展需求,大数据平台须要使用spark作为机器学习、数据挖掘、实时计算等工作,所以决定使用Cloudera Manager5.2.0版本号和CDH5。

曾经搭建过Cloudera Manager4.8.2和CDH4,在搭建Cloudera Manager5.2.0版本号的时候,发现对应的Service Host Monitor 和 Service Monitor不能配置外部表,刚开是还以为是配置出错,后来才发现应该是新版本号的Cloudera的存储改变方式了。查了非常多文档,果然发现,新版本号中Service
Host Monitor 和 ServicMonitore 不须要配置数据库,默认使用内置存储方式。而且不能改动。

概述

Cloudera Manager uses databases to store information about the Cloudera Manager configuration, as well as information such as the health of the system or task progress. For quick, simple installations,
Cloudera Manager can install and configure an embedded PostgreSQL database as part of the Cloudera Manager installation process. In addition, some CDH services use databases and are automatically configured to use a default database. If you plan to use the
embedded and default databases provided during the Cloudera Manager installation, see Installation Path A - Automated Installation by Cloudera Manager.

Although the embedded database is useful for getting started quickly, you can also use your own PostgreSQL, MySQL, or Oracle database for
the Cloudera Manager Server and services that use databases.

须要的数据库

The Cloudera
Manager Server, Activity Monitor, Reports Manager, Hive Metastore, Sentry Server, Cloudera Navigator Audit Server,
and Cloudera Navigator Metadata Server all
require databases. The type of data contained in the databases and their estimated sizes are as follows:

  • Cloudera Manager - Contains all the information about services you have configured and their role assignments, all configuration history, commands, users, and running processes. This relatively small database (<100 MB) is
    the most important to back up.
  • Activity Monitor - Contains information about past activities. In large clusters, this database can grow large. Configuring an Activity Monitor database is only necessary if a MapReduce service is deployed.
  • Reports Manager - Tracks disk utilization and processing activities over time. Medium-sized.
  • Hive Metastore - Contains Hive metadata. Relatively small.
  • Sentry Server - Contains authorization metadata. Relatively small.
  • Cloudera Navigator Audit Server - Contains auditing information. In large clusters, this database can grow large.
  • Cloudera Navigator Metadata Server - Contains authorization, policies, and audit report metadata. Relatively small.

The Cloudera Manager Service Host Monitor and Service Monitor roles have an internal
datastore. (注意。就是此处说明了, Host Monitor and Service Monitor在CM5版本号中,不能配置外部表,仅仅能使用内置表。

与CM4版本号有差别)

Cloudera Manager 提供三种不同的安装方式,方法A是自己主动化安装。方法B和C是使用rpm或tar手动安装:

  • Path A automatically installs an embedded PostgreSQL database to meet the requirements of the services. This path reduces the number of installation tasks to complete and choices to make. In Path A you can optionally choose
    to create external databases forActivity Monitor, Reports Manager, Hive Metastore, Sentry Server, Cloudera Navigator Audit Server, and Cloudera Navigator Metadata Server.
  • Path B and Path C require you to create databases for the Cloudera Manager Server, Activity Monitor, Reports Manager, Hive Metastore, Sentry Server, Cloudera Navigator Audit Server, and Cloudera Navigator Metadata Server.

使用外部数据库须要很多其它的输入以及相关工作,可是cloudera提供了很多其它的兼容性和扩展性,让你能够弹性的选择数据库和配置。

当然能够在一套系统中安装多种不同的数据库。可是这样会带来非常多不确定的因素。所以cloudera建议始终使用同一种数据库。

在非常多样例中,你须要将对应的service与database安装到同一台机器上,能够减小网络IO。提高总体效率。

当然,你也能够将service和database分开安装到不同的机器上。在大型部署中或者database管理员须要这种配置,比方这种场景,Oracle DBA须要独立的管理database。

搭建数据库的配置參考官网。有具体配置步骤:

搭建Cloudera
Manager Server数据库

为Activity
Monitor, Reports Manager, Hive Metastore, Sentry Server, Cloudera Navigator Audit Server, and Cloudera Navigator Metadata Server搭建外部数据库

为Hue。Oozie搭建外部数据库

下一篇文章中,我将具体介绍Cloudera Manager中database的存储机制。如何配置,调优等。

原创文章。欢迎转载,转载请标明出处

时间: 2024-08-28 12:47:41

CDH使用秘籍(一):Cloudera Manager和Managed Service的数据库的相关文章

Uninstalling Cloudera Manager and CDH in SLES

一.如果在安装过程中因为某些原因没有正常完成安装,你想重新继续安装. 执行: 1.删除文件和目录 rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera* 2.重新启用安装程序 二.如果你想彻底卸载Cloudera Manager 和 CDH 软件和数据. 执行以下步骤: 1.卸载Cloudera Manager 和 CDH 软件 2.删除Cloudera Manager 和 CDH 数据 1.卸载Cloudera Man

卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译】

问题导读: 1.不同的安装方式,卸载方法存在什么区别?2.不同的操作系统,卸载 Cloudera Manager Server and 数据库有什么区别? 重新安装不完整如果你来到这里,因为你的安装没有完成(例如,如果它是由一个虚拟机超时中断),和你想继续安装,然后重新安装,做到以下几点:删除文件和目录: 个人建议:这一步虽然是官网这么做,但是下面命令还是不要执行,因为我们后面还会用到下面命令 /usr/share/cmf/uninstall-cloudera-manager.sh 复制代码 当

0007-如何迁移Cloudera Manager节点

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看. 1.概述 本文档讲述如何将Cloudera Manager在Kerberos环境下迁移至新的CM节点.通过本文档,您将学习到以下知识: 1.如何迁移Cloudera Manager节点 2.如何迁移MySQL元数据库 3.如何迁移Kerberos MIT KDC 文档主要分为以下几步: 1.准备Cloudera Manager新节点 2.MariaDB数据库迁移(可选) 3.迁移Kerberos MIT KDC(可选) 4.将原CM

CDH使用秘籍(二):cloudera Manager中监控数据的存储

概述 上一篇文章分析了cloudera manager中监控数据.中心数据的存储方式,怎样配置外部表等.这一篇文章进一步分析监控数据的存储,配置,调优等. Service Monitor 和 Host Monitor 角色在cloudera manager中存储了时间序列.健康数据.Impla查询和Yarn应用的元数据.经过查看相应的Cloudera Manager的存储连接,发现Service Monitor和Host Monitor的存储使用的是levelDB的解析类,由此可以推断出本地存储

CDH秘籍(两):cloudera Manager存储监控数据

概述 上一篇文章分析了cloudera manager中监控数据.中心数据的存储方式,如何配置外部表等.这一篇文章进一步分析监控数据的存储,配置,调优等. Service Monitor 和 Host Monitor 角色在cloudera manager中存储了时间序列.健康数据.Impla查询和Yarn应用的元数据.经过查看对应的Cloudera Manager的存储连接,发现Service Monitor和Host Monitor的存储使用的是levelDB的解析类,由此能够判断出本地存储

离线部署 Cloudera Manager 5 和 CDH 5.12.1 及使用 CDH 部署 Hadoop 集群服务

Cloudera Manager Cloudera Manager 分为两个部分:CDH和CM. CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera公司发布的Hadoop版本,封装了Apache Hadoop,提供Hadoop所有的服务,包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等. CM是cloudera manager的简称,是CDH的管理平台,主要

CDH 2、Cloudera Manager的安装

1.Cloudera Manager • Cloudera Manager是一个管理CDH的端到端的应用. • 作用: – 管理 – 监控 – 诊断 – 集成 • 架构 • Server – 管理控制台服务器和应用程序逻辑 – 负责软件安装.配置,启动和停止服务 – 管理服务运行的群集 • Agent – 安装在每台主机上 – 负责启动和停止进程,配置,监控主机 • Management Service – 由一组角色组成的服务,执行各种监视.报警和报告功能 • Database • Cloud

转Cloudera Manager 和 CDH 4 终极安装

系统环境 操作系统:CentOS 6.5 Cloudera Manager 版本:4.8.1 CDH版本:4.5.0 各机器准备工作: yum -y groupinstall "Development tools" yum -y install wget  Cloudera-manager压缩包地址:    http://archive.cloudera.com/cm4/cm/4/cloudera-manager-el6-cm4.8.1_x86_64.tar.gz CDH 下载地址:

Cloudera Manager、CDH零基础入门、线路指导 http://www.aboutyun.com/thread-9219-1-1.html (出处: about云开发)

Cloudera Manager.CDH零基础入门.线路指导http://www.aboutyun.com/thread-9219-1-1.html(出处: about云开发) 问题导读:1.什么是cloudera CM .CDH?2.CDH.CM有哪些版本?3.CDH.CM有哪些安装方式?4.CDH如何开发? <ignore_js_op> 我们知道cloudera CDH 是为简化hadoop的安装,也对对hadoop做了一些封装.那么我们就像尝试学习cloudera.cloudera本质h