cloudera分为两个部分:CDH和CM。CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera公司发布的Hadoop版本,封装了Apache Hadoop,提供Hadoop所有的服务,包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等。CM是cloudera manager的简称,是CDH的管理平台,主要包括CM server, CM agent。通过CM可以对CDH进行配置,监测,报警,log查看,动态添加删除各种服务等。
cloudera有两种可安装版本:
cloudera express(免费版):包含CDH和CM,CM支持端到端Hadoop admin以及部署,管理和监控cluster。
cloudera Enterprise (企业版) : 企业版又分为两种,一种为六十天免费试用版,试用期结束后如果没有license,自动降为express版本。另一种即为需要license的付费版。企业版除了包括express版的所有功能外,还额外包含Configuration历史记录及回退,滚动升级,LDAP集成,SNMP支持, disaster自动恢复等功能。
cloudera的安装,主要指CM的安装,在CM安装启动成功后,就可以通过CM server提供的界面,非常简单的安装CDH的各种组件了。
CM server安装在集群的外部,主要用于run service monitor,存储cluster配置信息,向agent分发各种配置命令和消息。
CM agent安装在cluster的每一台机器上,主要用于接收CM server的指令update本机,启动和停止本机的各种服务以及heartbeat status收集并发送给server。
CM的安装主要分为4个步骤:
1.在CM server打算安装的机器预先安装mysql作为database,也可以使用CM自带的PostgreSQL。安装cloudera提供的JDK,采用一般的JDK可能会有路径找不到的问题。
2.确保server能access cloudera software repositories.
3.安装Cloudera Manager server和Agent.
4.安装CDH Parcel提供的services:HDFS,YARN...
CM 5支持的OS种类及版本:
- Red Hat Enterprise Linux/Centos 5.7, 6.4, 6.5, 6.6
- Oracle Enterprise Linux 5.6, 6.4, 6.5, 6.6
- SUSE Linux Enterprise Server 11 Service Pack 2 or later
- Debian 7.0, 7.1
- Ubuntu 12.04, 14.04
CM 5需要的基本library:
Supported JDKs
Oracle JDK 1.7.0_55, 1.7.0_67 or higher, 1.8.0_40 or higher
Supported databases:
- MySQL 5.5 and 5.6
- Oracle 11g Release 2
- PostgreSQL 8.4, 9.2, and 9.3
安装包下载地址:
Package distribution:http://archive.cloudera.com/cm5/
Binary distribution:http://www.cloudera.com/downloads