cloudera简介及安装

cloudera分为两个部分:CDH和CM。CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera公司发布的Hadoop版本,封装了Apache Hadoop,提供Hadoop所有的服务,包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等。CM是cloudera manager的简称,是CDH的管理平台,主要包括CM server, CM agent。通过CM可以对CDH进行配置,监测,报警,log查看,动态添加删除各种服务等。

cloudera有两种可安装版本:

cloudera express(免费版):包含CDH和CM,CM支持端到端Hadoop admin以及部署,管理和监控cluster。

cloudera Enterprise (企业版) : 企业版又分为两种,一种为六十天免费试用版,试用期结束后如果没有license,自动降为express版本。另一种即为需要license的付费版。企业版除了包括express版的所有功能外,还额外包含Configuration历史记录及回退,滚动升级,LDAP集成,SNMP支持, disaster自动恢复等功能。

cloudera的安装,主要指CM的安装,在CM安装启动成功后,就可以通过CM server提供的界面,非常简单的安装CDH的各种组件了。

CM server安装在集群的外部,主要用于run service monitor,存储cluster配置信息,向agent分发各种配置命令和消息。

CM agent安装在cluster的每一台机器上,主要用于接收CM server的指令update本机,启动和停止本机的各种服务以及heartbeat status收集并发送给server。

CM的安装主要分为4个步骤:

1.在CM server打算安装的机器预先安装mysql作为database,也可以使用CM自带的PostgreSQL。安装cloudera提供的JDK,采用一般的JDK可能会有路径找不到的问题。

2.确保server能access cloudera software repositories.

3.安装Cloudera Manager server和Agent.

4.安装CDH Parcel提供的services:HDFS,YARN...

CM 5支持的OS种类及版本:

  • Red Hat Enterprise Linux/Centos 5.7, 6.4, 6.5, 6.6
  • Oracle Enterprise Linux 5.6, 6.4, 6.5, 6.6
  • SUSE Linux Enterprise Server 11 Service Pack 2 or later
  • Debian 7.0, 7.1
  • Ubuntu 12.04, 14.04

CM 5需要的基本library:

Supported JDKs
Oracle JDK 1.7.0_55, 1.7.0_67 or higher, 1.8.0_40 or higher

Supported databases:

  • MySQL 5.5 and 5.6
  • Oracle 11g Release 2
  • PostgreSQL 8.4, 9.2, and 9.3

安装包下载地址:

Package distribution:http://archive.cloudera.com/cm5/ 

Binary distribution:http://www.cloudera.com/downloads 

时间: 2024-08-08 18:36:59

cloudera简介及安装的相关文章

Cloudera impala简介及安装详解

一.Impala简介 Cloudera Impala对你存储在Apache Hadoop在HDFS,HBase的数据提供直接查询互动的SQL.除了像Hive使用相同的统一存储平台,Impala也使用相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue Beeswax).Impala还提供了一个熟悉的面向批量或实时查询和统一平台. 二.Impala安装 1.安装要求 (1)软件要求 Red Hat Enterprise Linux (RHEL)/CentOS 6.2 (

Ubuntu下部分软件的简介及其安装步骤

1.安装linux摄像头应用软件cheese sudo apt-get install cheese 2.Ubuntu Tweak    Ubuntu Tweak是一款专门为Ubuntu(GNOME桌面)准备的配置.调整工具.主要面向新手级的普通用户.它可以设置很多并不能在系统首选项中设置的隐藏选项,以满足用户自定义的乐趣.即使是新手,也可以方便地通过它来进行适合自己的系统调整.    安装命令:    第一步:添加tweak源 sudo add-apt-repository ppa:tuala

Node.js【4】简介、安装和配置、快速入门

笔记来自<Node.js开发指南>BYVoid编著 第1章 Node.js简介 Node.js是一个让JavaScript运行在服务端的开发平台,它让JavaScript成为脚本语言世界的一等公民,在服务端堪与PHP.Python.Perl.Ruby平起平坐. Node.js可以作为服务器向用户提供服务,与PHP.Python.RubyonRails相比,它跳过了Apache.Nginx等HTTP服务器,直接面向前端开发. Node.js还可以调用C/C++的代码,这样可以充分利用已有的诸多函

Mahout学习之Mahout简介、安装、配置、入门程序测试

一.Mahout简介 查了Mahout的中文意思--驭象的人,再看看Mahout的logo,好吧,想和小黄象happy地玩耍,得顺便陪陪这位驭象人耍耍了... 附logo: (就是他,骑在象头上的那个Mahout) 步入正文啦: Mahout 是一个很强大的数据挖掘工具,是一个分布式机器学习算法的集合,包括:被称为Taste的分布式协同过滤的实现.分类.聚类等.Mahout最大的优点就是基于hadoop实现,把很多以前运行于单机上的算法,转化为了MapReduce模式,这样大大提升了算法可处理的

Grant简介以及安装

Grant简介以及安装 1.   安装Grunt-cli需要使用npm,全局安装  命令:npm install –g grunt-cli(可能会涉及权限问题) 注意,安装grunt-cli并不等于安装了 Grunt!Grunt CLI的任务很简单:调用与Gruntfile在同一目录中 Grunt. 这样带来的好处是,允许你在同一个系统上同时安装多个版本的 Grunt. 这样就能让多个版本的 Grunt 同时安装在同一台机器上. npm时node.js的包管理工具( Grunt基于Node.js

CAS系列:CAS Server简介与安装

CAS是什么? JA-SIG CAS 是一个企业级的.开源的基于Java2EE的SSO解决方案.它有多种用不同语言编写的客户端.CAS是由耶鲁大学(Yale)开发. CAS Server版本与Java版本 CAS 3.1 要部署CAS3.1,至少得JDK1.5 . On the Windows PC, building CAS has been tested with the following: JDK 1.5.0_8 and higher JDK 1.6 and higher On Linu

Git 学习笔记&lt;简介与安装&gt; (一)

Git,开源中国以及GitHub所使用的系统, Is A 一个分布式版本控制系统 Be Used to 为团队合作写代码提供方便的管理系统.几乎满足你所有关于合作写代码的幻想. Has 本地端:工作区.版本库 (版本库还含有一个暂存区) 远程仓库:版本库(用来储存版本库的服务器) How To Install Linux: 首先,先输入git,看看是否安装Git: $ gitThe program 'git' is currently not installed. You can install

redis简介及安装

1 redis简介及安装 1.1 Redis是什么 REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统. 首先需要了解,Redis的一些数据结构,包括 lists, sets, ordered sets 以及 hashes . Redis常被称作是一款数据结构服务器(data structure server).Redis的键值可以包括字符串(strings)类型,同时它还包括哈希(hashes).列表(

ADFS 2.0 配置简介 PartⅠ – 安装ADFS

    Active Directory Federation Service 也即联盟身份认证服务是微软的单点登录解决方案 (SSO),配置步骤相当多,中文资料也比较少,写在这里希望对后来人有所帮助,语言使用的是中文系统,实际上使用英文可能部署起来更容易些,因为感觉翻译不是很好. 一些术语 Active Directory (AD)    活动目录,以目录的形式抽象管理服务器上的资源.用户.计算机等等,Windows Server 自带. Domain        计算机域,是比工作组更优秀