Cloudera Manager (centos)安装详细介绍

文章全部来自:Cloudera Manager (centos)安装详细介绍
http://www.aboutyun.com/thread-9190-1-1.html
(出处: about云开发)

这里已经有很多关于CDH的文章,此篇虽然不是把所有的问题都描述了。但是整体的过程还算描述的比较清楚。
问题导读: 1.安装需要做哪些准备? 2.如何安装CM? 3.如何通过CM安装CDH? 4.CM及CDH安装的过程都包含什么?

相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识

目 录

1           准备工作...........................................................................................................................................3 1.1       说明...............................................................................................................................................3 1.2       集群网络环境介绍..........................................................................................................................3 2           环境搭建...........................................................................................................................................5 2.1       设置IP...........................................................................................................................................5 2.2       设置hosts......................................................................................................................................5 2.3       关闭防火墙....................................................................................................................................6 2.4       关闭SElinux....................................................................................................................................8 2.5       设置机器名....................................................................................................................................8 3           ClouderaManager安装................................................................................................................... 11 3.1       下载Cloudera Manager安装文件................................................................................................... 11 3.2       下载Cloudera Manager所需的rpm包............................................................................................ 11 3.3       安装rpm文件............................................................................................................................... 11 3.4       安装CM....................................................................................................................................... 11 3.5       登录CM....................................................................................................................................... 12 4           ClouderaManager配置及本地源配置.............................................................................................. 13 4.1       配置config.ini文件........................................................................................................................ 13 4.2       配置本地源.................................................................................................................................. 14 5           Hadoop及其组件安装......................................................................................................................17 5.1       选择Cloudera版本........................................................................................................................ 17 5.2       选中受管理的主机........................................................................................................................ 17 5.3       选择安装方式(Cloudera推荐使用Parcel)................................................................................... 18 5.4       把Parcel分配到主机..................................................................................................................... 18 5.5       选择服务...................................................................................................................................... 19 5.6       测试数据库连接........................................................................................................................... 20 5.7       等待所有服务启动........................................................................................................................ 20
6           向集群增加节点............................................................................................................................... 22 6.1       添加主机...................................................................................................................................... 22 6.2       输入IP或主机名........................................................................................................................... 23 6.3       提供SSH登录凭据........................................................................................................................ 24 6.4       安装............................................................................................................................................. 24

使用Cloudera Manager安装Hadoop

运行环境软硬件环境l  主机操作系统:Windows 64 bit,双核4线程,主频2.2G,8G内存 l  虚拟软件:VMware®Workstation 9.0.0 build-812388 l  虚拟机操作系统:CentOs 64bit,单核,2G内存 l  JDK:1.7.0_45 64 bit l  Hadoop:2.2.0

集群网络环境集群包含三个节点:1个namenode,1个datanode,节点之间局域网连接,可以相互ping通。节点IP地址和主机名分布如下: l  192.168.188.141  hadoo1 (namenode)) l  192.168.188.139  hadoo2 (datanode01) l  192.168.188.140  hadoo3 (datanode03) 所有节点均是CentOS系统,防火墙iptables均禁用
环境搭建 本集群分为三个节点,先安装节点hadoop1(192.168.188.141),完成2.1~2.6步骤后,在步骤2.7中复制虚拟机并命名为hadoop2(192.168.188.139)和hadoop3(192.168.188.140)。
设置IP1.    点击System-->Preferences-->Network Connections,如下图所示:
<ignore_js_op>

1.png (213.99 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

2.    删除原来的连接信息,新建一个“”连接,设置该连接为手工方式,设置如下信息:

IP地址: 10.88.147.221

子网掩码: 255.255.255.0

网关:     10.88.147.1

DNS:    10.*.*.* (使用DNS上网需要设置)

<ignore_js_op>

2.png (165.97 KB, 下载次数: 3)

下载附件  保存到相册

2014-9-16 17:06 上传

3.    在命令行中查看设置的IP地址信息,如果不能够正确可以在执行2.5重启机器后再次确认:
<ignore_js_op>

3.png (57.31 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

设置Host文件1.    编辑/etc/hosts文件,设置IP地址与机器名的映射,设置信息如下: l     10.88.147.141 hadoop1.localdomain l    10.88.147.139 hadoop2.localdomain l    10.88.147.140 hadoop2.localdomain
<ignore_js_op>

4.png (20.47 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

2.    使用如下命令对网络设置进行重启

sudo /etc/init.d/network restart

3.    验证设置是否成功 <ignore_js_op>

5.png (30.25 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

关闭防火墙 在Hadoop安装过程中需要关闭防火墙和SElinux,否则会异常
1.    service iptables status 查看防火墙状态,如下所示表示iptables已经开启 <ignore_js_op>

6.png (46.07 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

2.    使用如下命令关闭iptables,执行该命令后重启机器生效

chkconfig iptables off

关闭SElinux1.    使用getenforce命令查看是否关闭
<ignore_js_op>

7.png (16.03 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

2.    修改/etc/selinux/config 文件 将SELINUX=enforcing改为SELINUX=disabled,执行该命令后重启机器生效
<ignore_js_op>

8.png (38.67 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

设置机器名以root用户登录,使用 vi/etc/sysconfig/network 打开配置文件,修改主机名称为hadoop1

<ignore_js_op>

9.png (14.47 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

复制虚拟机关闭机器,复制当前节点两份,分别命名为:hadoop2和hadoop3
SSH无密码验证配置(这一步可省略) 3.    在三个节点中使用ssh-keygen -t rsa生成私钥和公钥;
<ignore_js_op>

10.png (53.72 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:06 上传

4.    在三个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3;
<ignore_js_op>

11.jpg (21.61 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

5.    把两个从节点的公钥使用scp authorized_keys_hadoop2 [email protected]:/home/jan/.ssh 命令传送到hadoop1节点的/home/jan/.ssh文件夹中;
<ignore_js_op>

12.png (45.94 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

<ignore_js_op>

13.png (34.79 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:06 上传

6.    把三个节点的公钥信息保存到authorized_key文件中
使用cat authorized_keys_hadoop1 >> authorized_keys命令
<ignore_js_op>

14.png (78.62 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:06 上传

7.    把该文件分发到其他两个从节点上 使用scp authorized_keys [email protected]:/home/jan/.ssh把密码文件分发出去
<ignore_js_op>

15.png (65.84 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:06 上传

<ignore_js_op>

16.png (36.32 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

8.    测试ssh免密码登录是否生效
<ignore_js_op>

17.png (54.92 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:07 上传

Cloudera Manager安装 下载Cloudera Manager安装文件

Cloudera Manager的可以从如下网址获得:

http://archive.cloudera.com/cm5/installer/

这里选择Cloudera Manager 最新版5.0.1

http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

下载Cloudera Manager所需的rpm包

下载网址为:

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.0.1/RPMS/x86_64/

安装rpm文件 l 将下载的rpm包放入文件夹rpm(文件夹名随意) l cd  ./rpm(进入rpm目录) l yum localinstall –-nogpgcheck  *.rpm(安装rpm包)
3.4 安装rpm文件l 进入cloudera-manager-installer.bin的下载目录 l chmod u+x cloudera-manager-installer.bin(给下载的bin文件权限) l 执行 ./cloudera-manager-installer.bin(大约十分钟左右)
3.5登录CM浏览器输入localhost:7180初次登录 用户名:admin 密码:admin
<ignore_js_op>

18.png (32.94 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

Cloudera Manager文件配置及本地源配置 配置config.ini文件 修改主机名 修改前为:localhost   修改后为:localhost.localdomain
<ignore_js_op>

19.png (48.64 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:07 上传

本地源配置

Parcel的可以从如下网址获得,下载.parcel文件和manifest.json文件:

http://archive.cloudera.com/cdh5/parcels/5.0.1/

因为这里用的是CentOS6.5,所以选择CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel

http://archive.cloudera.com/cdh5/parcels/5.0.1/CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel

注意:Parcel文件对应不同的系统版本

CentOS 6.X对应CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel

CentOS 5.X对应CDH-5.0.1-1.cdh5.0.1.p0.47-el5.parcel

l  把以下载的.parcel文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下 l  新建文件命名为:CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha l  打开manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号,并拷贝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中
以下是manifest.json中CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号,这里是:ec68971d2969a5a31e720a2a79ce7a7c1d38e397

{

"parcelName":"CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel",

"components": [

{

"pkg_version": "0.7.0+cdh5.0.1+0",

"pkg_release": "1.cdh5.0.1.p0.30",

"name": "bigtop-tomcat",

"version": "6.0.37-cdh5.0.1"

},

{

"pkg_version": "0.9.0+cdh5.0.1+23",

"pkg_release":"1.cdh5.0.1.p0.25",

"name": "crunch",

"version": "0.9.0-cdh5.0.1"

},

.........

{

"pkg_version": "0.9.0+cdh5.0.1+8",

"pkg_release": "1.cdh5.0.1.p0.25",

"name": "whirr",

"version": "0.9.0-cdh5.0.1"

},

{

"pkg_version": "3.4.5+cdh5.0.1+30",

"pkg_release":"1.cdh5.0.1.p0.31",

"name": "zookeeper",

"version": "3.4.5-cdh5.0.1"

}

],

"replaces": "IMPALA, SOLR, SPARK",

"hash":"ec68971d2969a5a31e720a2a79ce7a7c1d38e397"

}

l  现在本地源已配好,总之parcel-repo文件中包含一下三个文件: CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha Manifest.json
l  重启系统
Hadoop及其组件安装选择Cloudera版本

<ignore_js_op>

20.png (116.13 KB, 下载次数: 4)

下载附件  保存到相册

2014-9-16 17:07 上传

选中受管理的主机 <ignore_js_op>

21.png (150.82 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

选择安装方式(Cloudera推荐使用Parcel)
<ignore_js_op>

22.png (95.56 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

把Parcel分配到主机 <ignore_js_op>

23.png (50.38 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

<ignore_js_op>

24.png (52.74 KB, 下载次数: 0)

下载附件  保存到相册

2014-9-16 17:07 上传

添加服务 <ignore_js_op>

25.png (204.92 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

测试数据库连接 <ignore_js_op>

26.png (89.17 KB, 下载次数: 4)

下载附件  保存到相册

2014-9-16 17:07 上传

等待所有服务开启等待所有服务开启,时间可能会有点长
<ignore_js_op>

27.png (88.87 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

<ignore_js_op>

28.png (151.91 KB, 下载次数: 5)

下载附件  保存到相册

2014-9-16 17:07 上传

向集群增加节点增加主机
<ignore_js_op>

29.png (122.26 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

输入IP或主机名 <ignore_js_op>

30.png (66.56 KB, 下载次数: 3)

下载附件  保存到相册

2014-9-16 17:07 上传

<ignore_js_op>

31.png (91.02 KB, 下载次数: 4)

下载附件  保存到相册

2014-9-16 17:07 上传

提供SSH登录凭据
<ignore_js_op>

32.png (91.05 KB, 下载次数: 2)

下载附件  保存到相册

2014-9-16 17:07 上传

安装 <ignore_js_op>

33.png (60.04 KB, 下载次数: 1)

下载附件  保存到相册

2014-9-16 17:07 上传

注:本资料所有省略界面,直接点击继续即可

时间: 2024-08-11 01:16:21

Cloudera Manager (centos)安装详细介绍的相关文章

[How to]Cloudera manager 离线安装手册

1.简介 本文介绍在离线环境下安装Cloudera manager和简单使用方法 2.环境 OS:CentOS 6.7 Cloudera manager版本:5.5.1 CDH版本:5.4.2 安装用户:root 资源: 10.211.55.16 xufeng-1 CM主节点,CM代理节点 10.211.55.17 xufeng-2 CM代理节点 10.211.55.18 xufeng-3 CM代理节点 3.介质准备 由于是要求在离线环境下进行安装,所以我们必须是先下载好安装所需要的所有介质.

CentOS 安装程序介绍

(一).引导菜单 使用 UEFI 引导 Install CentOS Linux 7 选择此选项开始在你的计算机系统中使用图形安装程序安装 CentOS 7 Test this media & install CentOS Linux 7.0 这是默认选项,将在启动安装程序前会启动一个程序检查安装介质的完整性 Troubleshooting --> 这个项目是一个独立菜单,包含的选项可帮助您解决各种安装问题,进入子菜单后 Install CentOS Linux 7 in basic gra

CDH 2、Cloudera Manager的安装

1.Cloudera Manager • Cloudera Manager是一个管理CDH的端到端的应用. • 作用: – 管理 – 监控 – 诊断 – 集成 • 架构 • Server – 管理控制台服务器和应用程序逻辑 – 负责软件安装.配置,启动和停止服务 – 管理服务运行的群集 • Agent – 安装在每台主机上 – 负责启动和停止进程,配置,监控主机 • Management Service – 由一组角色组成的服务,执行各种监视.报警和报告功能 • Database • Cloud

Hadoop2.X版本伪分布式安装详细介绍【非抄袭,原创!】

网上hadoop单节点安装文章真是一搜一大堆,可以这样说,全是垃圾,那些博主也不知道自己安装过没有..反正就一堆的copy,我实在看不下去了.必须把我总结的写出来,如果你有任何问题随时联系我! E-Mail: [email protected] 下面我以2.2.0为例子!注意这是单节点!!伪分布式!!不喜勿看 Hadoop2.2.0(Yarn)安装详细过程 一.运行一个单机版模式的hadoop伪分布式平台 1.软件环境 1.操作系统: 由于linux的开源性.安全性等因素现有的hadoop集群多

Go语言环境安装详细介绍

工具链介绍 go有两套编译工具链,分别是从plant9移植过来的gc和依赖gcc的gccgo. 官方为gc工具链提供了二进制安装包和源码, 可以根据需要选择一种安装方式.gc工具链对操作系统和CPU类型的支持情况如下: 操作系统 CPU类型 备注 FreeBSD 8 or later amd64, 386, arm Debian GNU/kFreeBSD not supported; FreeBSD/ARM needs FreeBSD 10 or later Linux 2.6.23 or la

cloudera manager的安装

1.修改/etc/hosts 加入集群各节点的主机ip 及主机名.(For all hosts) 例如: 192.168.4.190 hl0 192.168.4.191 hl1 192.168.4.192 hl2 192.168.4.193 hl3 2确认已经开启ssh服务 .(For all hosts) ps -e |grep ssh,如果看到sshd那说明ssh-server已经启动了. 补充: SSH分客户端openssh-client和openssh-server. openssh-c

Yeoman 的安装详细介绍

先去nodejs官网下载NodeJs 双击进行安装,这个不用多说. 安装完成后,可以找到 安装后以上 node 和 npm就有了,运行一下命令查看版本 出现如下结果,说明安装的没有问题 安装Yeoman 工具包 我的这里还需要自己安装bower 和grunt 不知道其他人是不是这样.(我参考的教程里说是都好了) 安装 bower 同理 grunt的安装 最后来检查一下是否安装成功 运行 结果为 未完待续 参考http://blog.sina.com.cn/s/blog_761dcfc60101d

MongoDB数据库安装详细介绍(二)

基于Cloudera Manager 5和CDH5(版本5.3.3)的Hadoop集群安装

一.Cloudera Manager/CDH5 1.关于cloudera manager和CDH是什么,这里不做详细介绍了.有官网和百科介绍. 附上官网地址:cloudera manager 2.官网的安装指南 官方文档提供了三种安装方式:在线自动安装/手动安装包安装/手动使用cloudera manager管理安装 此处使用第三种方式安装hadoop集群. 二.环境规划 1.系统:CentOS 6.4_x86 master:4G内存,硬盘尽量大容量 slave1:2G内存,硬盘尽量大容量 sl