_00024 妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0

博文作者:妳那伊抹微笑

博客地址:http://blog.csdn.net/u012185296

博文标题:_00024 妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0

个性签名:世界上最遥远的距离不是天涯,也不是海角,而是我站在妳的面前,妳却感觉不到我的存在

技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spark ... 云计算技术

转载声明:可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明,谢谢合作!

下载链接:http://download.csdn.net/detail/u012185296/7673041

qq交流群:214293307  (期待与你一起学习,共同进步)

# ClouderaManager以及CM5.1.0半离线集群部署安装

目前 CM5.1.0 ,CDH5.1.0 是最新版本

# 前言

本博文中的《云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0》已经上传到群214293307共享中,需要的话自己下载研究了。

本博文《_00024 妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0》中的

《云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0.docx》下载地址 http://download.csdn.net/detail/u012185296/7673041

下面是文档截图:

# CM安装前的准备

# 基本环境的配置

# ssh免密码登录

前面已经介绍,这里不再介绍了

# 关闭防火墙

[[email protected] cm5.1.0]# service iptables stop

# 修改hosts文件(也是必须的)

必须严格按照以下这种格式 ip  aaa.bbb.ccc   aaa

例如:116.255.234.198a234-198.hadoop.com a234-198

[[email protected] yum.repos.d]# vi /etc/hosts

127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4

# cdh5.1.0

116.255.234.196 a234-196.hadoop.com a234-196

116.255.234.197 a234-197.hadoop.com a234-197

116.255.234.198 a234-198.hadoop.com a234-198

116.255.224.226 a224-226.hadoop.com a224-226

116.255.224.227 a224-227.hadoop.com a224-227

116.255.224.229 a224-229.hadoop.com a224-229

# 修改主机名(必须的,所有主机全部需要修改,而且必须遵守类似这种格式
a234-198.hadoop.com)

[[email protected] yum.repos.d]# vi/etc/sysconfig/network

NETWORKING=yes

HOSTNAME=a234-198.hadoop.com

[[email protected] yum.repos.d]# hostname

a234-198.hadoop.com

[[email protected] yum.repos.d]#

# 关闭selinux(SELINUX=xxx修改为disable)

[[email protected] yum.repos.d]# vi /etc/selinux/config

# This file controls the state of SELinux on thesystem.

# SELINUX= can take one of these three values:

#     enforcing- SELinux security policy is enforced.

#    permissive - SELinux prints warnings instead of enforcing.

#     disabled- No SELinux policy is loaded.

SELINUX=disabled

# SELINUXTYPE= can take one of these two values:

#     targeted- Targeted processes are protected,

#     mls -Multi Level Security protection.

SELINUXTYPE=targeted

# yum仓库的配置(必须的,本地安装的时候可能会出现问题,反正配置上就对了,wget下载)

[[email protected] yum.repos.d]# pwd

/etc/yum.repos.d

[[email protected] yum.repos.d]# ll

total 12

-rw-r--r--  1root root 210 Jan 29  2013rhel-debuginfo.repo

-rw-r--r--. 1 root root 529 May 31  2012 rhel-source.repo

-rw-r--r--  1root root 529 Jan 29  2013rhel-source.repo.bak

[[email protected] yum.repos.d]#
wget-chttp://archive-primary.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo

[[email protected] yum.repos.d]# catcloudera-manager.repo

[cloudera-manager]

# Packages for Cloudera Manager, Version 5, on RedHator CentOS 6 x86_64

name=Cloudera Manager

baseurl=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/

gpgkey =http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera

gpgcheck = 1

[[email protected] yum.repos.d]#

[[email protected] yum.repos.d]#
wget-chttp://archive-primary.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo

[[email protected] yum.repos.d]# cat cloudera-cdh5.repo

[cloudera-cdh5]

# Packages for Cloudera‘s Distribution for Hadoop,Version 5, on RedHat or CentOS 6 x86_64

name=Cloudera‘s Distribution for Hadoop, Version 5

baseurl=http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/

gpgkey =http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera

gpgcheck = 1

[[email protected] yum.repos.d]#

[[email protected] yum.repos.d]# ll

total 20

-rw-r--r--  1 root root 323 Oct 29  2013 cloudera-cdh5.repo

-rw-r--r--  1 root root 289 Oct 29  2013 cloudera-manager.repo

-rw-r--r--  1root root 210 Jan 29  2013rhel-debuginfo.repo

-rw-r--r--. 1 root root 529 May 31  2012 rhel-source.repo

-rw-r--r--  1root root 529 Jan 29  2013rhel-source.repo.bak

# 运行ntpd服务

[[email protected] yum.repos.d]# service ntpd start

Starting ntpd:                                            [  OK  ]

[[email protected] yum.repos.d]#

# 基本上该做的都做了,不该做的也做了,接下来就听天由命吧!!!

# cloudera-manager.repo中提取rpms

这里把这里的rpm包全部下载到本地去,比如饿这里下载到了/usr/local/adsit/yting/cloudera/cm5/cm5.1.0这个目录下

[[email protected] yum.repos.d]#
catcloudera-manager.repo

[cloudera-manager]

name = Cloudera Manager, Version 5.1.0

baseurl = http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.1.0/

gpgkey = http://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera

gpgcheck = 1

[[email protected] yum.repos.d]#

到baseurl的地址把CM需要的所有rpm包下载到本地

[[email protected] cm5.1.0]# pwd

/usr/local/adsit/yting/cloudera/cm5/cm5.1.0

[[email protected] cm5.1.0]# ll

total 518600

-rw-r--r-- 1 root root   3881788 Jul 17 05:13cloudera-manager-agent-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

-rw-r--r-- 1 root root 388561016 Jul 17 05:13cloudera-manager-daemons-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

-rw-r--r-- 1 root root      8176 Jul 17 05:13 cloudera-manager-server-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

-rw-r--r-- 1 root root      9880 Jul 17 05:13cloudera-manager-server-db-2-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

-rw-r--r-- 1 root root    684608 Jul 17 05:13enterprise-debuginfo-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

-rw-r--r-- 1 root root 137885675 Jul 17 05:13oracle-j2sdk1.7-1.7.0+update55-1.x86_64.rpm

[[email protected] cm5.1.0]#

# cloudera-cdh5.repo中提取rpms

# 下载cloudera-manager-installer.bin

[[email protected] cm5.1.0]# pwd

/usr/local/adsit/yting/cloudera/cm5/cm5.1.0

[[email protected] cm5.1.0]#
wget-c http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

[[email protected] cm5.1.0]# ll

total 519100

-rw-r--r-- 1 root root   3881788 Jul 17 05:13cloudera-manager-agent-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

-rw-r--r-- 1 root root 388561016Jul 17 05:13 cloudera-manager-daemons-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

-rw-r--r-- 1 root root    510569 Jun 5 10:06 cloudera-manager-installer.bin

-rw-r--r-- 1 root root      8176 Jul 17 05:13cloudera-manager-server-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

-rw-r--r-- 1 root root      9880 Jul 17 05:13cloudera-manager-server-db-2-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

-rw-r--r-- 1 root root    684608 Jul 17 05:13enterprise-debuginfo-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

-rw-r--r-- 1 root root 137885675 Jul 17 05:13oracle-j2sdk1.7-1.7.0+update55-1.x86_64.rpm

# 给cloudera-manager-installer.bin添加X权限

[[email protected] cm5.1.0]#
chmod+x cloudera-manager-installer.bin

[[email protected] cm5.1.0]# ll

total 519100

-rw-r--r-- 1 root root   3881788 Jul 17 05:13cloudera-manager-agent-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

-rw-r--r-- 1 root root 388561016 Jul 17 05:13cloudera-manager-daemons-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

-rwxr-xr-x 1 root root    510569 Jun 5 10:06 cloudera-manager-installer.bin

-rw-r--r-- 1 root root      8176 Jul 17 05:13cloudera-manager-server-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

-rw-r--r-- 1 root root      9880 Jul 17 05:13cloudera-manager-server-db-2-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

-rw-r--r-- 1 root root    684608 Jul 17 05:13enterprise-debuginfo-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

-rw-r--r-- 1 root root 137885675 Jul 17 05:13oracle-j2sdk1.7-1.7.0+update55-1.x86_64.rpm

[[email protected] cm5.1.0]#

到了这里,基本的准备工作已经做完,现在开始安装rpms,然后运行cloudera-manager-installer.bin这个文件就行了

# 到了这里,基本的准备工作已经做完,现在开始安装rpms,然后运行cloudera-manager-installer.bin这个文件就行了

# yum localinstall –nogpgcheck *.rpm

# cm5.1.0的rpms安装 yum localinstall –nogpgcheck *.rpm的rpms

先前下载的所有rpm包到对应的目录下执行该命令

[[email protected] cm5.1.0]# pwd

/usr/local/adsit/yting/cloudera/cm5/cm5.1.0

[[email protected] cm5.1.0]#
yumlocalinstall --nogpgcheck *.rpm

打印的信息太长了,饿就弄点有用的信息了

# cdh5.1.0的rpms安装yum localinstall --nogpgcheck --skip-broken *.rpm

这里需要一点时间,5分钟的样子,等一下吧!

[[email protected] cdh5.1.0]# yum localinstall--nogpgcheck --skip-broken *.rpm

# 5分钟过后就安装好了,OK,现在正式进入我们的CM5.1.0的安装了,只要这些准备工作做好了,这个就灰常简单,只要是个人都会了,就是动动鼠标点一下的问题了

# 运行 cloudera-manager-installer.bin

[[email protected] cm5.1.0]# pwd

/usr/local/adsit/yting/cloudera/cm5/cm5.1.0

[[email protected] cm5.1.0]#./cloudera-manager-installer.bin

# 下面就是图形界面了,相信只要你的智商没有问题,那么应该就没有问题了,不过还是截点图吧,这样对于初学者有个交代、、、

然后就100%了 、、、

安装成功 、、、

# 查看进程jps

[[email protected] cm5.1.0]# jps

13213 Jps

12697 Main (这个就是CM的界面管理程序了)

[[email protected]]# jps –l (查看下细节)

12697 com.cloudera.server.cmf.Main (就是这个,OK,接下来进入7180端口就好)

13241 sun.tools.jps.Jps

[[email protected]]#

# 访问服务器的7180端口(账号密码默认全是admin),进行CM的配置

# CM登录

# CM选择版本

# CM指定主机

# CM选择存储库

# CM提供SSH登录凭据

这里需要把你的/root/.ssh/id_rs这个文件给下载下来

# CM群集安装,几分钟就好了(这里特别说明,如果你没有做我前面提到的那些步骤,可能这里一天都装不好!!!)

这一步需要等一下下就好!

# CM安装成功

安装成功,点击继续 、、、

# CM 检查主机的正确性

# CM选择您要在群集上安装的CDH5服务

# CM自定义角色分配

# CM数据库设置(使用默认的PostgreSQL数据库)

# CM服务安装成功

界面浏览

# 都有界面了,只要智商没有问题,后面的都会弄了

# 结束感言

本博文中的《云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0》已经上传到群214293307共享中,需要的话自己下载研究了。

本博文《_00024 妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0》中的

《云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0.docx》下载地址 http://download.csdn.net/detail/u012185296/7673041

稍微有一点麻烦,官网的文档也有点坑爹,最麻烦的地方就是装rpms了

写这个博文真TM累,上传图片手都点残了

如果你觉得这篇博文不错,默默地留个言,顶一下吧,反正顶一下又不会怀孕 、、、

# Time2014-07-24 14:37:21

_00024 妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0

时间: 2024-10-11 18:23:50

_00024 妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0的相关文章

_00024 尼娜抹微笑伊拉克_云计算ClouderaManager以及CHD5.1.0群集部署安装文档V1.0

笔者博文:妳那伊抹微笑 itdog8 地址链接 : http://www.itdog8.com(个人链接) 博客地址:http://blog.csdn.net/u012185296 博文标题:_00024 妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0 个性签名:世界上最遥远的距离不是天涯,也不是海角.而是我站在妳的面前.妳却感觉不到我的存在 技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahou

_00020 妳那伊抹微笑_谁的异常最诡异第一期之 SqlServer RSA premaster secret error

博文作者:妳那伊抹微笑 博客地址:http://blog.csdn.net/u012185296 博文标题:_00020 妳那伊抹微笑_谁的异常最诡异第一期之 SqlServer RSA premaster secret error 个性签名:世界上最遥远的距离不是天涯,也不是海角,而是我站在妳的面前,妳却感觉不到我的存在 技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spark ... 云计算技术 转载声明:能够转载, 但必须以超链

HBase - 计数器 - 计数器的介绍以及使用 | 那伊抹微笑

博文作者:那伊抹微笑 csdn 博客地址:http://blog.csdn.net/u012185296 itdog8 地址链接 : http://www.itdog8.com/thread-215-1-1.html 博文标题:HBase - 计数器 - 计数器的介绍以及使用 | 那伊抹微笑 个性签名:世界上最遥远的距离不是天涯.也不是海角,而是我站在妳的面前,妳却感觉不到我的存在 技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spa

HBase - Filter - 过滤器的介绍以及使用 | 那伊抹微笑

博文作者:那伊抹微笑 csdn 博客地址:http://blog.csdn.net/u012185296 itdog8 地址链接 : http://www.itdog8.com/thread-214-1-1.html 博文标题:HBase - Filter - 过滤器的介绍以及使用 | 那伊抹微笑 个性签名:世界上最遥远的距离不是天涯.也不是海角.而是我站在妳的面前.妳却感觉不到我的存在 技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+

HBase - MapReduce - 使用 MapReduce 批量操作 HBase 介绍 | 那伊抹微笑

博文作者:那伊抹微笑 csdn 博客地址:http://blog.csdn.net/u012185296 itdog8 地址链接 : http://www.itdog8.com/thread-202-1-1.html 博文标题:HBase - MapReduce - 使用 MapReduce 批量操作 HBase 介绍 | 那伊抹微笑 个性签名:世界上最遥远的距离不是天涯,也不是海角,而是我站在妳的面前,妳却感觉不到我的存在 技术方向:Flume+Kafka+Storm+Redis/Hbase+

HBase - MapReduce - HBase 作为输入源的示例 | 那伊抹微笑

博文作者:那伊抹微笑 csdn 博客地址:http://blog.csdn.net/u012185296 itdog8 地址链接 : http://www.itdog8.com/thread-203-1-1.html 博文标题:HBase - MapReduce - HBase 作为输入源的示例 | 那伊抹微笑 个性签名:世界上最遥远的距离不是天涯,也不是海角,而是我站在妳的面前,妳却感觉不到我的存在 技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+

HBase - MapReduce - HBase 作为输出源的示例 | 那伊抹微笑

博文作者:那伊抹微笑 csdn 博客地址:http://blog.csdn.net/u012185296 itdog8 地址链接 : http://www.itdog8.com/thread-204-1-1.html 博文标题:HBase - MapReduce - HBase 作为输出源的示例 | 那伊抹微笑 个性签名:世界上最遥远的距离不是天涯,也不是海角,而是我站在妳的面前,妳却感觉不到我的存在 技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+

HBase - Coprocessor - 协处理器之观察者Observer(触发器)的介绍以及使用 | 那伊抹微笑

博文作者:那伊抹微笑 csdn 博客地址:http://blog.csdn.net/u012185296 itdog8 地址链接 : http://www.itdog8.com/thread-216-1-1.html 博文标题:HBase - Coprocessor - 协处理器之观察者Observer(触发器)的介绍以及使用 | 那伊抹微笑 个性签名:世界上最遥远的距离不是天涯,也不是海角,而是我站在妳的面前,妳却感觉不到我的存在 技术方向:Flume+Kafka+Storm+Redis/Hb

_00021 尼娜抹微笑伊拉克_谁的的最离奇的异常第二阶段 Jedis pool.returnResource(jedis)

笔者博文:妳那伊抹微笑 博客地址:http://blog.csdn.net/u012185296 博文标题:_00021 妳那伊抹微笑_谁的异常最诡异第二期之 Jedis pool.returnResource(jedis) 个性签名:世界上最遥远的距离不是天涯,也不是海角,而是我站在妳的面前.妳却感觉不到我的存在 技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spark ... 云计算技术 转载声明:能够转载, 但必须以超链接形式标