Cloudera CDH 离线安装与使用

CDH 在线安装方法如下,方便,但是由于在国内,访问这个网站的速度很慢,并不快捷。

在线安装Cloudera Manager服务器

# 配置cloudera-cdh源和cloudera-manager源

# cloudera-manager

wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo

# cloudera-cdh

wget https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo

# 安装jdk和cloudera-manager

sudo yum install cloudera-manager-daemons cloudera-manager-server -y

然后就可以访问IP:7180通过网页进行操作了。然而实际情况是,在线安装,很慢很慢……

我们使用离线安装的方式进行:

一、基础环境准备

1. 相关包的下载地址:

Cloudera Manager地址:http://archive.cloudera.com/cm5/cm/5/

下载对应的文件,我下载的是:cloudera-manager-el6-cm5.13.3_x86_64.tar.gz

2. CDH安装包地址:http://archive.cloudera.com/cdh5/parcels

由于我们的操作系统为CentOS6.5,需要下载以下文件,找到对应的版本:

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1

manifest.json

3. 准备JDBC,等下连接mysql会用到:

http://download.softagency.net/MySQL/Downloads/Connector-J/

4. 全部需要的软件下载完,算上mysql jar一共是5个文件

cloudera-manager-el6-cm5.13.3_x86_64.tar.gz
CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel 
CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1 
manifest.jso
mysql-connector-java-5.1.35-bin.jar

5. 准备JDK

tar -zxvf jdk1.7.0_79.tar.gz -C /usr/local/jvm
cat /etc/profile
export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79 
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

6. 安装设置NTP

6.1 yum install ntp

cat /etc/ntp.conf
driftfile /var/lib/ntp/drift   
restrict default kod nomodify notrap nopeer noquery 
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1 
restrict -6 ::1  
restrict 192.168.206.0 mask 255.255.255.0 nomodify notrap 
 server 0.centos.pool.ntp.org iburst 
 server 1.centos.pool.ntp.org iburst 
 server 2.centos.pool.ntp.org iburst 
 server 3.centos.pool.ntp.org iburst

6.2启动 ntp:

$ service ntpd start

6.3 设置开机启动:

$ chkconfig ntpd on

6.4 检查是否设置成功:chkconfig --list ntpd其中2-5为on状态就代表成功。

6.5可以通过以下命令先进行时间同步:

ntpdate us.pool.ntp.org

6.6在两个slave节点上执行即可

ntpdate -u bigdata1

7. 关闭防火墙,selinux等。

二、环境准备完成,开始安装CDH

CDH的安装,建议用root完成,后面有很多需要CDH创建目录。用户等操作。

  1. 解压CM到每个节点/opt的路径下
tar -zxvf cloudera-manager-el6-cm5.13.3_x86_64.tar.gz -C /opt

下载的mysql-connector-java.jar拷贝到每个节点

cp  mysql-connector-java-5.1.35-bin.jar /opt/cm-5.13.3/share/cmf/lib/
scp mysql-connector-java-5.1.35-bin.jar [email protected]:/opt/cm-5.13.3/share/cmf/lib/
scp mysql-connector-java-5.1.35-bin.jar [email protected]:/opt/cm-5.13.3/share/cmf/lib/

2. 安装mysql,并准备相关用户,注意用户创建过程中,要给予with grant option权限,不然后面会报错

2.1安装MySQL的yum源,下面是RHEL6系列mysql5.6的下载地址:

 rpm -ivh http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpm

2.2 yum安装

yum install mysql-community-server -y

2.3 创建用户和赋权

grant all privileges on *.* to [email protected]'localhost' identified by 'root' with grant option;
grant all privileges on *.* to [email protected]'%' identified by 'root' with grant option;
grant all privileges on *.* to [email protected]'localhost' identified by 'scm'  with grant option;
grant all privileges on *.* to [email protected]'%' identified by 'scm'  with grant option;

3. 在主节点初始化CM5的数据库:

/opt/cm-5.13.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hbigdata1 -uroot -proot --scm-host bigdata1 scm scm scm

参数解释:数据库类型 数据库名称 数据库主机名 数据库用户名 密码 --scm-host cmserver主机名 scm scm scm

4. Agent配置

修改/opt/cm-5.13.3/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。 不然agent无法找到server端。

4.1同步软件到全部的Agent节点:

scp -r /opt/cm-5.13.3 [email protected]:/opt/

5. 在所有节点创建cloudera-scm用户

useradd --system --home=/opt/cm-5.13.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false  --comment "Cloudera SCM User" cloudera-scm

6. 准备Parcels,用以安装CDH5

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中(parcel-repo需要手动创建)。

相关的文件如下:

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1

manifest.jso

最后将CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1,重命名为CDH-5.7.1- CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha,这点必须注意,否则,系统会重新下载CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1文件。

7. 相关启动脚本

通过/opt/cm-5.13.3/etc/init.d/cloudera-scm-server start启动服务端。

通过/opt/cm-5.13.3/etc/init.d/cloudera-scm-agent start启动Agent服务。

(所有节点都要启动Agent服务,包括服务端)

我们启动的其实是个service脚本,需要停止服务将以上的start参数改为stop就可以了,重启是restart。

安装到此处,可以考虑备份vmware虚拟机,后面CM的部署过程中,遇到错误,可以会滚到当前状态调整。

三、CDH5的安装配和集群配置

1. Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了。

2. 这时可以通过浏览器访问主节点的7180端口测试一下了(由于CM Server的启动需要花点时间,这里可能要等待一会才能访问页面,可能需要3-5分钟),默认的用户名和密码均为admin

3. 登陆后,会进入到欢迎/授权页面

4. 选择授权版本,这里选择“免费版本”

5. 如果前面的的配置都是正确的,并且agent都启动成功,这里“当前管理的主机”中,是可以看到全部节点的。注意:防火墙一定要关闭,不然会出现,agent节点,不能被发现的情况。

6. 前面已经将软件包放到目录/opt/cloudera/parcel-repo,这里就可以直接看到本地的包。

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha

manifest.json

7. 点击“继续”,到集群安装,这个会比较快,大概10分钟完成。如果是在线安装,这个要几个小时,甚至下载失败。

8. 根据提示,修复一些前面没有配置好的项目,然后重新检查。建议解决全部报错,防止后续使用有诡异的问题发生。

9. 这里,我遇到的两个问题:

9.1.JDK无法被识别,运行之前保证JDK路径能被识别。

9.2.需要已经安装perl软件包

yum install -y perl

10. 选择需要安装的组合,也可以选择自定义,后续单独安装每个组件

11. 选择每个角色,需要部署在哪一个机器上

12. 选择需要使用到mysql的组件,在mysql中创建的db、用户名、密码等

13. 安装完成之后。

14. 安装完成后,就可以进入集群界面看一下集群的当前状况了。

这里可能会出现无法发出查询:对 Service Monitor 的请求超时的错误提示,如果各个组件安装没有问题,一般是因为服务器比较卡导致的,过一会刷新一下页面就好了,根据实际情况调整配置即可:

15. 另外如果想添加新的主机,必须要先启动新主机上的agent服务,否则新主机不能被发现,要重新下载cm-agent,很麻烦。安装新的节点以后,记得运行"部署客户端"命令。

四、问题汇总

问题1

CDH环境搭建好之后,访问Oozie管理页面时,出现如下问题:

解决方法:

根据提示,我们可以发现缺少Ext JS library,我们可以点击给出的网址链接:

Oozie Quick Start

找到如下内容:

然后找到ExtJS2.2下载,下载完成后上传到CDH的服务器的目录/opt/cloudera/parcels/CDH/lib/oozie/libext/下面。

具体操作如下:

cd /opt/cloudera/parcels/CDH/lib/oozie/libext

unzip ext-2.2.zip

chown oozie:oozie -R ext-2.2

现在这个官网,已经不提供下载ext-2.2.zip,如果下载,请点击链接:

然后我们再次访问页面就可以了。

原文地址:http://blog.51cto.com/hsbxxl/2117405

时间: 2024-11-03 12:53:54

Cloudera CDH 离线安装与使用的相关文章

CDH 离线安装部署

CDH相关介绍:  参考链接: https://blog.csdn.net/u013061459/article/details/73368929 https://www.cnblogs.com/raphael5200/p/5293960.html 为了构建一个以数据为驱动的业务场景,我们需要一个强大的管理工具去统一并安全地管理我们的业务数据,Cloudera做为一个强大的数据中心管理工具为此孕育而生.Cloudera不光提供了自己衍化重新封装的市场领先并100%开源的商业化Apache Had

[How to]Cloudera manager 离线安装手册

1.简介 本文介绍在离线环境下安装Cloudera manager和简单使用方法 2.环境 OS:CentOS 6.7 Cloudera manager版本:5.5.1 CDH版本:5.4.2 安装用户:root 资源: 10.211.55.16 xufeng-1 CM主节点,CM代理节点 10.211.55.17 xufeng-2 CM代理节点 10.211.55.18 xufeng-3 CM代理节点 3.介质准备 由于是要求在离线环境下进行安装,所以我们必须是先下载好安装所需要的所有介质.

CentOS 6.x 离线安装 Cloudera 5.7.x - 未完成

因为开发需要在本地组建一个Hadoop/Spark集群,但公司IT政策不允许本地集群接入互联网,所以只能离线安装各种组件. 下面把安装过程记录下来,作为项目文档. 安装准备工作 主机和系统 HadoopMaster Cent OS 6.4 x64 16G 192.168.1.10 HadoopSlave1 Cent OS 6.4 x64 16G 192.168.1.11 HadoopSlave2 Cent OS 6.4 x64 8G 192.168.1.12 安装包下载 可以自行到下面列出的文件

离线安装Cloudera Manager 5.3

离线安装ClouderaManager 5.3   关于CDH和ClouderaManager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的ApacheHadoop构建,并集成了很多补丁,可直接用于生产环境(本次项目环境使用了4个节点的CDH5.1.3版本). Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管

离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

原文  http://www.cnblogs.com/jasondan/p/4011153.html 关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控

Cloudera Manager和CDH5.8离线安装

https://blog.csdn.net/zzq900503/article/details/52982828 简介 我们在上篇文章中已经了解了CDH,为了后续的学习,我们本章就来安装CDH5.8.CDH5.8是目前比较新的版本,自带hadoop2.0以上的hadoop,而且已经包含了很多组件,也是我们接下来需要学习的hadoop生态圈中的组件. 环境 Cloudera Manager是为了简化hadoop及其组件的部署,但是由于包含的组件较多,对内存要求也比较大.所以我们尽量要保持主节点ma

CentOS7 Cloudera Manager6 完全离线安装 CDH6 集群

本文是在CentOS7.4 下进行CDH6集群的完全离线部署.CDH5集群与CDH6集群的部署区别比较大. 说明:本文内容所有操作都是在root用户下进行的. 文件下载 首先一些安装CDH6集群的必须文件要先在外网环境先下载好. Cloudera Manager 6.3.0 CM6 RPM:https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/ 需要下载该链接下的所有RPM文件,保存到cloudera-repos目录下. A

离线安装Cloudera Manager Express

-------------------------------- ###一.安装前提### 1. IP地址安排: #cat /etc/hosts 222.31.101.11 cdh5-nn1 222.31.101.13 cdh5-dn1 222.31.101.14 cdh5-dn2 222.31.101.16 cdh5-dn3 ###二.安装步骤### 1. 关闭防火墙并设为开机不启动 service iptables stop chkconfig iptables off 2. 设置selin

CDH5.7快速离线安装教程

一.简介 CDH是cloudera公司开发的一个快速部署.高效管理Hadoop和其各种组件的一个商业化产品.主要分为两部分,分别为Cloudera Manager和CDH软件包.其中Cloudera Manager负责集群的部署与管理.CDH软件包囊括了hdaoop各类的组件的安装包,例如hive.hdfs.spark等等. 由于实验室服务器集群实现了硬件虚拟化,要在虚拟资源重新搭建CDH集群.cloudera的搭建官方提供了三种安装方式.分别是在线安装.yum安装和离线安装,我首先是采用离线安