Cloudera CDH5 部署实战指南(离线安装)

配置软件源服务器

1、安装createrepo
rpm -ivh deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm
rpm -ivh python-deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm
rpm -ivh createrepo-0.9.9-18.el6.noarch.rpm

2、部署Apache Server
rpm -ivh apr-1.3.9-5.el6_2.x86_64.rpm
rpm -ivh apr-util-1.3.9-3.el6_0.1.x86_64.rpm
rpm -ivh httpd-tools-2.2.15-29.el6.centos.x86_64.rpm
rpm -ivh apr-util-ldap-1.3.9-3.el6_0.1.x86_64.rpm
rpm -ivh httpd-2.2.15-29.el6.centos.x86_64.rpm

rpm包安装后,启动服务
/sbin/service httpd start

输入 http://(安装IP),查看页面

3、创建CentOS软件源库,在软件源服务器上执行(Master服务器)

mkdir /var/www/html/CentOS6
将CentOS中Packages复制到该目录下

把该目录下的软件安装包,创建成软件源库,执行下面命令:
chmod -R ugo+rX /var/www/html/CentOS6/
cd /var/www/html/CentOS6/
createrepo .

4、创建Cloudera Manager软件源库
mkdir /var/www/html/cm5.1.1
将Cloudera Managerx相关rpm包复制到该目录下

把该目录下的软件安装包,创建成软件源库,执行下面命令:
chmod -R ugo+rX /var/www/html/cm5.1.1/
cd /var/www/html/cm5.1.1/
createrepo .

5、创建CDH软件源库
mkdir /var/www/html/cdh5.1.0
将Cloudera Managerx相关rpm包复制到该目录下

把该目录下的软件安装包,创建成软件源库,执行下面命令:
chmod -R ugo+rX /var/www/html/cdh5.1.0/
cd /var/www/html/cdh5.1.0/
createrepo .

6、配置软件源库地址
修改/etc/yum.repos.d/centos6.4-local.repo
[centos6.4-local]
name=centos6.4
baseurl=http://192.168.249.131/CentOS6
enabled=1
gpgcheck=0

修改/etc/yum.repos.d/cloudera-manager.repo
[cloudera-manager]
name=Cloudera Manager
baseurl=http://192.168.249.131/cm5.1.1
enabled=1
gpgcheck=0

7、安装Cloudera Manager
chmod u+x cloudera-manager-installer.bin
./cloudera-manager-installer.bin
一路next

8、部署CDH
打开浏览器,输入http://http://192.168.249.131:7180 (服务启动比较慢,预计10分钟)
输入默认账户:admin 密码:admin

注意事项:

1、SSH安装,主节点 -> 从节点 单向无密码访问

2、禁用所有服务器Selinux  "vim /etc/selinux/config"

3、防火墙 禁用所有服务器的防火墙。 $ chkconfig iptables off

4、配置Hosts

5、卸载原操作系统JDK.(jdk1.7,并且检测操作系统位数是32还是64)

6、本地yum源的配置关键要素:

a、/etc/yum.conf 是否有yum网络代理设置

b、删除/etc/yum.repos.d/下原centos自带的repo文件

c、手动新增的centos6.4-local.repo 文件,属性enabled =1  启用该文件。

时间: 2024-10-11 10:03:14

Cloudera CDH5 部署实战指南(离线安装)的相关文章

Windows 10企业批量部署实战之WDS安装

Microsoft 致力于使符合条件的正版 Windows 7 和 Windows 8/8.1 设备能够免费升级 到 Windows 10.此次升级后的Windows 10是完整版,时间范围为 Windows 10 发布后的一年内升级到 Windows 10 才能享受本免费优惠.受微软免费升级的嚼头很多企业选择免费升级Windows 10或者全新部署windows 10接轨新操作系统. 本系列文章为大家带来基于MDT 2013 Update 1 Preview版本搭载正式版ADK 10240为企

Cloudera Manager和CDH5.8离线安装

https://blog.csdn.net/zzq900503/article/details/52982828 简介 我们在上篇文章中已经了解了CDH,为了后续的学习,我们本章就来安装CDH5.8.CDH5.8是目前比较新的版本,自带hadoop2.0以上的hadoop,而且已经包含了很多组件,也是我们接下来需要学习的hadoop生态圈中的组件. 环境 Cloudera Manager是为了简化hadoop及其组件的部署,但是由于包含的组件较多,对内存要求也比较大.所以我们尽量要保持主节点ma

Hadoop部署实践:   离线安装 CDH5.1   (待完成)

配置主机映射关系 [[email protected] ~]$ cat /etc/hosts 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 10.15.5.200 master.hadoop 10.15.5.201 slave01.hadoop 10.15.5.202 slave02.hadoop 10.15.5.203 slave03.hadoop 如上有4台主机,每台hosts都已

离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

原文  http://www.cnblogs.com/jasondan/p/4011153.html 关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控

离线安装Cloudera Manager5.3.4与CDH5.3.4(二)

Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了. 这时可以通过浏览器访问主节点的7180端口测试一下了(由于CM Server的启动需要花点时间,这里可能要等待一会才能访问),默认的用户名和密码均为admin. 制作本地源 先下载CDH到本地http://archive-primary.cloudera.com/cdh5/parcels/5.3.4/, 这里需要下载三样东西, 首先是与自己系统版本相对应的parcel包,然后是manifest

CDH5.7快速离线安装教程

一.简介 CDH是cloudera公司开发的一个快速部署.高效管理Hadoop和其各种组件的一个商业化产品.主要分为两部分,分别为Cloudera Manager和CDH软件包.其中Cloudera Manager负责集群的部署与管理.CDH软件包囊括了hdaoop各类的组件的安装包,例如hive.hdfs.spark等等. 由于实验室服务器集群实现了硬件虚拟化,要在虚拟资源重新搭建CDH集群.cloudera的搭建官方提供了三种安装方式.分别是在线安装.yum安装和离线安装,我首先是采用离线安

Cloudera CDH 离线安装与使用

CDH 在线安装方法如下,方便,但是由于在国内,访问这个网站的速度很慢,并不快捷. 在线安装Cloudera Manager服务器 # 配置cloudera-cdh源和cloudera-manager源 # cloudera-manager wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo # cloudera-cdh wget https://archive.cloudera.com/cd

CDH 离线安装部署

CDH相关介绍:  参考链接: https://blog.csdn.net/u013061459/article/details/73368929 https://www.cnblogs.com/raphael5200/p/5293960.html 为了构建一个以数据为驱动的业务场景,我们需要一个强大的管理工具去统一并安全地管理我们的业务数据,Cloudera做为一个强大的数据中心管理工具为此孕育而生.Cloudera不光提供了自己衍化重新封装的市场领先并100%开源的商业化Apache Had

CentOS 6.x 离线安装 Cloudera 5.7.x - 未完成

因为开发需要在本地组建一个Hadoop/Spark集群,但公司IT政策不允许本地集群接入互联网,所以只能离线安装各种组件. 下面把安装过程记录下来,作为项目文档. 安装准备工作 主机和系统 HadoopMaster Cent OS 6.4 x64 16G 192.168.1.10 HadoopSlave1 Cent OS 6.4 x64 16G 192.168.1.11 HadoopSlave2 Cent OS 6.4 x64 8G 192.168.1.12 安装包下载 可以自行到下面列出的文件