CDH5 集群安装教程

一、虚拟机的安装和网络配置。

1、虚拟机安装。

2、安装CentOS-6.5 64位版本。

桥接模式;

Master:

内存:3G;

硬盘容量40G;

4核;

Slave:

内存2G;

硬盘容量30G;

2核;

3、网络配置(master,slave)

1)进入root账号

su - root

输入密码:

 vi /etc/sysconfig/network

2)关闭防火墙

    vi /etc/sysconfig/selinux

     #SELinux=disable

     Service iptables stop

     Chkconfig iptables off

     Chkconfig iptables --list

3)网络设置

Vi  /etc/sysconfig/network-scripts/ifcfg-eth0

 DEVICE="eth0"

 BOOTPROTO="static"

 IPADDR=192.168.2.115 或者 192.168.2.116

 NM_CONTROLLED="yes"

 ONBOOT="yes"

 TYPE="Ethernet"

 DNS1=8.8.8.8

 DNS2=8.8.4.4

 GATEWAY=192.168.2.1

注释:IPADDR,在你的本地电脑上,看好你的ip地址是什么

4)设置/etc/hosts

Vi /etc/hosts

 127.0.0.1      localhost

 192.168.2.115  master

 192.168.2.116  slave1

根据你设置的节点数,自己配。

二、CDH安装

1、下载文件:

1)cm5.1.0

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.1.0/RPMS/x86_64/

2)Installer.bin

http://archive.cloudera.com/cm5/installer/5.1.0/

3、集群安装

1)Master节点上传:

cloudera-manager-installer.bin

cloudera-manager.repo

cloudera-manager-daemons-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

jdk-6u31-linux-amd64.rpm

oracle-j2sdk1.7-1.7.0+update55-1.x86_64.rpm

2)安装

cloudera-manager-daemons-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

jdk-6u31-linux-amd64.rpm

oracle-j2sdk1.7-1.7.0+update55-1.x86_64.rpm

另外,将cloudera-manager.repo上传到/etc/yum.repos.d目录下。

执行yum clean all  清空yum缓存

yum list|grep cloudera 验证repo文件是否起效

Chmod +x cloudera-manager-installer.bin

在root用户下,执行bin文件  ./cloudera-manager-installer.bin

开始了Clouder manager集群安装。

2)slave等节点安装

cloudera-manager-daemons-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

jdk-6u31-linux-amd64.rpm

oracle-j2sdk1.7-1.7.0+update55-1.x86_64.rpm

另外,将cloudera-manager.repo上传到/etc/yum.repos.d目录下。

执行yum clean all  清空yum缓存

yum list|grep cloudera 验证repo文件是否起效

3)离线安装parcel

上传parcel文件到

/opt/cloudera/parcel-repo

修改sha文件,只保留哈希码。

CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel

CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel.sha

Manifest.json

在安装界面中:

这里没检索出5.1.0版本,如何解决?

手工修改url为  http://archive.cloudera.com/cdh5/parcels/5.1.0/

时间: 2024-11-05 14:55:57

CDH5 集群安装教程的相关文章

单点登录集群安装教程

在开发中的开源项目JeePlatform:https://github.com/u014427391/jeeplatform 欢迎start(s收藏),打算集成单点登录到自己的开源项目里,所以先搭建环境 [集群简介] 使用nginx作为负载均衡,使用redis存储tomcat session,来实现集群中tomcat session的共享,使用redis作为cas ticket的仓库,来实现集群中cas ticket的一致性. [安装教程] [keepalived安装] 下载keepalived

Hadoop集群安装-CDH5(5台服务器集群)

CDH5包下载:http://archive.cloudera.com/cdh5/ 架构设计: 主机规划: IP Host 部署模块 进程 192.168.254.151 Hadoop-NN-01 NameNode ResourceManager NameNode DFSZKFailoverController ResourceManager 192.168.254.152 Hadoop-NN-02 NameNode ResourceManager NameNode DFSZKFailoverC

Spark教程-构建Spark集群-安装Ubuntu系统(2)

3.点击“Finish”完成虚拟系统的创建,如下图所示: 点击我们创建的Ubuntu,如下所示 点击“CD/DVD(IDE)”进入如下界面 选择我们的Ubuntu的ISO的具体存放路径,选择好后如下图所示: 点击“OK”完成设置: 点击“Memory”,进入如下界面: 此时把我们虚拟的内存设置为2G,如下所示: 点击“OK”完成设置. Spark教程-构建Spark集群-安装Ubuntu系统(2)

Spark教程-构建Spark集群-安装Ubuntu系统(1)

Unbuntu系统是我们开发Hadoop时最常用的操作系统,下面带领大家一步步完成Vmware虚拟机下Unbuntu系统的安装 创建Vmware中的虚拟系统: 我们选择的是“Typical”的方式,点击“Next”进入下一步: 选择稍后安装操作系统,点击“Next”进入下一步: 选择安装Linux系统的Ubuntu版本,点击“Next”进入下一步: 家林这里选择了自定义系统的存放路径为“E:\VMware\Virtual Machines\Master” 如下图所示: 点击“Next”进入下一步

【Oracle 集群】Oracle 11G RAC教程之集群安装(七)

Oracle 11G RAC集群安装(七) 概述:写下本文档的初衷和动力,来源于上篇的<oracle基本操作手册>.oracle基本操作手册是作者研一假期对oracle基础知识学习的汇总.然后形成体系的总结,一则进行回顾复习,另则便于查询使用.本图文文档亦源于此.阅读Oracle RAC安装与使用教程前,笔者先对这篇文章整体构思和形成进行梳理.由于阅读者知识储备层次不同,我将从Oracle RAC安装前的准备与规划开始进行整体介绍安装部署Oracle RAC.始于唐博士指导,对数据库集群进行配

『GreenPlum系列』GreenPlum 4节点集群安装(图文教程)

目标架构如上图 一.硬件评估 cpu主频,核数推荐CPU核数与磁盘数的比例在12:12以上Instance上执行时只能利用一个CPU核资源进行计算,推荐高主频 内存容量 网络带宽重分布操作 Raid性能条带宽度设置回写特性 二.操作系统 1.在SUSE或者RedHat上使用xfs(操作系统使用ext3)    在Solaris上使用zfs(操作系统使用ufs) 2.系统包 出现如下界面,按照下面的说明进行勾选,之后一直[Next]到开始安装. -->[Desktop Environments]全

“挖掘机”升级路 一篇(03)--HBase集群安装中的收获

粗略算算,从上周五到这周二,折腾Hadoop已经三天了.这三天我是过得诚惶诚恐,作为一个学徒,老大虽然没有说啥,但是我恨不得立马完成这些基本的部署工作,感觉拖了好久好久.简单的总结一下,第一天折腾Hadoop单机和伪分布式的安装,第二天在折腾Hive的安装,以失败告终,第三天折腾HBase的集群安装,在主节点上安装成功. 也就来具体的谈谈今天的收获,今天的参考资料主要是这么两篇1.分布式实时日志系统(四) 环境搭建之centos 6.4下hbase 1.0.1 分布式集群搭建(我FQ看的,不知道

企业级中间件应用WebLogic11g/12c集群安装布署配置培训视频课程全套

企业级中间件应用WebLogic11g/12c集群安装布署配置培训视频课程全套 套餐介绍:高薪必学的企业级中间件应用WebLogic实施教程. 基础:中间件的概念,WebLogic概念,域,JDK,JVM,数据源,连接池,控制台,集群相关. 实战:1.企业级应用系统项目的实施流程,如调研,方案,规划等;2.Oracle WebLogic11g与WebLogic12c集群配置与实施维护;4.WebLogic在windows与Linux平台下的实施与维护;5.不同平台下JDK安装与JVM参数优化;6

菜鸟玩云计算之十八:Hadoop 2.5.0 HA 集群安装第1章

菜鸟玩云计算之十八:Hadoop 2.5.0 HA 集群安装第1章 cheungmine, 2014-10-25 0 引言 在生产环境上安装Hadoop高可用集群一直是一个须要极度耐心和体力的仔细工作. 虽然有非常多文档教会大家怎么一步一步去完毕这样的工作,可是百密也有一疏. 现成的工具不是没有,可是对于我这个喜欢了解细节的人来说,用别人的东西,写的好还能够,写的不好,出了问题,查找错误难之又难.手工安装Hadoop集群须要对Linux有一定的使用经验.对于全然没有接触Linux的人来说.肯定是