离线安装Cloudera Manager Express

--------------------------------

###一、安装前提###

1. IP地址安排:

#cat /etc/hosts

222.31.101.11 cdh5-nn1

222.31.101.13 cdh5-dn1

222.31.101.14 cdh5-dn2

222.31.101.16 cdh5-dn3

###二、安装步骤###

1. 关闭防火墙并设为开机不启动

service iptables stop

chkconfig iptables off

2. 设置selinux为disabled

#cat /etc/sysconfig/selinux

SELINUX=disabled

3. 设置集群免密码登陆(本次安装未验证是否必要)

1.设置/etc/ssh/sshd_config,将以***释放开

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile      .ssh/authorized_keys

2.产生密钥

#ssh-keygen -t rsa -P ‘‘

3.将公钥放进authorized_keys中去

#cat id_rsa.pub >> authorized_keys

4.修改authorized_keys权限

#chmod 600 ~/.ssh/authorized_keys

4.  下载Cloudera Manager包

wget http://archive-primary.cloudera.com/cm5/repo-as-tarball/5.2.0/cm5.2.0-centos6.tar.gz

5. 下载CDH5包

wget http://archive-primary.cloudera.com/cdh/repo-as-tarball/5.2.0/cdh5.2.0-centos6.tar.gz

6. 安装并启动httpd服务

yum install httpd

service httpd start

7. 准备yum源文件

mkdir -p /var/www/html/cm5/redhat/6/x86_64

tar -xzvf cm5.2.0-centos6.tar.gz -C /var/www/html/cm5/redhat/6/x86_64

mkdir -p /var/www/html/cdh/redhat/6/x86_64

tar -xzvf cdh5.2.0-centos6.tar.gz -C /var/www/html/cdh/redhat/6/x86_64

8. 手工加载redhat的ISO文件,然后mount

mount /dev/cdrom /media

9. 建一个a.repo (保证此yum源优先下载有待改善)

#cat a.repo

[cloudera-manager]

name = Cloudera Manager, Version 5.2.0

baseurl = http://222.31.102.11/cm5/redhat/6/x86_64/cm/5/

gpgcheck = 0

[cloudera-cdh5]

name = Cloudera CDH, Version 5

baseurl = http://222.31.102.11/cdh5/redhat/6/x86_64/cdh/5/

gpgcheck = 0

#cat rhel-source.repo

[rhel-source]

name=Red Hat Enterprise Linux $releasever - $basearch - Source

baseurl=file:///media/

enabled=1

gpgcheck=0

10. 复制yum源配置文件到集群各节点主机.例如:

scp /etc/yum.repo.d/a.repo cdh5-dn1:/etc/yum.repo.d/

scp /etc/yum.repo.d/rhel-source.repo cdh5-dn1:/etc/yum.repo.d/

11. cat /etc/resolv.conf

nameserver 127.0.0.1

cat /etc/dnsmasq.conf  #直接写到文件里去

address=/cdh5-nn1.cuc-rz.dev/222.31.102.11

11. 开始安装

./cloudera-manager-installer.bin

###三、错误情况FAQ###

1. Q1: 日志出现: flock 4

A1: rm -rf /tmp/.scm_prepare_node.lock

2. Q2: 无法接收Agent发出的检测信号

用检测命令:

#host -v -t A `hostname`

cloudera manager 服务器上新启动dnsmasq服务

#service dnsmasq start

配置相关文件具体参考:***linux/zuixindnsmasqanzhuangbushuxiangjie_centos6__653221_1381214991.html)

关闭所有机器上的cloudera-scm-agent服务

#service cloudera-scm-agent stop

时间: 2024-11-17 20:27:12

离线安装Cloudera Manager Express的相关文章

离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

原文  http://www.cnblogs.com/jasondan/p/4011153.html 关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控

离线安装Cloudera Manager 5.3

离线安装ClouderaManager 5.3   关于CDH和ClouderaManager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的ApacheHadoop构建,并集成了很多补丁,可直接用于生产环境(本次项目环境使用了4个节点的CDH5.1.3版本). Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管

本地Yum软件源安装Cloudera Manager 5

本地Yum软件源安装Cloudera Manager 5 (非原创,转自http://blog.csdn.net/yangzhaohui168/article/details/30118175) Cloudera Manager 5(以下简称CM)默认采用在线安装的方式,给不能联互联网或者网络不畅的用户带来了不便,由于网络问题,屡装屡败的挫折感,让初次学习CDH用户真心体验到万事开头难.本文讲解了在CentOS 6环境下搭建本地Yum软件源,局域网内的用户在完全不连互联网的情况下,完成CM的安装

离线部署 Cloudera Manager 5 和 CDH 5.12.1 及使用 CDH 部署 Hadoop 集群服务

Cloudera Manager Cloudera Manager 分为两个部分:CDH和CM. CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera公司发布的Hadoop版本,封装了Apache Hadoop,提供Hadoop所有的服务,包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等. CM是cloudera manager的简称,是CDH的管理平台,主要

离线安装Cloudera Manager5.3.4与CDH5.3.4(二)

Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了. 这时可以通过浏览器访问主节点的7180端口测试一下了(由于CM Server的启动需要花点时间,这里可能要等待一会才能访问),默认的用户名和密码均为admin. 制作本地源 先下载CDH到本地http://archive-primary.cloudera.com/cdh5/parcels/5.3.4/, 这里需要下载三样东西, 首先是与自己系统版本相对应的parcel包,然后是manifest

CentOS 6.x 离线安装 Cloudera 5.7.x - 未完成

因为开发需要在本地组建一个Hadoop/Spark集群,但公司IT政策不允许本地集群接入互联网,所以只能离线安装各种组件. 下面把安装过程记录下来,作为项目文档. 安装准备工作 主机和系统 HadoopMaster Cent OS 6.4 x64 16G 192.168.1.10 HadoopSlave1 Cent OS 6.4 x64 16G 192.168.1.11 HadoopSlave2 Cent OS 6.4 x64 8G 192.168.1.12 安装包下载 可以自行到下面列出的文件

手动安装cloudera manager 5.x(tar包方式)详解

官方共给出了3中安装方式:第一种方法必须要求所有机器都能连网,由于最近各种国外的网站被墙的厉害,我尝试了几次各种超时错误,巨耽误时间不说,一旦失败,重装非常痛苦.第二种方法下载很多包.第三种方法对系统侵入性最小,最大优点可实现全离线安装,而且重装什么的都非常方便.后期的集群统一包升级也非常好.这也是我之所以选择离线安装的原因. 包括MySQL数据库我均采用二进制安装包方式配置,且大部分步骤仅写成脚本模式,不做说明. 补充一句,如果测试安装,建议以root用户权限进行配置部署,另外cloudera

离线安装Cloudera Manager5.3.4与CDH5.3.4(一)

这几天一直在安装CDH,头都搞大了,安装第三次,终于成功了. 第一次问题很多,后面卸载了,由于没有卸载干净导致第二次安装失败.后来索性重装系统了,直接使用了纯净系统进行安装.一个人跑到学院机房去装系统,苦逼惨了. ,不扯了,记录下安装流程. 系统环境 操作系统:CentOS 6.5 x64,配置如下: Cloudera Manager:5.3.4 CDH: 5.3.4 前期准备工作(系统环境搭建) 所需软件 cloudera-manager-el6-cm5.3.4_x86_64.tar.gz m

安装Cloudera Manager中需要注意的问题

环境:centos6.5 查看Cloudera Manager官方安装文档,注意版本一定要对应上 在官网下载安装需要的依赖包 Installation failed. Failed to receive heartbeat from agent. Ensure that the host's hostname is configured properly.     Ensure that port 7182 is accessible on the Cloudera Manager Server