CDH使用之CM 5.3.x安装


前言:CM全称Cloudera Manager,Cloudera开发公司的产品。其主要功能是对CDH集群进行监控,大大改善原生ApacheHadoop的安装、配置复杂和需要使用第三方开源的监控工具所带来的诸多问题。其中,CDH是Cloudera公司的开源产品,可以不依靠CM独立安装。CM有free版本,提供60天在收费版中才能使用的高级功能的免费使用期限。本文CM安装基于CentOS 6.5,各个系统版本之前可能存在细微的差别,读者请自行查阅,理论上也使用于Red Hat系统。

一、      系统准备1、 系统安装

本次采用系统版本为CentOS 6.5,系统部分相对简单,具体安装教程本文不做详细介绍,后期单独写CentOS系统的安装教程。

2、 系统配置

a) 用户创建

CM安装可以使用普通用户进行安装,系统安装过程中可以添加普通用户或者在安装使用如下命令进行添加(尖括号内添加自定义用户名称)。

创建用户

# useradd <用户名称>

修改密码

# passwd <用户名称>

b) 关闭SELinux

安装CM必须关闭SELinux,关闭方法如下:

# vi /etc/selinux/config

将SELINUX改为disabled

如图:

c) 关闭防火墙

CM安装简易关闭防火墙,防火墙打开可能会导致CM相关端口无法访问。关闭方法如下:

临时关闭:

查看关闭状态

# service iptables status

关闭防火墙

# serviceiptables stop

配置开机关闭防火墙:

# vi  /etc/rc.local

如图:

永久关闭:

查看启动级别

# chkconfig --list iptables

关闭所有启动级别

# chkconfig iptables off

注:实际集群中可能存在使用以上方式关闭,防火墙仍然会自动打开的情况,需要检查集群环境中是否有防火墙检查机制。

d) SSH免key配置(非必须)

首先生成一对私钥和公钥,如下:

# ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa

# ssh-copy-id <ip地址>  (ip地址是你具体要和谁免key,自己也要和自己设置免key)

e)配置sudo功能(非必须)

执行如下命令:

# visudo

或者  #vi  /etc/sudoers

添加如下(尖括号内添加自定义用户名称):

<user> ALL=(ALL)  NOPASSWD: ALL

3、依赖的软件服务

CM安装需要依赖postgresql数据库(可以更改为其他数据库)和其他一些服务组件,可以在操作系统安装时进行软件的选择也可以后期安装。安装时可以下载安装包进行安装,也可以使用yum方式进行安装,需要如下组件:

yum -y install postgresql-server

yum -y install postgresql

yum -y install httpd

yum -y install perl

yum -y install bind-utils

yum -y install libxslt

yum -y install cyrus-sasl-gssapi

yum -y install redhat-lsb

yum -y install  cyrus-sasl-plain

yum -y install portmap

yum -y install fuse

yum -y install fuse-libs

yum -y install nc

yum -yinstall python-setuptools

yum -y installopenssh-clients(ssh不能使用时)

注:使用yum安装时/etc/yum.repos.d/ 目录下需要如图配置文件(没有的话自行百度)。

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image008.png

二、      介质准备1、安装方式选择

a) tar包方式安装(本文暂不做介绍)

b)rpm包方式安装

本文选择rpm包方式进行安装,下载好相应的rpm包和对应的目录结构,通过httpd-Apache 方式访问本地yum源进行安装。

2、CM5.3.x下载

tar包下载地址如下:

http://archive-primary.cloudera.com/cm5/cm/5/(根据操作系统版本选择版本)

rpm包下载地址:

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/  ( CentOS6.5系统选择redhat版本)

使用yum方式安装还需要下载一个bin文件,地址如下:

http://archive.cloudera.com/cm5/installer/5.3.2/  (目录名称与CM版本对应)

rpm包下载需要保持网页中对应目录结构,放到/var/www/html/ 目录,如下:

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image010.png

三、      配置yum源配置本地yum源

在/etc/ yum.repos.d/ 下创建cloudera-manager.repo配置文件,内容如下:

[cloudera-manager]

name = Cloudera Manager, Version 5.3.2

baseurl = http://ip地址/cm5.3.2

gpgcheck = 0

注:ip地址建议使用内网ip,提高传输速度。

四、      安装CM1、服务启动

启动http服务,将repo文件的baseurl地址粘贴到浏览器以验证是否能通过http方式进行访问。

启动http 服务

# service httpd start

查看http服务状态

# service httpd status

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image012.png

2、开始安装

任意目录执行cloudera-manager-installer.bin 文件,按照截图连续选择Next按钮:

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image014.png

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image016.png

仍然继续Next,然后yes

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image018.png

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image020.png

出现如下进度条,等待直到100%

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image022.png

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image024.png

最后出现如下界面,表示安装完。

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image026.png

点击ok,浏览器访问http://ip地址:7180/进行访问,密码和用户名均为admin (登录后可以自行修改)

3、  错误定位

安装过程中可以能会出现错误提示,在安装提示框上查看对应错误日志生成目录,查看对应的错误日志即可。

无论安装是否成功,对应/etc/yum.repos.d 目录下会增加.rpmnew文件,此文件一般链接到下载CM的远程仓库地址,删除在继续重试安装。

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image028.png

五、      安装过程注意事项

安装过程中失败常见的原因有:

1、seLinux出于打开状态,设置的disabled没有生效

2、防火墙出于打开状态

3、postgresql数据库没有安装或者服务没有启动

4、httpd服务没有打开或者配置的baseurl地址不可用

更多精彩内容请访问:http://bbs.superwu.cn

关注超人学院微信二维码:

时间: 2024-11-05 13:30:33

CDH使用之CM 5.3.x安装的相关文章

CDH使用之CM、CDH4、5卸载

前言:无论是CM或者CDH使用的过程中,学习研究CDH使用.CDH升级.CM升级等等原因而考虑卸载CM.CDH,本教程使用于基于CM安装的CDH的卸载.当然,如果CDH采用独立安装方式安装,在删除对应目录时,更改相应目录即可,主要分为CM卸载和CDH卸载两部分,理论上使用于CDH4和CDH5的卸载(新版本如有更改则不适用). 一.卸载CM:(CM主机执行)1.移除所有服务 先在Cloudera Manager管理端停止集群所有组件服务,然后删除所有服务. 2.删除Manager Server(一

在CDH上用外部Spark2.2.1安装和配置 CarbonData

在CDH上用外部Spark2.2.1 (hadoop free版本)standalone 模式安装和配置 CarbonData ===================================================================== cdh中外部spark(standalone模式安装) ===================================================================== 5.把安装包和配置文件拷贝到其他机器

0028-如何在CDH未启用认证的情况下安装及使用Sentry

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看. 1.文档编写目的 CDH平台中的安全,认证(Kerberos/LDAP)是第一步,授权(Sentry)是第二步.如果要启用授权,必须先启用认证.但在CDH平台中给出了一种测试模式,即不启用认证而只启用Sentry授权.但强烈不建议在生产系统中这样使用,因为如果没有用户认证,授权没有任何意义形同虚设,用户可以随意使用任何超级用户登录HiveServer2或者Impala,并不会做密码校验.注:本文档仅适用于测试环境. 本文档主要描述如

CDH使用之CDH 5.3.x安装

前言:CDH是由Cloudera公司发行的Hadoop版本,全称(Cloudera's Distribution Including Apache Hadoop).该版本基于原生Apache Hadoop版本进行改进,添加了补丁和自行开发的组件,更加稳定易用.并且Cloudera公司已将CDH开源,可以不依靠CM也可以进行独立安装,目前来看在国内市场占有比重较大.本文采用CM方式进行安装,安装环境为CentOS6.5,暂不介绍独立安装方式安装. 安装准备 介质准备 本文采用parcel包方式安装

CM+CDH安装教程(CentOS)

一.简单介绍 CM:Cloudera Manager,Cloudera公司编写的一个CDH的管理后台,类似各CMS的管理后台. CDH:Cloudera's distribution,including Apache Hadoop,Cloudera公司制作的一个Hadoop发行版,集成了Hadoop及Hive等与Hadoop关系紧密的工具. 也经常直接用CM指代其本身和CDH.CM最大的好处是通过自动化的部署大大降低了Hadoop集群的部署工作量. 二.下载 本教程CM采用离线形式安装版本为当前

通过Cloudera Manager安装CDH 5.6

CDH的简单介绍 大家经常说CDH,其全称是:Cloudera's Distribution Including Apache Hadoop,简单的说是Cloudera公司的Hadoop平台,是在Apache原生的Hadoop个组件基础上进行了封装和加强.CDH里面有些什么东西呢?如下图: 那么这个CDH软件如何安装呢?Cloudera公司提供了一套安装CDH,管理.维护CDH各组件的一个软件,叫做Cloudera Manager(以下简称为CM).CM本身是一种主从结构,由CM Server和

CDH 离线安装部署

CDH相关介绍:  参考链接: https://blog.csdn.net/u013061459/article/details/73368929 https://www.cnblogs.com/raphael5200/p/5293960.html 为了构建一个以数据为驱动的业务场景,我们需要一个强大的管理工具去统一并安全地管理我们的业务数据,Cloudera做为一个强大的数据中心管理工具为此孕育而生.Cloudera不光提供了自己衍化重新封装的市场领先并100%开源的商业化Apache Had

0030-如何在CDH中安装Kudu&amp;Spark2&amp;Kafka

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看. 1.概述 在CDH的默认安装包中,是不包含Kafka,Kudu和Spark2的,需要单独下载特定的Parcel包才能安装相应服务.本文档主要描述在离线环境下,在CentOS6.5操作系统上基于CDH5.12.1集群,使用Cloudera Manager通过Parcel包方式安装Kudu.Spark2和Kafka的过程. 内容概括 Kudu安装 Spark2安装 Kafka安装 服务验证 测试环境 操作系统版本:CentOS6.5 C

[How to]Cloudera manager 离线安装手册

1.简介 本文介绍在离线环境下安装Cloudera manager和简单使用方法 2.环境 OS:CentOS 6.7 Cloudera manager版本:5.5.1 CDH版本:5.4.2 安装用户:root 资源: 10.211.55.16 xufeng-1 CM主节点,CM代理节点 10.211.55.17 xufeng-2 CM代理节点 10.211.55.18 xufeng-3 CM代理节点 3.介质准备 由于是要求在离线环境下进行安装,所以我们必须是先下载好安装所需要的所有介质.