Cloudera-manager-installaction

1、基本环境准备

[[email protected] html]$ sudo chkconfig iptables off   禁用防火墙

[[email protected] html]$ vi /etc/selinux/config禁用selinux,SELINUX=disabled

注：保存重启系统

2、Cloudera Manager的离线安装包下载,构建CM本地源

[[email protected] html]$ pwd

/var/www/html

[[email protected] html]$ tree

-- cm5

`-- redhat

`-- 6

`-- x86_64

`-- cm

|-- 5

|   |-- mirrors

|   |-- repodata

|   |   |-- filelists.xml.gz

|   |   |-- filelists.xml.gz.asc

|   |   |-- other.xml.gz

|   |   |-- other.xml.gz.asc

|   |   |-- primary.xml.gz

|   |   |-- primary.xml.gz.asc

|   |   |-- repomd.xml

|   |   `-- repomd.xml.asc

|   `-- RPMS

|       |-- noarch

|       `-- x86_64

|           |-- cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64.rpm

|           |-- cloudera-manager-daemons-5.3.0-1.cm530.p0.166.el6.x86_64.rpm

|           |-- cloudera-manager-server-5.3.0-1.cm530.p0.166.el6.x86_64.rpm

|           |-- cloudera-manager-server-db-2-5.3.0-1.cm530.p0.166.el6.x86_64.rpm

|           |-- enterprise-debuginfo-5.3.0-1.cm530.p0.166.el6.x86_64.rpm

|           |-- jdk-6u31-linux-amd64.rpm

|           `-- oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

|-- cloudera-manager.repo

`-- RPM-GPG-KEY-cloudera

10 directories, 18 files

说明：要在生产系统部署CDH，先要实现Cloudera Manager的离线安装，安装好Cloudera Manager后，还要通过Cloudera Manager执行CDH的离线安装两个步骤。由于生产环境的封闭性以及国内网络环境，这些离线包很难从Cloudera的官方网站下载，所以需要将Cloudera的官方网站下载地址映射到本地IP。

3、配置一个http服务

[[email protected] html]$ sudo /etc/init.d/httpd start启动httpd服务

[[email protected] html]$ chkconfig --list httpd            检查httpd服务开机启动情况

[[email protected] html]$ ps -ef|grep apache查看此服务是否启动

注：我们把CM安装需要的包都放到这个服务目录下面了。

4、配置本地映射ip到这个httpd服务

[[email protected] html]$ cat /etc/hosts

192.168.2.200   server1

192.168.2.201   server2

192.168.2.202   server3

192.168.2.203   server4

192.168.2.124     archive.cloudera.com

192.168.2.124     archive-primary.cloudera.com

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/  在本地机器输入这个地址能访问到你搭建的这个本地源库

注：注意映射地址是在所有要按照cdh的机器上配置，如果要验证是否大家离线源成功，请在windows本地hosts文件映射安装源地址，浏览器地址即可验证。

5、CDH和Impala的离线安装包下载

[[email protected] html]$ sudo mkdir cdh5/parcels/latest -p建立源目录

[[email protected] html]$ tree /var/www/html/

/var/www/html/

|-- cdh5

|   `-- parcels

|       `-- latest

|           |-- CDH-5.3.0-1.cdh5.3.0.p0.30-el5.parcel

|           |-- CDH-5.3.0-1.cdh5.3.0.p0.30-el6.parcel

|           |-- CDH-5.3.0-1.cdh5.3.0.p0.30-precise.parcel

|           |-- CDH-5.3.0-1.cdh5.3.0.p0.30-sles11.parcel

|           |-- CDH-5.3.0-1.cdh5.3.0.p0.30-trusty.parcel

|           |-- CDH-5.3.0-1.cdh5.3.0.p0.30-wheezy.parcel

|           `-- manifest.json

`-- cm5

`-- redhat

`-- 6

`-- x86_64

`-- cm

|-- 5

|   |-- RPMS

|   |   |-- noarch

|   |   `-- x86_64

|   |       |-- cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64.rpm

|   |       |-- cloudera-manager-daemons-5.3.0-1.cm530.p0.166.el6.x86_64.rpm

|   |       |-- cloudera-manager-server-5.3.0-1.cm530.p0.166.el6.x86_64.rpm

|   |       |-- cloudera-manager-server-db-2-5.3.0-1.cm530.p0.166.el6.x86_64.rpm

|   |       |-- enterprise-debuginfo-5.3.0-1.cm530.p0.166.el6.x86_64.rpm

|   |       |-- jdk-6u31-linux-amd64.rpm

|   |       `-- oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

|   |-- mirrors

|   `-- repodata

|       |-- filelists.xml.gz

|       |-- filelists.xml.gz.asc

|       |-- other.xml.gz

|       |-- other.xml.gz.asc

|       |-- primary.xml.gz

|       |-- primary.xml.gz.asc

|       |-- repomd.xml

|       `-- repomd.xml.asc

|-- RPM-GPG-KEY-cloudera

`-- cloudera-manager.repo

6、安装要的软件

115  rpm -qa | grep mysql 检查是否安装mysql

117  rpm -e mysql-libs-5.1.71-1.el6.x86_64  
卸载

118  rpm -e mysql-libs-5.1.71-1.el6.x86_64 --nodeps   强制卸载

119  rpm -qa | grep mysql 检查是否卸载

120  rpm -i MySQL-server-5.5.40-1.linux2.6.x86_64.rpm    安装mysql

121  mysqld_safe & 启动mysql服务端

122  rpm -i MySQL-client-5.5.40-1.linux2.6.x86_64.rpm  安装客户端

123  mysql_secure_installation  修改密码以及初始化信息

124  mysql -uroot -padmin 登录

126  tar -zxvf jdk-7u45-linux-x64.tar.gz -C ../  安装jdk

143  chmod u+x cloudera-manager-installer.bin    修改权限为可执行

145  ./cloudera-manager-installer.bin   安装CM

[[email protected] installpackage]# cat /var/log/cloudera-manager-installer/4.install-cloudera-manager-server-db-2.log

安装报错：Error: Package: cloudera-manager-server-db-2-5.0.0-1.cm500.p0.215.el6.x86_64 (cloudera-manager)

Requires: postgresql-server >= 8.4

解决方法：手动下载rpm文件并按顺序逐个安装，因为CM依赖于postgresql数据库。

rpm -ivh postgresql-libs-8.4.20-1.el6_5.x86_64.rpm

rpm -ivh postgresql-8.4.20-1.el6_5.x86_64.rpm

rpm -ivh postgresql-server-8.4.20-1.el6_5.x86_64.rpm

[[email protected] installpackage]# ./cloudera-manager-installer.bin  再次安装，即可成功

[[email protected] installpackage]# netstat -an | grep 7180
查看7180端口是否起来

tcp        0      0 0.0.0.0:7180                0.0.0.0:*                   LISTEN

tcp        0      0 135.32.43.192:7180          135.32.43.209:63901         TIME_WAIT

tcp        0      0 135.32.43.192:7180          135.32.43.209:63902         TIME_WAIT

tcp        0      0 135.32.43.192:7180          135.32.43.209:63899         TIME_WAIT

tcp        0      0 135.32.43.192:7180          135.32.43.209:63895         TIME_WAIT

7、安装CM过程报错

--> Finished Dependency Resolution

Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager)

Requires: fuse-libs

Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager)

Requires: redhat-lsb

Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager)

Requires: cyrus-sasl-gssapi

Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager)

Requires: portmap

Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager)

Requires: fuse

You could try using --skip-broken to work around the problem

You could try running: rpm -Va --nofiles --nodigest

END (1)

remote package cloudera-manager-agent could not be installed, giving up waiting for rollback request

换为国内源，安装 sudo yum install redhat-lsb -y， sudo yum install -y cyrus-sasl-gssapi portmap,sudo yum install fuse-libs fuse

$ vi /etc/yum.repos.d/163.repo    #如果没有这个文件，新建一个，切记：$releasever被修改为了6

[base]

name=CentOS-$releasever - Base - 163.com

baseurl=http://mirrors.163.com/centos/6/os/$basearch/

enabled=1

gpgcheck=0

[updates]

name=CentOS-$releasever - Updates - 163.com

baseurl=http://mirrors.163.com/centos/6/updates/$basearch/

enabled=1

gpgcheck=0

[extras]

name=CentOS-$releasever - Extras - 163.com

baseurl=http://mirrors.163.com/centos/6/extras/$basearch/

enabled=1

gpgcheck=0

[[email protected] yum.repos.d]# yum clean all

[[email protected] yum.repos.d]# yum makecache    #生成缓存

[[email protected] yum.repos.d]# yum install redhat-lsb cyrus-sasl-gssapi portmap fuse-libs fuse -y

至此，CM离线安装已完成！

注意：如果你和我一样是用笔记本虚拟机搭建，可能会出现内存不够，导致CM挂掉情况请重启CM服务，/etc/init.d/cloudera-scm-server start，/etc/init.d/cloudera-scm-agent start，不得不赞叹，cloudera的强大，你启动CM服务后，文件继续断点开始分发！而不用重新开始。

8、在CM界面添加各种hadoop组件

注意：如果组件还是离线，请把cloudera相关项目源目录结构以及rpm包安装之前CM安装制作本地源方式存放rpm包，在这里才能成功安装组件！

时间： 2024-08-29 23:04:50

Cloudera-manager-installaction的相关文章

[How to]Cloudera manager 离线安装手册

1.简介 本文介绍在离线环境下安装Cloudera manager和简单使用方法 2.环境 OS:CentOS 6.7 Cloudera manager版本:5.5.1 CDH版本:5.4.2 安装用户:root 资源: 10.211.55.16 xufeng-1 CM主节点,CM代理节点 10.211.55.17 xufeng-2 CM代理节点 10.211.55.18 xufeng-3 CM代理节点 3.介质准备 由于是要求在离线环境下进行安装,所以我们必须是先下载好安装所需要的所有介质.

CDH 2、Cloudera Manager的安装

1.Cloudera Manager • Cloudera Manager是一个管理CDH的端到端的应用. • 作用: – 管理 – 监控 – 诊断 – 集成 • 架构 • Server – 管理控制台服务器和应用程序逻辑 – 负责软件安装.配置,启动和停止服务 – 管理服务运行的群集 • Agent – 安装在每台主机上 – 负责启动和停止进程,配置,监控主机 • Management Service – 由一组角色组成的服务,执行各种监视.报警和报告功能 • Database • Cloud

卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译】

问题导读: 1.不同的安装方式,卸载方法存在什么区别?2.不同的操作系统,卸载 Cloudera Manager Server and 数据库有什么区别? 重新安装不完整如果你来到这里,因为你的安装没有完成(例如,如果它是由一个虚拟机超时中断),和你想继续安装,然后重新安装,做到以下几点:删除文件和目录: 个人建议:这一步虽然是官网这么做,但是下面命令还是不要执行,因为我们后面还会用到下面命令 /usr/share/cmf/uninstall-cloudera-manager.sh 复制代码 当

转Cloudera Manager 和 CDH 4 终极安装

系统环境 操作系统:CentOS 6.5 Cloudera Manager 版本:4.8.1 CDH版本:4.5.0 各机器准备工作: yum -y groupinstall "Development tools" yum -y install wget  Cloudera-manager压缩包地址:    http://archive.cloudera.com/cm4/cm/4/cloudera-manager-el6-cm4.8.1_x86_64.tar.gz CDH 下载地址:

Cloudera Manager 5和CDH5离线安装

CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机.Hadoop.Hive.Spark等服务的安装配置管理做了极大简化. 相关包的下载地址: Cloudera Manager

离线安装Cloudera Manager 5.3

离线安装ClouderaManager 5.3   关于CDH和ClouderaManager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的ApacheHadoop构建,并集成了很多补丁,可直接用于生产环境(本次项目环境使用了4个节点的CDH5.1.3版本). Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管

Centos6.5安装配置Cloudera Manager CDH5.6.0 Hadoop

环境规划操作系统版本:CentOS-6.5-x86_64-minimal.iso 192.168.253.241    master   虚拟机4G内存192.168.253.242    slave1    虚拟机2G内存192.168.253.243    slave2    虚拟机2G内存 一.环境初始化1.修改主机名(每台机器都执行) 192.168.253.241    master 192.168.253.242    slave1 192.168.253.243    slave2

解析Cloudera Manager内部结构、功能包括配置文件、目录位置等

转载自 http://www.aboutyun.com/thread-9189-1-1.html 问题导读1.CM的安装目录在什么位置? 2.hadoop配置文件在什么位置? 3.Cloudera manager运行所需要的信息存在什么位置? 4.CM结构和功能是什么? 1. 相关目录 /var/log/cloudera-scm-installer : 安装日志目录. /var/log/* : 相关日志文件(相关服务的及CM的). /usr/share/cmf/ : 程序安装目录. /usr/l

Install hadoop with Cloudera Manager 5 on CentOS 6.5

分区考虑,不要使用LVMroot -- > 20Gswap -- 2倍系统内存 RAM -- >4GB Master node:RAID 10, dual Ethernet cards, dual power supplies, etc. Slave node:1. RAID is not necessary 2. HDFS分区, not using LVM/etc/fstab -- ext3    defaults,noatime挂载到/data/N, for N=0,1,2... (one

Hadoop 离线安装 CDH5.1 第二章:cloudera manager与agent 安装

新建cloudera-scm用户 (做了分行,这个是一条linux命令,) [[email protected] cloudera-manager-5.1.0]$ sudo useradd --system  --home=/opt/cloudera-manager-5.1.0/run/cloudera-scm-server  --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm 改