CDH5.7.2离线部署笔记

1、部署基本信息说明：

1.1、主机信息

操作系统：选择CentOS6.7 x86-64版本

MEM：64GB，CPU: E5-2630 v3 @ 2.40GHz, DISK:2TB*4(数据节点存储，操作系统除外）

主机信息：

主机名               IP

dcnn1          10.20.20.1

dcnn2          10.20.20.2

dcdn01        10.20.20.3

dcdn02        10.20.20.4

dcdn03        10.20.20.5

1.2、CDH版本信息

ClouderaManager：cm5.7.2

CDH：cdh5.7.2版本

2、部署步骤

2.1

下载安装包

CM parcel离线安装包：5.7.2

　　　　http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz

CDH parcel离线安装包：（5.7.2）

http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.2-1.cdh5.7.2.p0.18-el6.parcel

http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.2-1.cdh5.7.2.p0.18-el6.parcel.sha1

http://archive.cloudera.com/cdh5/parcels/5.7/manifest.json

2.2 账号分配

建立安装用户bigdata，用户配置sudo无密码登录权限，后面都以bigdata用户操作,也可以直接用root用户操作

部署管理平台的主机打通到其它主机的ssh免登陆（部署用户，bigdata或者root），这里用bigdata

2.3 主机名设置：

每台主机的/etc/hosts增加所有主机信息，并用hostname命令更改相应主机名

10.20.20.1  dcnn1

10.20.20.2  dcnn2

10.20.20.3  dcdn01

10.20.20.4  dcdn02

10.20.20.5  dcdn03

2.4网络配置（每台主机）

以dcnn1位例

vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=dcnn1

通过service network restart重启网络服务，生效

2.5关闭IPtables和SELINUX （每台主机）

sudo chkconfig iptables off

sudo /etc/init.d/iptables stop

关闭SELINUX（实际安装过程中发现没有关闭也是可以的，不知道会不会有问题，还需进一步进行验证）:

setenforce 0 （临时生效）

修改：/etc/selinux/configx下的 SELINUX=disabled（重启后永久生效）

2.6开启NTP服务

这里因为是和外网隔离的，配置自己的ntpd服务器，ntp服务未安装，请自行安装，一般linux系统会默认安装ntpd服务，但没有启动，没有的可以自行安装

配置ntp server：

1）打开ntp服务配置文件/etc/ntp.conf

2）增加内容

//忽略ntp要求封包

restrict default nomodify notrap

restrict 10.20.20.1 mask 255.255.255.0 nomodify

server 10.20.20.1

//表示NTP主服务器是与自身的系统时钟同步

server 127.127.1.0

//同步上层服务器的stratum 大小不能超过或等于16

fudge 127.127.1.0 stratum 10

3）启动

启动服务：sudo service ntpd start

重启生效：sudo chkconfig ntpd on

配置ntp  client：

1）打开ntp服务配置文件/etc/ntp.conf

2）增加内容

server 10.20.20.1

3）启动

启动服务：sudo service ntpd start

重启生效：sudo chkconfig ntpd on

注：ntp服务的配置，生效需要一段时间，我自己测试大概5分钟左右，刚重启ntp服务，检查状态并不一定正常。

2.7安装JDK

我们使用建议版本1.8.0_60

因为CDH需要oracle的java（所有节点）

CentOS自带OpenJdk，不过运行CDH5需要使用Oracle的JDK，需要Java 7以上的支持。

先卸载自带的OpenJdk，使用rpm -qa | grep java查询java相关的包，使用rpm -e --nodeps 包名卸载之。

安装： rpm -ivh jdk-8u60-linux-x64.rpm

由于是rpm包并不需要我们来配置环境变量，我们只需要配置一个全局的JAVA_HOME变量即可，执行命令：

echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment

2.8 安装MySQL（安装CentOS6.7自带版本5.1.7）

mysql数据库服务端：

sudo rpm -hvi mysql-5.1.73-5.el6_6.x86_64.rpm

sudo rpm -hvi perl-DBD-MySQL-4.013-3.el6.x86_64.rpm

sudo rpm -hvi mysql-server-5.1.73-5.el6_6.x86_64.rpm

chkconfig mysqld on设置开机启动，并service mysqld start启动mysql服务，

并根据提示设置root的初试密码：

      mysqladmin -u root password ‘bigdata‘

mysqladmin -u root -h dcnn1 password ‘bigdata‘

mysql数据库客户端：

sudo rpm -hvi mysql-5.1.73-5.el6_6.x86_64.rpm

创建数据库和设置mysql数据库访问权限：

#hive

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

UPDATE user SET password=PASSWORD(‘hive‘) WHERE user=‘hive‘;

#activity monitor

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

UPDATE user SET password=PASSWORD(‘amon‘) WHERE user=‘amon‘;

#oozie

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

UPDATE user SET password=PASSWORD(‘oozie‘) WHERE user=‘oozie‘;

#report

create database report DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

UPDATE user SET password=PASSWORD(‘report‘) WHERE user=‘report‘;

FLUSH PRIVILEGES;

#设置root授权访问以上所有的数据库：

grant all privileges on *.* to ‘root‘@‘dcnn1‘ identified by ‘bigdata‘ with grant option;

flush privileges;

#授权用户在服务端拥有数据库的访问权限

grant all privileges on *.* to ‘oozie‘@‘dcnn1 ‘ identified by ‘oozie‘ with grant option;

grant all privileges on *.* to ‘hive‘@‘dcnn1‘ identified by ‘hive‘ with grant option;

grant all privileges on *.* to ‘amon‘@‘dcnn1 ‘ identified by ‘amon‘ with grant option;

grant all privileges on *.* to ‘report‘@‘dcnn1 ‘ identified by ‘report‘ with grant option;

flush privileges;

#授权root用户在客户端拥有数据库的访问权限

GRANT ALL PRIVILEGES ON *.* TO ‘hive‘@‘%‘ IDENTIFIED BY ‘hive‘ WITH GRANT OPTION;

GRANT ALL PRIVILEGES ON *.* TO ‘oozie‘@‘%‘ IDENTIFIED BY ‘oozie‘ WITH GRANT OPTION;

GRANT ALL PRIVILEGES ON *.* TO ‘amon‘@‘%‘ IDENTIFIED BY ‘amon‘ WITH GRANT OPTION;

GRANT ALL PRIVILEGES ON *.* TO ‘report‘@‘%‘ IDENTIFIED BY ‘report‘ WITH GRANT OPTION;

flush privileges;

2.9安装cm

cm和namenode复用了，机器太少了

1）将下载的cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz上传至dcnn1目录/opt下（该目录为Cloudera manager的默认目录）

2）tar xvfz cloudera-manager*.tar.gz，解压后生成两个目录cloudera和cm-5.7.2

    

3)所有节点创建用户cloudera-scm

sudo useradd --system --home=/opt/cm-5.7.2/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

4）为Cloudera Manager 5建立数据库

首先需要去MySql的官网下载JDBC驱动mysql-connector-java-5.1.38.tar.gz（可以下载最新的版本），下载地址：http://dev.mysql.com/downloads/connector/j/ ，解压后找到mysql-connector-java-5.1.38-bin.jar放到/opt/cm-5.7.2/share/cmf/lib/中： cp mysql-connector-java-5.1.38-bin.jar /opt/cm-5.7.2/share/cmf/lib/

/opt/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql cm -h dcnn1 -uroot -pbigdata --scm-host dcnn1 scm scm scm

遇到问题：未解决，但不影响后面得部署

AVA_HOME=/usr/java/jdk1.8.0_60

Verifying that we can write to /opt/cm-5.7.2/etc/cloudera-scm-server

log4j:ERROR Could not find value for key log4j.appender.A

log4j:ERROR Could not instantiate appender named "A".

Creating SCM configuration file in /opt/cm-5.7.2/etc/cloudera-scm-server

Executing:  /usr/java/jdk1.8.0_60/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cm-5.7.2/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cm-5.7.2/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.

log4j:ERROR Could not find value for key log4j.appender.A

log4j:ERROR Could not instantiate appender named "A".

agent配置

1）修改/opt/cm-5.7.2/etc/cloudera-scm-agent/config.ini中的server_host， server_host为主节点的主机名

2）同步Agent到其他节点

sudo scp -r /opt/cm-5.7.2 [email protected]:/opt/;

sudo scp -r /opt/cm-5.7.2 [email protected]:/opt/;

sudo scp -r /opt/cm-5.7.2 [email protected]:/opt/;

sudo scp -r /opt/cm-5.7.2 [email protected]:/opt/;

2.10启动服务

通过sudo /opt/cm-5.7.2/etc/init.d/cloudera-scm-server start 启动服务端

通过sudo /opt/cm-5.7.2/etc/init.d/cloudera-scm-agent start 启动agent端

我们启动的其实是个service脚本，需要停止服务将以上的start参数改为stop就可以了，重启是restart。

2.11 通过cm部署CDH

1）登录http://10.20.20.1:7180

2)根据向导就可以一步一步进行了，比较简单。

3 遇到问题

1、hive和oozie启动失败

缺少JDBC驱动，因为我的mysql装在远端，这里要访问的时候要通过JDBC驱动。因此将mysql-connector-java-5.1.22-bin.jar添加到hive和oozie的lib：

sudo cp mysql-connector-java-5.1.38-bin.jar /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/hive/lib

sudo cp mysql-connector-java-5.1.38-bin.jar /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/oozie/libext

2、安装后hive在查询时失败，原因是权限问题

org.apache.hadoop.security.AccessControlException: Permission denied: user=bigdata, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x

最简单的处理办法是：服务范围勾选去掉。

时间： 2024-07-30 10:20:34

CDH5.7.2离线部署笔记的相关文章

CDH5.16.1集群企业真正离线部署

?.准备?作 1.离线部署大纲 MySQL离线部署 CM离线部署 Parcel?件离线源部署 2.规划 linux版本:CentOS 7.2 节点 MySQL组件 Parcel?件离线源 CM服务进程 ?数据组件 hadoop001 MySQL Parcel Alert Publisher Event Server NN RM DN NM ZK hadoop002 Alert Publisher Event Server DN NM ZK hadoop003 Host Monitor Servi

《ArcGIS Runtime SDK for Android开发笔记》——基于Android Studio构建ArcGIS Android开发环境（离线部署）

1.前言 在上一篇的内容里我们介绍了基于Android Studio构建ArcGIS Runtime SDK for Android开发环境的基本流程,流程中我们采用的是基于Gradle的构建方式,在这种方式里主要通过设置maven仓库位置,设置编译选项.依赖版本在联网环境下下载对应SDK依赖包. 但是在网络情况不好的情况下这种方式就不行了,那怎么解决在离线环境或者内网环境实现开发流程呢?目前了解到的有两种方式: 1)配置内网环境maven仓库,预先缓存到内网环境下,然后离线调用. 2)采用直接

CDH5.10.0 离线安装(共3节点)

1.安装方式 CDH的离线部署安装,即Parcel包(推荐) 2.角色规划 三个节点对应的角色: 3.基本环境配置(在每个节点上都要配置) (1)关闭防火墙 #/etc/init.d/iptables stop # chkconfig --level 345 iptables off (2)关闭seliux # vim /etc/sysconfig/selinux SELINUX=disabled (3)ip和主机名对应 #vim /etc/hosts 172.16.101.54    sht-

ArcGIS for Server内置JS Viewer的离线部署和配置

很多情况下,在地图服务发布完毕后,我们往往利用 ArcGIS for Server内置的 JS Viewer来查看和检测所发布的地图服务是否满足我们的要求.具体操作如下: 点击开始 -> 所有程序 -> ArcGIS -> ArcGIS for Server -> Services Directory 或直接在浏览器地址栏中键入 http://ip:6080/arcgis/rest打开ArcGIS for Server的Service Directories页面,选中并点击要查看的

HappyAA服务器部署笔记1(nginx+tomcat的安装与配置)

这是本人的服务器部署笔记.文章名称叫"部署笔记1"的原因是之后我对这个进行了改进之后,会有"部署笔记2","部署笔记3"...循序渐进,估计应该是这样的:) 概述与设计 nginx安装 nginx基本使用 nginx的配置 tomcat的安装与配置 部署程序 待续 概述与设计 主机使用阿里云主机,配置不高,但前期应该够用,以后有需要的话再升级. 主要的业务逻辑是用java实现,并用tomcat承载,但大家知道tomcat并不适合作为大量的静态资源

十、MDT 2013 Update 1批量部署-media(离线部署包)的制作及使用

MDT 2013 Update 1的高级特性里有个MEDIA包的制作,也就是离线部署包,不用网络就可以实现微软操作系统的部署,利用生成的ISO,刻盘.U盘.移动硬盘实现单机操作系统部署,这个功能以前没有使用过,为了完整这次的使用功能汇总,特意的去使用. 10.1 media(离线部署包)的制作 选择高级配置里的MEDIA功能,再选择一个对应的目录,本例中选用c:\usb 设置生成离线包的名称 也可以参数文件,由于本地用户与网络使用有些参数不完全一致(如本地部署不需要用户名.密码.登录域等),所以

OpenStack部署笔记和安装WindowsXP镜像

以下是本人最近两周搭建OpenStack的心得与笔记,参考了网上很资料,终于搭建完成,途中遇到过很多问题,比如stack.sh执行中途出错问题,系统安装vnc连接问题,建云主机蓝屏问题,后来都慢慢解决了,供各位网友参考. 1. 系统为 ubuntu-14.04.1 amd64 位版本 ,电脑单网卡就可以了,不需要双网卡. 2. sudo apt-get update 3. sudo apt-get upgrade 4. sudo apt-get install python-netaddr gi

Cesium简介以及离线部署运行

Cesium简介 cesium是国外一个基于JavaScript编写的使用WebGL的地图引擎,一款开源3DGIS的js库.cesium支持3D,2D,2.5D形式的地图展示,可以自行绘制图形,高亮区域,并提供良好的触摸支持,且支持绝大多数的浏览器和mobile,但是由于cesium基于WebGL来渲染3D的,所以对浏览器有要求,必须支持WebGL才行.参照cesium官网的说明文档,浏览器支持版本:IE11或者以上.谷歌.火狐版本比较高级等等,其实测试浏览器支不支持,运行demo就可以测试,会

sqoop安装部署(笔记)

sqoop是一个把关系型数据库数据抽向hadoop的工具.同时,也支持将hive.pig等查询的结果导入关系型数据库中存储.由于,笔者部署的hadoop版本是2.2.0,所以sqoop的版本是:sqoop-1.99.3-bin-hadoop2001.下载sqoop  wget  http://mirrors.cnnic.cn/apache/sqoop/1.99.3/sqoop-1.99.3-bin-hadoop200.tar.gz2.解压sqoop安装文件  tar -zxvf sqoop-1.