1.安装方式
CDH的离线部署安装,即Parcel包(推荐)
2.角色规划
三个节点对应的角色:
3.基本环境配置(在每个节点上都要配置)
(1)关闭防火墙
#/etc/init.d/iptables stop
# chkconfig --level 345 iptables off
(2)关闭seliux
# vim /etc/sysconfig/selinux
SELINUX=disabled
(3)ip和主机名对应
#vim /etc/hosts
172.16.101.54 sht-sgmhadoopcm-01
172.16.101.55 sht-sgmhadoopnn-01
172.16.101.56 sht-sgmhadoopnn-02
(4)安装JDK
# tar xf /usr/java/jdk-8u111-linux-x64.tar.gz
# chown -R root:root jdk1.8.0_111
# vim /etc/profile
JAVA_HOME=/usr/java/jdk1.8.0_111/
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export CLASSPATH
export PATH
#source /etc/profile
(5)检查python版本
# python -V
Python 2.7.5
(6)NTP同步
如果你的环境是自己的虚拟机,则需要配置ntp服务,保证每个节点时钟同步;
如果是云环境,则不需要配置。
(7)关闭大页面
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
# cat /etc/rc.local
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
(8)设置swap
# vim /etc/sysctl.conf
vm.swappiness = 0
# sysctl -p
4.CM安装配置(只在cm管理节点上配置)
(1)配置http服务
yum install -y httpd
/etc/init.d/httpd start
浏览器访问:http://172.16.101.54
(2)下载并上传CDH5.10.0的parcel文件:http://archive.cloudera.com/cdh5/parcels/5.10.0/
#注意:需要把CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1 改名为 CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha
# ll /var/www/html/cdh_parcel
-rwxr-xr-x 1 root root 1501694035 Feb 20 15:17 CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel
-rwxr-xr-x 1 root root 41 Feb 20 15:06 CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha
-rwxr-xr-x 1 root root 64807 Jan 26 2017 manifest.json
(3)下载并上传CDH5.10.0的RPM压缩包:cm5.10.0-centos6.tar.gz
http://archive.cloudera.com/cm5/repo-as-tarball/5.10.0/
# mkdir -p /var/www/html/cm5/redhat/6/x86_64/
# tar -zxvf cm5.10.0-centos6.tar.gz -C /var/www/html/cm5/redhat/6/x86_64/
# chmod -R 755 /var/www/html/*
浏览器访问:http://172.16.101.54/cdh_parcel/
浏览器访问:http://172.16.101.54/cm5/redhat/6/x86_64/cm/5.10.0/RPMS/x86_64/
5.配置yum源(在每个节点上都要配置)
# vim /etc/yum.repos.d/cloudera-manager.repo
[cloudera-manager]
name = Cloudera Manager, Version 5.10.0
baseurl = http://172.16.101.54/cm5/redhat/6/x86_64/cm/5/
gpgcheck = 0
6.安装rpm包和安装配置mysql数据库(只在cm节点上操作)
(1)安装CM
#yum clean all
# cd /var/www/html/cm5/redhat/6/x86_64/cm/5.10.0/RPMS/x86_64/
#yum install -y cloudera-manager-daemons-5.10.0-1.cm5100.p0.85.el6.x86_64.rpm
#yum install -y cloudera-manager-server-5.10.0-1.cm5100.p0.85.el6.x86_64.rpm
(2)配置数据库
# vim /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=172.16.101.54:3306
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=cmf
com.cloudera.cmf.db.password=cmf_password
com.cloudera.cmf.db.setupType=EXTERNAL
(3)下载mysql jdbc驱动包
#cd /usr/share/java
#wget http://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.37.zip
#unzip mysql-connector-java-5.1.37.zip
#cd mysql-connector-java-5.1.37
#cp mysql-connector-java-5.1.37-bin.jar ../mysql-connector-java.jar
(4)安装mysql过程省略
#创建库和用户
create database cmf DEFAULT CHARACTER SET utf8;
grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY 'cmf_password';
create database amon DEFAULT CHARACTER SET utf8;
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'amon_password';
flush privileges;
(5)启动cm服务,这个过程会耗费一些时间,大约3minutes,在mysql中创建一系列的表,
如果启动失败可以查看/var/log/cloudera-scm-server/的日志
# /etc/init.d/cloudera-scm-server start
7.图形向导安装
浏览器访问:http://172.16.101.54:7180/
用户名和密码都是admin
(1)选择安装的版本: Cloudera Express
(2)数据IP地址搜索:172.16.101.[54-56]
(3)选择安装方式:
a.使用parcel包,更多:
Parcel 目录:/opt/cloudera/parcels
(即CDH的软件的安装目录,每个节点都会自动创建,安装完成后,大约3.5G)
本地parcel仓库目录:/opt/cloudera/parcel-repo
远程 Parcel 存储库 URL:http://172.16.101.54/cdh_parcel/
(即parcel包存放的http目录)
b.选择您要安装在主机上的 Cloudera Manager Agent 特定发行版:(注意这里的http不要写成https,否则后面会报错)
自定义存储库: http://172.16.101.54/cm5/redhat/6/x86_64/cm/5/
(4)JDK安装选项--不勾
(5)启用当用户模式--不勾
(6)使用root用户或者不用密码就能sudo到root的用户
这里使用LDAP用户需要提前在每个节点上配置一下:
# visudo
xxxuser ALL=(ALL) NOPASSWD:ALL
(7)集群安装
大概需要20minutes
这一步主要是在各个节点上安装cloudera-scm-agent,cloudera-manager-daemons,并启动agent.
(8)集群设置
选择安装的服务组合:自定义服务HDFS,YARN,Zookeeper
(9)自定义角色分配,和“2.角色规划”相同
(10)数据库设置
数据库主机名称:172.16.101.54:3306
数据库类型:MySQL
库:amon
用户:amon
密码:amon_password
测试连接成功,next
(11)审核更改:(无需修改,全部默认即可)
HDFS 块大小 128
接受的 DataNode 失败的卷:0
DataNode 数据目录 /dfs/dn
NameNode 数据目录 /dfs/nn
HDFS 检查点目录 /dfs/snn
Host Monitor 存储目录 /var/lib/cloudera-host-monitor
Service Monitor 存储目录 /var/lib/cloudera-service-monitor
NodeManager 本地目录 /yarn/nm
数据目录 /var/lib/zookeeper
事务日志目录 /var/lib/zookeeper
(12)安装完成
原文地址:http://blog.51cto.com/darrenmemos/2086251