CDH 离线简易部署文档

文档说明

本文为开发部署文档，生产环境需做相应调整。

以下操作尽量在root用户下操作，避免权限问题。

系统环境

系统版本	主机名	主机ip	用户名密码	说明
Centos6.5	bigdata01	10.62.8.1	Root:rootroot	安装主节点，主节点，
Centos6.5	bigdata02	10.62.8.2	Root:rootroot	从节点
Centos6.5	bigdata03	10.62.8.3	Root:rootroot	从节点
Centos6.5	bigdata04	10.62.8.4	Root:rootroot	从节点

初始准备：

java下载和更新

为了避免java版本过低导致的相关问题，首先将每个节点java版本更新至1.8。

#查看已经安装版本

rpm -qa | grep jdk

java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64

java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64

#卸载已经安装版本

yum -y remove java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64

yum -y remove java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64

#安装最新版本

rpm -ivh jdk-8u101-linux-x64.rpm

#查看最新安装版本

java –version

Java(TM) SE Runtime Environment (build 1.8.0_101-b13)

Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)

修改主机名与主机名解析

为了方便配置各节点，将主机名设置成特定格式，方便记忆。每个节点对应修改

#设定主机名与网卡启动

vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=bigdata01

#主机名和IP解析

vim /etc/hosts

127.0.0.1 localhost. bigdata01

10.62.8.2 bigdata02

10.62.8.4 bigdata03

10.62.8.4 bigdata04

selinux关闭

# 每个节点通过配置文件永久关闭selinux，重启生效

vim /etc/sysconfig/selinux

SELINUX=disabled

# 查看selinux状态

sestatus –v

SELinux status: disabled

防火墙关闭

# 每个节点关闭防火墙（或者设置对应的策略能够让各节点互相通信）

service iptables stop #临时关闭

chkconfig iptables off #开机关闭

service iptables status #查看状态

NTP服务器设置

# 每个节点开启NTP 服务，统一各节点时间。

vim /etc/ntp.conf

server 10.62.8.1 iburst #离线情况下节点指向主节点

service ntpd restart

# 检查

service ntpd status

date

SSH无密码登录配置

# 主节点生成ssh公钥

ssh-keygen -t rsa （一直回车）

ssh-copy-id bigdata02 （对应节点）

# 检查在主节点上能否免密登录各节点

ssh bigdata02

# 如果不能免密登录，查看 /var/log/security, 一般为ssh文件的权限问题

安装mysql

# 安装在主节点上，用于存放cloudera manager 配置文件，如果已有即可不用安装。

tar -xvf MySQL-5.6.24-1.linux_glibc2.5.x86_64.rpm-bundle.tar

rpm -ivh MySQL-*.rpm

cp /usr/share/mysql/my-default.cnf /etc/my.cnf

vim /etc/my.cnf

[mysqld]

default-storage-engine = innodb

innodb_file_per_table

collation-server = utf8_general_ci

init-connect = ‘SET NAMES utf8‘

character-set-server = utf8

#初始化mysql

/usr/bin/mysql_install_db

# 开启mysql

service mysql restart

ERROR! MySQL server PID file could not be found!

Starting MySQL... SUCCESS!

# 查看mysql root初始化密码

cat /root/.mysql_secret

The random password set for the root user at Fri Sep 16 11:13:25 2016 (local time): 9mp7uYFmgt6drdq3

#登录mysql并修改密码

mysql -u root –p

mysql> SET PASSWORD=PASSWORD(‘root12345678‘);

# 允许mysql远程访问

mysql> update user set host=‘%‘ where user=‘root‘ and host=‘localhost‘;

Query OK, 1 row affected (0.05 sec)

Rows matched: 1 Changed: 1 Warnings: 0

mysql> flush privileges;

Query OK, 0 rows affected (0.00 sec)

# 创建集群对应数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;