1       概述

1.1     服务器角色说明

1.2     用户名密码说明

虚拟机用户名密码：root/cloudera

Cloudera相关的用户名密码：username/cloudera

2       安装虚拟机

2.1     VMware介质

版本VMware-workstation-full-10.0.2-1744117.1398244508

2.2     CentOS介质

版本CentOS-6.7-x86_64

3       配置虚拟机并安装软件

3.1     配置主机名

# vi /etc/hosts

127.0.0.1 localhost.localdomain      localhost

192.168.59.99          cdh01.cap.com         cdh01

192.168.59.100        cdh02.cap.com         cdh02

192.168.59.101        cdh03.cap.com         cdh03

3.2     配置网络

vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=cdh01.cap.com

NETWORKING_IPV6=no

GATEWAY=192.168.59.2

3.3     主机名检查

hostname #查看主机名

uname -a #检查与hostname显示的是否一致

ifconfig #查看ip以及使用的网卡

ping *****.cap.com #检查与hostname中配置的是否一致

3.4     打通SSH（所有节点）

ssh-keygen -t rsa #一路回撤确定

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

#scp ~/.ssh/authorized_keys [email protected]:~/.ssh/ #先装一台原始机，后面使用该机的clone版，因此本手册没有复制场景

3.5     关闭防火墙（所有节点）

service iptables status #查看运行状态

service iptables stop #临时关闭

chkconfig iptables off #设置重启后不随机启动

chkconfig --list iptables #检查设置是否生效

3.6     禁止SELINUX

vi /etc/selinux/config

SELINUX=disabled #禁止

3.7     修改swappiness（执行后重启失效）

echo 0 > /proc/sys/vm/swappiness

3.8     时间同步检查，并启动

service ntpd status #查看运行状态

#yum -y install ntp

service ntpd start #启动

#systemctl start ntpd.service #CentOS7命令

chkconfig ntpd on #设置随机启动

#systemctl enable ntpd.service #CentOS7命令

chkconfig --list ntpd #检查配置是否生效

3.9     设置ssh服务随机启动

service sshd status #查看运行状态

service sshd start #启动

chkconfig sshd on #设置随机启动

chkconfig --list sshd #检查配置是否生效

3.10        修改通过ssh执行脚本时引起的告警错误

visudo -f /etc/sudoers

Defaults    requiretty

注释成

#Defaults    requiretty

#Defaults   !visiblepw

改成

Defaults   visiblepw

3.11        安装Python模块包

yum install gcc-c++

yum install python-setuptools

yum install python-devel.x86_64

easy_install psutil==2.1.3 (依赖python-devel，需要先安装)

#easy_install -m psutil (卸载已安装的模块)

easy_install avro

easy_install supervisor

easy_install guppy

注：查看已安装的包先执行python然后执行help(‘modules‘)，easy_install使用可参考

http://www.cnblogs.com/feong/p/5148171.html

3.12        修改网络（如果ip不能通过桌面配置的话，就需要通过命令配置）

vi /etc/udev/rules.d/70-persistent-net.rules #只保留最后两条，并把最后一条的网卡改成"eth0"

mv /etc/sysconfig/network-scripts/ifcfg-Auto_eth1 /etc/sysconfig/network-scripts/ifcfg-eth0

vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

HWADDR=00:0C:29:54:7C:9A

TYPE=Ethernet

UUID=52b164e5-39ca-4b09-b8d2-622046871b29

ONBOOT=yes

NM_CONTROLLED=yes

BOOTPROTO=static

IPADDR=192.168.59.99

NETMASK=255.255.255.0

GATEWAY=192.168.59.2

IPV4_FAILURE_FATAL=yes

IPV6INIT=no

NAME="System eth0"

DNS1=8.8.8.8

DNS2=8.8.4.4

3.13        安装telnet

yum install telnet

4       克隆虚拟机

l  已配置cdh01，再克隆虚拟机2台，分别为cdh02和cdh03

l  启动cdh02和cdh03，修改network和对应的IP

5       安装cloudera

5.1     下载并安装manager

wget https://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

chmod u+x cloudera-manager-installer.bin

sudo ./cloudera-manager-installer.bin

5.2     在线安装

进入192.168.59.00:7180界面，进行在线安装，如果下载网速小于1Mbps，则耗时可能较长

用户名/密码：admin/admin

5.3     修改默认角色配置

6       验证测试

6.1     测试Hadoop

l  执行下列命令，上传文件

su hdfs

hadoop fs -mkdir /hff

hadoop fs -ls /

hadoop fs -put wyp.txt /hff

注：文件需要放在/根目录下

hadoop fs -text /hff/wyp.txt

注：hadoop命令参考 http://www.cnblogs.com/feong/p/5148361.html

6.2     测试Hive

l  执行如下命令，导入数据

hive

create table t_wyp(id int, name string, age int, tel string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t‘ STORED AS TEXTFILE;

load data local inpath ‘wyp.txt‘ into table t_wyp;

注：文件需要放在/根目录下

select * from t_wyp;

dfs -ls /user/hive/warehouse;

7       附录

7.1     没有日志文件.log.out错误

手动创建，并赋予指定用户权限，如：

chown yarn:hadoop hadoop-cmf-yarn-NODEMANAGER-cdh03.cap.com.log.out

7.2     多次初始化配置时， hdfs配置第一步格式化时错误

可以查看日志，并改名或者删除/fns目录

cd /var/run/cloudera-scm-agent/process/27-hdfs-NAMENODE-format/logs/

7.3     多次初始化配置时，hdfs配置第三步创建/tmp时错误

可以先检查一下是否已经创建了tmp，如果已经创建了则改名或者删除

hadoop fs –ls / #查看已创建目录

hadoop fs -mv /tmp /tmp_bak #重命名文件夹