Hadoop集群初步搭建：

　　自己整理了一下Hadoop集群简易搭建的过程，感谢尚观科技贾老师的授课和指导！

基本环境要求：能联网电脑一台；装有Centos系统的VMware虚拟机；Xmanager Enterprise 5软件。

•规划集群的ip地址：（计划）

10.10.10.31-->uplooking01

10.10.10.32-->uplooking02

10.10.10.33-->uplooking03

•克隆2个虚拟机：（在VMware里操作）

1. 右击将uplooking重命名为uplooking01；
2. 打开uplooking01虚拟机，输入指令vim  /etc/sysconfig/network-scripts/ifcfg-eth0     将IP地址设置为10.10.10.31
3. 虚拟机系统管理->右键克隆->完整克隆->uplooking02、uplooking03

•配置克隆机主机名：（以下操作均可在XShell中进行！）

uplooking02和03机下分别输入指令vim /etc/sysconfig/network

将HOSTNAME改为uplooking02、uplooking03

•修改克隆机网络配置：

uplooking02和03机下分别输入指令vim /etc/sysconfig/network-scripts/ifcfg-eth0

删去HWADDR、UUID行；

IP地址行分别改为10.10.10.32、10.10.10.33。

•解决克隆机网卡名称变为eth1问题：

uplooking02和03机下分别输入指令rm -rf /etc/udev/rules.d/70-persistent-net.rules

重启reboot。

•配置物理机和虚拟机之间的映射：

C:\Windows\System32\drivers\etc\hosts    文件，添加并保存

10.10.10.31  uplooking01

10.10.10.32  uplooking02

10.10.10.33  uplooking03

•配置虚拟机之间的映射:

uplooking01、02和03机下分别输入指令vim /etc/hosts    添加并保存

10.10.10.31  uplooking01

10.10.10.32  uplooking02

10.10.10.33  uplooking03

•关闭防火墙：

关闭网络防火墙：service iptables stop

关闭防火墙的开机自启：chkconfig iptables off

关闭selinux（Linux访问权限管理系统）服务:vim /etc/selinux/config        SELINUX=disabled

开启时间同步服务器:service ntpd start

设置时间同步服务器开机自启：chkconfig ntpd on

•uplooking01免密码登录到uplooking02与uplooking03

1>生成公钥和私钥  ssh-keygen  -t rsa

2>把自己的公钥文件(~/.ssh/id_rsa.pub)追加到需要

免密码登录的主机的认证文件(~/.ssh/authorized_keys)中

ssh-copy-id [email protected]

ssh-copy-id [email protected]

ssh-copy-id [email protected]

scp ~/.ssh/authorized_keys

•安装jdk：

先查询本机是否安装了jdk如果安装了先卸载：rpm -qa        |        grep jdk

查看当前Java版本： java -version

在uplooking01上进行操作：

①mkdir  /software  （在/目录下创建software文件夹）

②上传jdk的安装包到linux主机下的的 /software  （Ctrl+Alt+F新建文件传输）

③tar -zxvf jdk-8u172-linux-x64.tar.gz  -C /opt/  （解压安装包，先cd进software）

④mv jdk1.8.0_172/ jdk  （重命名为jdk）

⑤配置环境变量

vim /etc/profile添加

export JAVA_HOME=/opt/jdk

export PATH=$PATH:$JAVA_HOME/bin

⑥使环境变量立刻生效

source /etc/profile

⑦远程发送uplooking01上已安装好的jdk和环境变量的配置

scp -r /opt/jdk  [email protected]:/opt

scp -r /opt/jdk  [email protected]:/opt

scp /etc/profile [email protected]:/etc/

scp /etc/profile [email protected]:/etc/

•安装mysql用于存储元信息：

在uplooking03操作：

首先查看是否安装了mysql,如果安装了先卸载：

rpm -qa|grep mysql

rpm -e mysql-libs-5.1.71-1.el6.x86_64 --nodeps

yum -y install mysql-server

service mysqld start

登录到mysql:  mysql -uroot –p

修改mysql的密码:  set password=password("root")

修改权限:

use mysql

delete from

delete from user where password = ‘‘;

update user set host=‘%‘ ;

flush privileges;

设置/proc/sys/vm/swappiness为0：（三台虚拟机都做）

vim /etc/sysctl.conf    添加并保存      vm.swappiness=0

重启或激活：sysctl –p

•关闭THP(所有机器都做)：

透明大页的开启，同样会消耗掉大量的内容，（包括HDP和CDH）建议将其关闭，添加进/etc/rc.local

echo never>/sys/kernel/mm/redhat_transparent_hugepage/defrag

echo never >/sys/kernel/mm/redhat_transparent_hugepage/enabled

echo never>/sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

好啦！这样一个简单的集群就搭好啦~~

原文地址：https://www.cnblogs.com/kaml8/p/9517638.html