一、虚拟机设置
环境：centos6.4
vmware网络适配器：桥接模式，禁用vmnet8
vim /etc/sysconfig/network-scripts/ifcfg-eth0
网关的设置参考外部机器的默认网关
DEVICE=eth0 TYPE=Ethernet UUID=57cd273b-3bed-4378-957f-fe1552b5212d ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR=192.168.1.130 PREFIX=24 GATEWAY=192.168.1.1 DNS1=192.168.1.1 DEFROUTE=yes IPV4_FAILURE_FATAL=yes IPV6INIT=no NAME="System eth0" HWADDR=00:0C:29:22:0D:E9 LAST_CONNECT=1540218650
关闭防火墙：service iptables stop，chkconfig iptables off。
确保外部机器和虚拟机能相互ping通，就可以使用xhell操作虚拟机了。
更改hostname：vim /etc/sysconfig/network --> HOSTNAME=hadoop-server-00
配置集群的hosts：vim /etc/hosts
192.168.1.130 hadoop-server-00
192.168.1.131 hadoop-server-01
192.168.1.132 hadoop-server-02
修改下次启动不使用图形界面：vim /etc/inittab --> id:5:initdefault: --> id:3:initdefault:
完成以上操作后重启虚拟机，重启后可能不会自动连接网络，需要手动连接一下：ifup eth0
二、配置jdk
mkdir /usr/local/apps tar -zxf jdk-8u191-linux-x64.tar.gz -C /usr/local/apps/ vim /etc/profile export JAVA_HOME=/usr/local/apps/jdk1.8.0_191 export PATH=$PATH:$JAVA_HOME/bin
保存退出后执行 source /etc/profile，并且验证jdk是否配置成功。
三、配置hadoop
下载地址：
http://archive.apache.org/dist/
解压：tar -zxf hadoop-2.4.1.tar.gz -C /usr/local/apps/
进入hadoop的配置目录：/usr/local/apps/hadoop-2.4.1/etc/hadoop
1.修改hadoop的环境信息：vim hadoop-env.sh
export JAVA_HOME=/usr/local/apps/jdk1.8.0_191/
2.修改hadoop运行的公共配置：vim core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop-server-00:9000/</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/apps/hadoop-2.4.1/tmp/</value> </property> </configuration>
3.修改hdfs相关的配置：vim hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
4.修改mapreduce相关配置：mv mapred-site.xml.template mapred-site.xml，vim mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
5.修改yarn相关配置：vim yarn-site.xml
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop-server-00</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
6.修改从节点：vim slaves，修改其中的localhost为：
hadoop-server-00
四、启动hadoop
1.格式化hdfs：
/usr/local/apps/hadoop-2.4.1/bin ./hadoop namenode -format
2.手动启动hadoop：cd /usr/local/apps/hadoop-2.4.1/sbin/
./hadoop-daemon.sh start namenode
jps查看是否启动。接着启动datanode：
./hadoop-daemon.sh start datanode
启动secondarynamenode：
./hadoop-daemon.sh start secondarynamenode
查看端口：netstat -nltp，其中50070为外部web访问的端口，可以尝试访问一下：http://192.168.1.130:50070
3.启动yarn的进程：cd /usr/local/apps/hadoop-2.4.1/sbin
./yarn-daemon.sh start resourcemanager
./yarn-daemon.sh start nodemanager
五、使用脚本启动
先关闭之前手动启动的进程，然后进入目录：cd /usr/local/apps/hadoop-2.4.1/sbin/
./start-dfs.sh
多次提示输入密码和信任（可以设置ssh信任关系后就不需要输入密码了），完成后使用jps可以看到已经启动了3个进程。
在登录方生成密钥对，然后将公钥复制给目标主机，在目标机器上将公钥加入授权文件：~/.ssh/authorized_keys（该文件权限为600）
1.生成密钥对：ssh-keygen
2.加入目标机器的授权文件：ssh-copy-id hadoop-server-01
在本机生成：ssh-keygen，把公钥传到本机：ssh-copy-id hadoop-server-00，完成后在登录本机（ssh hadoop-server-00）就不需要密码了。
测试使用脚本启动（不需要输入密码），先停止进程：./stop-dfs.sh，jps
./start-dfs.sh，如果还需要密码说明信任关系设置的不对，需要检测。
./start-yarn.sh，启动yarn进程
如果看到5个进程都启动成功了，说明配置ok。
原文地址：https://www.cnblogs.com/wange/p/9833115.html