- 经过前边的积累，今天终于实现了集群环境下部署Hadoop，并成功运行了官方的例子。
工作如下：
- 两台机器：
- NameNode：上网小本，3G内存，机器名：YP-X100e，IP：192.168.101.130。
- DataNode：虚拟机，Win7下载VMWare10中虚拟Ubuntu14，虚拟机器名：ph-v370，IP：192.168.101.110
- 确保可互相ping通，按照机器名和IP配置各自机器的/etc/hosts文件和/etc/hostname文件，我的hosts配置内容如下
127.0.0.1 localhost 192.168.101.130 YP-X100e 192.168.101.110 ph-v370
- 安装环境，请参考
- 配置各种配置信息，请参考
- 注意事项：
A：主从机的ssh设置，主机中在终端中输入
ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
拷贝文件到从节点
scp authorized_keys ph-v370:~/.ssh/
刚开始我一直失败的原因是用户不一致，导致一直无法登陆ssh，后来我新建了hadoop用户，并授予hadoop文件夹的权限
useradd -m hadoop passwd hadoop chown hadoop:hadoop hadoop-2.4.0
重新用hadoop的用户进行操作就可以了（包括启动hadoop服务等，最好都是用这个用户）
B：执行start-dfs.sh，子节点报异常“WARNorg.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server:YP-X100e/192.168.101.130:9000”
这里有一个卡点，需要修改主节点的hosts文件，注释掉127.0.1.1这行，你可以在注释之前执行
netstat -an | grep 9000
你会看到9000端口被127.0.1.1占用，所以会出现异常
C：格式化文件系统的命令应该是
hdfs namenode -format
D：Hadoop的服务和Yarn的服务需要单独启动
start-dfs.sh start-yarn.sh
E：在主节点配置好所有的配置文件，直接都拷贝到从节点即可
F：跟做单节点例子的时候不同，我在拷贝文件的时候需要制定确切的路径，如这个：
原来直接执行 $ bin/hdfs dfs -put etc/hadoop input 现在需要执行 $ bin/hdfs dfs -put etc/hadoop /user/chenphinput
G：查进程使用命令是：PS -ef | grep ‘搜索内容’，杀进程是：kill -s 9 进程号，查看防火墙是：sudo ufw status
H：可访问主节点查看Hadoop的状态http://YP-X100e:50070，下图可看到，有一个活动的从节点，也就是我的虚拟机中的那个Ubuntu
Ubuntu14（64位） 集群环境下安装Hadoop2.4
时间： 2024-12-10 18:22:01