下面我们进行说明一下hadoop集群的搭建配置.
本文假设读者具有hadoop单机配置的基础，相同的部分不在重述。
以三台测试机为例搭建一个小集群,三台机器的ip分别为
192.168.200.1;192.168.200.2;192.168.200.3
cygwin,jdk的安装同windows下hadoop的单机伪分布式部署（1）,这里略过。
1、配置 hosts
在三台机子的hosts文件中加入如下记录：
192.168.200.1 hadoop1 #master namenode
192.168.200.2 hadoop2 #datanode
192.168.200.3 hadoop3 #datanode
2、配置 hadoop1上的hadoop
hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml配置同windows下hadoop的单机伪分布式部署（1），
只是将其中的主机名localhost换成hadoop1这里略过。
配置masters文件：hadoop1
配置slaves文件：hadoop2 hadoop3
3、然后将hadoop1上的hadoop文件夹拷贝到hadoop2、hadoop3机器上面；
如果jdk安装目录不同，需要更改hadoop-env.sh中java_home的配置路径。
4、配置无密码登陆
分别在三台机器上运行命令ssh-keygen，然后将hadoop1和hadoop2上的id_rsa.pub文件拷贝到hadoop1上，
并将三台机器上id_rsa.pub都导入到authorized_keys文件中，然后该authorized_keys文件拷贝到hadoop2，hadoop3上。
5、在hadoop1上先格式化namenode格式，
hadoop namenode -format
然后运行命令：start-all.sh 启动整个集群。
利用jps命令检查master和slave上的hadoop进程是否成功启动，jps命令检查master上的namenode，jobtracker进程，
检查slave上的datanode，tasktracker进程。
6、与myeclipes的集成同windows下hadoop的单机伪分布式部署（3）。
windows下hadoop的集群分布式部署,布布扣,bubuko.com