[Nutch]限制Hadoop结点连接

在上一篇博文我们有说明如何动态增加一个DataNode结点和TaskTracker结点，本次就来说明一下如何限制hadoop结点的连接。

1. 配置hdfs-site.xml文件

新增如下内容：

<property>
  <name>dfs.hosts</name>
  <value>/home/hadoop/workspace/hadoop-1.2.1/conf/include</value>
</property>
<property>
  <name>dfs.hosts.exclude</name>
  <value>/home/hadoop/workspace/hadoop-1.2.1/conf/exclude</value>
</property>

如下：

2. 添加加入集群的结点

修改dfs.hosts指定的文件，如下：

vim /home/hadoop/workspace/hadoop-1.2.1/conf/include

添加当前使用的主机：host1、 host2、 host3、 host4

如下：

3. 在host3上配置mapred-site.xml

使用如下命令：

vim workspace/hadoop-1.2.1/conf/mapred-site.xml

新增如下内容：

<property>
  <name>mapred.hosts</name>
  <value>/home/hadoop/workspace/hadoop-1.2.1/conf/include</value>
</property>
<property>
  <name>mapred.hosts.exclude</name>
  <value>/home/hadoop/workspace/hadoop-1.2.1/conf/exclude</value>
</property>

如下：

4. 配置主机

修改mapred.hosts指定的文件，如下：

vim /home/hadoop/workspace/hadoop-1.2.1/conf/include

添加当前使用的主机：host1、 host2、 host3、 host4

如下：

5. 重启集群

在host3上使用如下命令：

stop-mapred.sh

如下：

在host1上使用如下命令：

stop-dfs.sh

如下：

在host1上启动dfs：

start-dfs.sh

在host3上启动mapreduce：

start-mapred.sh

如下：