[Nutch]Hadoop动态增加DataNode节点和TaskTracker节点

在之前的博文有对分布式模式做负载均衡设置，那么这次我们就来说明一下如果动态增加DataNode结点和TaskTracker结点。

1. 在host1上增加host4

使用如下命令：

vi  conf/slaves

如下：

2. 将host1上的公钥加入到host4中

使用如下命令：

ssh-copy-id  -i  .ssh/id_rsa.pub  [email protected]

如下：

将host1的公钥添加到host4中，可以免密码登录。如下：

3. 将hadoop拷贝到host4上

使用如下命令：

scp -r /home/hadoop/workspace/hadoop-1.2.1  hadoop@host4:/home/hadoop/workspace/hadoop-1.2.1

如下：

4. 在host3上增加host4

使用如下命令：

vim conf/slaves

如下：

5. 将host3的公钥加入到host4

使用如下命令：

ssh-copy-id  -i  .ssh/id_rsa.pub  [email protected]

如下：

免密码登录：

6. 在host4上启动DataNode和TaskTracker

启动DataNode：

workspace/hadoop-1.2.1/bin/hadoop-daemon.sh start datanode

如下：

启动TaskTracker：

workspace/hadoop-1.2.1/bin/hadoop-daemon.sh start tasktracker

如下：

可以看到DataNode和TaskTracker已经启动：

7. web管理界面

可以看到DataNode从之前的3个变为了4个：

再来看看JobTracker，也从之前的3个变为了4个：