Hadoop 2.x 联邦配置

配置HDFS联邦

配置etc/hadoop/hdfs-site.xml

<configuration>
 <property>
 <name>dfs.nameservices</name>
 <value>ns1,ns2</value>
 </property>

 <property>
 <name>dfs.namenode.rpc-address.ns1</name>
 <value>snn-host1:rpc-port</value>
 </property>
 <property>
 <name>dfs.namenode.http-address.ns1</name>
 <value>snn-host2:http-port</value>
 </property>
 <property>
 <name>dfs.namenode.secondaryhttp-address.ns1</name>
 <value>snn-host1:http-port</value>
 </property>

 <property>
 <name>dfs.namenode.rpc-address.ns2</name>
 <value>snn-host2:rpc-port</value>
 </property>
 <property>
 <name>dfs.namenode.http-address.ns2</name>
 <value>snn-host2:http-port</value>
 </property>
 <property>
 <name>dfs.namenode.secondaryhttp-address.ns2</name>
 <value>snn-host2:http-port</value>
 </property>
</configuration>

格式化名称节点

格式化的第一个节点可以不指定ID,但是格式化第二个节点必须指定ID, 否则不会聚合在一个集群中

Step 1: 格式化其中一个节点, 不指定clusterId则自动生成

./bin/hdfs namenode -format [-clusterId <cluster_id>]

Step 2: 格式化另外一个节点, 注意clusterId要和之前的节点一样

./bin/hdfs namenode -format -clusterId <cluster_id>