使用QJM部署HDFS HA集群

一、所需软件

　　1. JDK版本

　　　　下载地址：http://www.oracle.com/technetwork/java/javase/index.html

　　　　版本： jdk-7u79-linux-x64.gz

　　2. Hadoop软件

　　　　下载地址：http://hadoop.apache.org/releases.html

　　　　版本： hadoop-2.6.0.tar.gz

二、配置ssh免密码登陆：

　　查阅之前博客：http://www.cnblogs.com/yinchengzhe/p/4967928.html

三、环境说明

　　主备NameNode有多种配置，本文采用QJM(Quorum Journal Manager) ，主备NameNode应位于不同机器上

　　集群中包括4个节点：1个Master，3个Salve，节点之间局域网连接，可以相互ping通。

　　本人有3台云主机，主机名分别为h1,h2,h3。由于资源紧缺，master和其中一个salve共用h1主机。

　　搭建手动切换ha集群，较自动切换少了一个zookeeper集群。

　　主机分布情况如下：

　　h1:  master  namenode(主)  journalnode   datanode

　　h2:  salve　  namenode(备)  journalnode   datanode

　　h3:  salve　　　　　　　　　 journalnode   datanode

四、HDFS HA (QJM)集群安装

　　参考官网site：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

　　1. 在h1上解压hadoop-2.6.0.tar.gz并重命名为hadoop

　　　　> tar zxvf hadoop-2.6.0.tar.gz

　　　　> mv hadoop-2.6.0 hadoop

　　2. 配置hadoop-env.sh

　　　　配置jdk路径，如： export JAVA_HOME=/root/software/jdk1.7.0_79

　　3. 配置core-site.xml

　　　　修改Hadoop核心配置文件core-site.xml，这里配置的是HDFS的地址和端口号

　　　　> cd /hadoop/etc/hadoop

　　　　> vim core-site.xml

　　　　配置如下：

　　　　注：此处h1为本机的hostname

　　4. 配置slaves

　　　　此配置为master主机特有，配置此文件有两种方式

　　　　第一种：去掉"localhost"，每行只添加一个主机名，把所有的Slave主机名都填上。

　　　　　　如：h1

　　　　　　　　h2

　　　　　　　　h3

　　　　第二种： 去掉"localhost"，加入集群中所有Slave机器的IP，也是每行一个。

　　　　　　如：192.168.1.1

　　　　　　　　192.168.1.2

　　　　　　　　192.168.1.3

　　5. 配置hdfs-site.xml

　　　　如下所示：

　　　　(1). dfs.nameservices

　　　　　　集群中命名服务列表（自定义）

　　　　(2). dfs.ha.namenodes.[nameservice ID]

　　　　　　命名服务中的namenode逻辑名称（自定义）

　　　　(3). dfs.namenode.rpc-address.[nameservice ID].[name node ID]

　　　　　　命名服务中逻辑名称对应的RPC地址

　　　　(4). dfs.namenode.http-address.[nameservice ID].[name node ID]

　　　　　　命名服务中逻辑名称对应的HTTP地址

　　　　(5). dfs.namenode.name.dir

　　　　　　NameNode fsiamge存放目录

　　　　(6). dfs.namenode.shared.edits.dir

　　　　　　主备NameNode同步元信息的共享存储系统

　　　　(7). dfs.journalnode.edits.dir

　　　　　　Journal Node数据存放目录

　　6. 将h1上的hadoop文件夹复制到h2、h3节点上

　　7. 启动关闭HDFS

　　　　步骤1：在各个JournalNode节点上，输入以下命令启动journalnode服务：

　　　　　　　　> sbin/hadoop-daemon.sh start journalnode
　　　　步骤2：在[nn1]上，对其进行格式化，并启动：
　　　　　　　　> bin/hdfs namenode -format
　　　　　　　　> sbin/hadoop-daemon.sh start namenode
　　　　步骤3：在[nn2]上，同步nn1的元数据信息：
　　　　　　　　> bin/hdfs namenode -bootstrapStandby
　　　　步骤4：在[nn2]，启动NameNode：
　　　　　　　　> sbin/hadoop-daemon.sh start namenode
　　　　（经过以上四步操作，nn1和nn2均处理standby状态）
　　　　步骤5：在[nn1]上，将NameNode切换为Active
　　　　　　　　> bin/hdfs haadmin -transitionToActive nn1
　　　　步骤6：在[nn1]上，启动所有datanode
　　　　　　　　> sbin/hadoop-daemons.sh start datanode

　　　　启动成功可通过jps命令查看结果，如下所示：

　　　　关闭：

　　　　在[nn1]上输入命令 sbin/stop-dfs.sh

　　8. HDFS WEB界面浏览

　　　　Windows访问Linux方式参照 http://www.cnblogs.com/yinchengzhe/p/5012936.html

　　　　启动hdfs后界面如下：