Hadoop2.7.1配置NameNode+ResourceManager高可用原理分析

关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml 
关于ResourceManager高可靠需要配置的文件有yarn-site.xml

逻辑结构：

NameNode-HA工作原理： 
在一个典型的HA集群中，最好有2台独立的机器的来配置NameNode角色，无论在任何时候，集群中只能有一个NameNode作为Active状态，而另一个是Standby状态，Active状态的NameNode负责集群中所有的客户端操作，这么设置的目的，其实HDFS底层的机制是有关系的，同一时刻一个文件，只允许一个写入方占用，如果出现多个，那么文件偏移量便会混乱，从而导致数据格式不可用，当然状态为Standby的NameNode这时候仅仅扮演一个Slave的角色，以便于在任何时候Active的NameNode挂掉时，能够第一时间，接替它的任务，成为主NameNode，达到一个热备份的效果，在HA架构里面SecondaryNameNode这个冷备角色已经不存在了，为了保持从NameNode时时的与主NameNode的元数据保持一致，他们之间交互通过一系列守护的轻量级进程JournalNode，当任何修改操作在主NameNode上执行时，它同时也会记录修改log到至少半数以上的JornalNode中，这时状态为Standby的NameNode监测到JournalNode里面的同步log发生变化了会读取JornalNode里面的修改log，然后同步到自己的的目录镜像树里面，当发生故障时，Active的NameNode挂掉后，Standby的NameNode会在它成为Active NameNode前，读取所有的JournalNode里面的修改日志，这样就能高可靠的保证与挂掉的NameNode的目录镜像树一致，然后无缝的接替它的职责，维护来自客户端请求，从而达到一个高可用的目的。

为了达到快速容错的掌握全局的目的，Standby角色也会接受来自DataNode角色汇报的块信息，前面只是介绍了NameNode容错的工作原理，下面介绍下，当引入Zookeeper之后，为啥可以NameNode-HA可以达到无人值守，自动切换的容错。

在主备切换上Zookeeper可以干的事： 
（1）失败探测   在每个NameNode启动时，会在Zookeeper上注册一个持久化的节点，当这个NameNode宕机时，它的会话就会终止，Zookeeper发现之后，就会通知备用的NameNode，Hi，老兄，你该上岗了。 
（2）选举机制， Zookeeper提供了一个简单的独占锁，获取Master的功能，如果那个NameNode发现自己得到这个锁，那就预示着，这个NameNode将被激活为Active状态

当然，实际工作中Hadoop提供了ZKFailoverController角色，在每个NameNode的节点上，简称zkfc，它的主要职责如下：

（1）健康监测，zkfc会周期性的向它监控的NameNode发送健康探测命令，从而来确定某个NameNode是否处于健康状态，如果机器宕机，心跳失败，那么zkfc就会标记它处于一个不健康的状态 
（2）会话管理， 如果NameNode是健康的，zkfc就会在zookeeper中保持一个打开的会话，如果NameNode同时还是Active状态的，那么zkfc还会在Zookeeper中占有一个类型为短暂类型的znode，当这个NameNode挂掉时， 
这个znode将会被删除，然后备用的NameNode，将会得到这把锁，升级为主NameNode，同时标记状态为Active，当宕机的NameNode，重新启动时，它会再次注册zookeper，发现已经有znode锁了，便会自动变为Standby状态，如此往复循环，保证高可靠，需要注意，目前仅仅支持最多配置2个NameNode。 
（3）master选举，如上所述，通过在zookeeper中维持一个短暂类型的znode，来实现抢占式的锁机制，从而判断那个NameNode为Active状态。

core-site.xml里面

Xml代码
 
 

  1. <configuration>
  2. <property>
  3. <name>fs.default.name</name>
  4. <value>hdfs://ns1</value>
  5. </property>
  6. <property>
  7. <name>hadoop.tmp.dir</name>
  8. <value>/ROOT/server/data-hadoop/hadooptmp</value>
  9. </property>
  10. <property>
  11. <name>io.compression.codecs</name>
  12. <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.co
  13. mpress.SnappyCodec</value>
  14. </property>
  15. <property>
  16. <name>fs.trash.interval</name>
  17. <value>0</value>
  18. <description>Number of minutes between trash checkpoints.
  19. If zero, the trash feature is disabled.
  20. </description>
  21. </property>
  22. <!-- ha的zk的配置 -->
  23. <property>
  24. <name>ha.zookeeper.quorum</name>
  25. <value>h1:2181,h2:2181,h3:2181</value>
  26. </property>
  27. </configuration>

hdfs-site.xml里面

Xml代码
 
 

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <!--
  4. Licensed under the Apache License, Version 2.0 (the "License");
  5. you may not use this file except in compliance with the License.
  6. You may obtain a copy of the License at
  7. http://www.apache.org/licenses/LICENSE-2.0
  8. Unless required by applicable law or agreed to in writing, software
  9. distributed under the License is distributed on an "AS IS" BASIS,
  10. WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11. See the License for the specific language governing permissions and
  12. limitations under the License. See accompanying LICENSE file.
  13. -->
  14. <!-- Put site-specific property overrides in this file. -->
  15. <configuration>
  16. <property>
  17. <name>dfs.replication</name>
  18. <value>1</value>
  19. </property>
  20. <!-- 集群数量小于3时，副本数大于1时，建议启用 -->
  21. <!--  <property>
  22. <name>dfs.client.block.write.replace-datanode-on-failure.enable</name>
  23. <value>false</value>
  24. </property>
  25. -->
  26. <property>
  27. <name>dfs.namenode.name.dir</name>
  28. <value>file:///ROOT/server/data-hadoop/nd</value>
  29. </property>
  30. <property>
  31. <name>dfs.datanode.data.dir</name>
  32. <value>/ROOT/server/data-hadoop/dd</value>
  33. </property>
  34. <property>
  35. <name>dfs.permissions</name>
  36. <value>false</value>
  37. </property>
  38. <property>
  39. <name>dfs.nameservices</name>
  40. <value>ns1</value>
  41. </property>
  42. <property>
  43. <name>dfs.ha.namenodes.ns1</name>
  44. <value>h1,h2</value>
  45. </property>
  46. <property>
  47. <name>dfs.namenode.rpc-address.ns1.h1</name>
  48. <value>h1:9000</value>
  49. </property>
  50. <property>
  51. <name>dfs.namenode.http-address.ns1.h1</name>
  52. <value>h1:50070</value>
  53. </property>
  54. <property>
  55. <name>dfs.namenode.rpc-address.ns1.h2</name>
  56. <value>h2:9000</value>
  57. </property>
  58. <property>
  59. <name>dfs.namenode.http-address.ns1.h2</name>
  60. <value>h2:50070</value>
  61. </property>
  62. <property>
  63. <name>dfs.namenode.shared.edits.dir</name>
  64. <value>qjournal://h1:8485;h2:8485;h3:8485/ns1</value>
  65. </property>
  66. <property>
  67. <name>dfs.ha.automatic-failover.enabled.ns1</name>
  68. <value>true</value>
  69. </property>
  70. <property>
  71. <name>dfs.client.failover.proxy.provider.ns1</name>
  72. <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  73. </property>
  74. <property>
  75. <name>dfs.journalnode.edits.dir</name>
  76. <value>/ROOT/server/data-hadoop/journaldata</value>
  77. </property>
  78. <property>
  79. <name>dfs.ha.fencing.methods</name>
  80. <value>sshfence</value>
  81. </property>
  82. <property>
  83. <name>dfs.ha.fencing.ssh.private-key-files</name>
  84. <value>/home/webmaster/.ssh/id_rsa</value>
  85. </property>
  86. <property>
  87. <name>dfs.webhdfs.enabled</name>
  88. <value>true</value>
  89. </property>
  90. <property>
  91. <name>dfs.blocksize</name>
  92. <value>134217728</value>
  93. </property>
  94. <property>
  95. <name>dfs.namenode.handler.count</name>
  96. <value>20</value>
  97. </property>
  98. <property>
  99. <name>dfs.datanode.max.xcievers</name>
  100. <value>2048</value>
  101. </property>
  102. </configuration>

yarn-site.xml里面：

Xml代码
 
 

  1. <?xml version="1.0"?>
  2. <!--
  3. Licensed under the Apache License, Version 2.0 (the "License");
  4. you may not use this file except in compliance with the License.
  5. You may obtain a copy of the License at
  6. http://www.apache.org/licenses/LICENSE-2.0
  7. Unless required by applicable law or agreed to in writing, software
  8. distributed under the License is distributed on an "AS IS" BASIS,
  9. WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  10. See the License for the specific language governing permissions and
  11. limitations under the License. See accompanying LICENSE file.
  12. -->
  13. <configuration>
  14. <!--启用RM高可用-->
  15. <property>
  16. <name>yarn.resourcemanager.ha.enabled</name>
  17. <value>true</value>
  18. </property>
  19. <!--RM集群标识符-->
  20. <property>
  21. <name>yarn.resourcemanager.cluster-id</name>
  22. <value>ns1</value>
  23. </property>
  24. <property>
  25. <!--指定两台RM主机名标识符-->
  26. <name>yarn.resourcemanager.ha.rm-ids</name>
  27. <value>h1,h2</value>
  28. </property>
  29. <!--RM故障自动切换-->
  30. <property>
  31. <name>yarn.resourcemanager.ha.automatic-failover.recover.enabled</name>
  32. <value>true</value>
  33. </property>
  34. <!--RM故障自动恢复-->
  35. <property>
  36. <name>yarn.resourcemanager.recovery.enabled</name>
  37. <value>true</value>
  38. </property>
  39. <!--RM主机1-->
  40. <property>
  41. <name>yarn.resourcemanager.hostname.h1</name>
  42. <value>h1</value>
  43. </property>
  44. <!--RM主机2-->
  45. <property>
  46. <name>yarn.resourcemanager.hostname.h2</name>
  47. <value>h2</value>
  48. </property>
  49. <!--RM状态信息存储方式，一种基于内存(MemStore)，另一种基于ZK(ZKStore)-->
  50. <property>
  51. <name>yarn.resourcemanager.store.class</name>
  52. <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  53. </property>
  54. <!--使用ZK集群保存状态信息-->
  55. <property>
  56. <name>yarn.resourcemanager.zk-address</name>
  57. <value>h1:2181,h2:2181,h3:2181</value>
  58. </property>
  59. <!--向RM调度资源地址-->
  60. <property>
  61. <name>yarn.resourcemanager.scheduler.address.h1</name>
  62. <value>h1:8030</value>
  63. </property>
  64. <property>
  65. <name>yarn.resourcemanager.scheduler.address.h2</name>
  66. <value>h2:8030</value>
  67. </property>
  68. <!--NodeManager通过该地址交换信息-->
  69. <property>
  70. <name>yarn.resourcemanager.resource-tracker.address.h1</name>
  71. <value>h1:8031</value>
  72. </property>
  73. <property>
  74. <name>yarn.resourcemanager.resource-tracker.address.h2</name>
  75. <value>h2:8031</value>
  76. </property>
  77. <!--客户端通过该地址向RM提交对应用程序操作-->
  78. <property>
  79. <name>yarn.resourcemanager.address.h1</name>
  80. <value>h1:8032</value>
  81. </property>
  82. <property>
  83. <name>yarn.resourcemanager.address.h2</name>
  84. <value>h2:8032</value>
  85. </property>
  86. <!--管理员通过该地址向RM发送管理命令-->
  87. <property>
  88. <name>yarn.resourcemanager.admin.address.h1</name>
  89. <value>h1:8033</value>
  90. </property>
  91. <property>
  92. <name>yarn.resourcemanager.admin.address.h2</name>
  93. <value>h2:8033</value>
  94. </property>
  95. <!--RM HTTP访问地址,查看集群信息-->
  96. <property>
  97. <name>yarn.resourcemanager.webapp.address.h1</name>
  98. <value>h1:8088</value>
  99. </property>
  100. <property>
  101. <name>yarn.resourcemanager.webapp.address.h2</name>
  102. <value>h2:8088</value>
  103. </property>
  104. <property>
  105. <name>yarn.resourcemanager.scheduler.class</name>
  106. <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
  107. </property>
  108. <property>
  109. <name>yarn.nodemanager.aux-services</name>
  110. <value>mapreduce_shuffle</value>
  111. </property>
  112. <property>
  113. <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  114. <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  115. </property>
  116. <property>
  117. <description>Classpath for typical applications.</description>
  118. <name>yarn.application.classpath</name>
  119. <value>$HADOOP_CONF_DIR
  120. ,$HADOOP_COMMON_HOME/share/hadoop/common/*
  121. ,$HADOOP_COMMON_HOME/share/hadoop/common/lib/*
  122. ,$HADOOP_HDFS_HOME/share/hadoop/hdfs/*
  123. ,$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*
  124. ,$YARN_HOME/share/hadoop/yarn/*</value>
  125. </property>
  126. <!-- Configurations for NodeManager -->
  127. <property>
  128. <name>yarn.nodemanager.resource.memory-mb</name>
  129. <value>5632</value>
  130. </property>
  131. <property>
  132. <name>yarn.scheduler.minimum-allocation-mb</name>
  133. <value>1408</value>
  134. </property>
  135. <property>
  136. <name>yarn.scheduler.maximum-allocation-mb</name>
  137. <value>5632</value>
  138. </property>
  139. </configuration>

mapred-site.xml里面内容

Xml代码
 
 

  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <!--
  4. Licensed under the Apache License, Version 2.0 (the "License");
  5. you may not use this file except in compliance with the License.
  6. You may obtain a copy of the License at
  7. http://www.apache.org/licenses/LICENSE-2.0
  8. Unless required by applicable law or agreed to in writing, software
  9. distributed under the License is distributed on an "AS IS" BASIS,
  10. WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  11. See the License for the specific language governing permissions and
  12. limitations under the License. See accompanying LICENSE file.
  13. -->
  14. <!-- Put site-specific property overrides in this file. -->
  15. <configuration>
  16. <property>
  17. <name>mapreduce.framework.name</name>
  18. <value>yarn</value>
  19. </property>
  20. <property>
  21. <name>mapreduce.jobtracker.address</name>
  22. <value>h1:8021</value>
  23. </property>
  24. <property>
  25. <name>mapreduce.jobhistory.address</name>
  26. <value>h1:10020</value>
  27. </property>
  28. <property>
  29. <name>mapreduce.jobhistory.webapp.address</name>
  30. <value>h1:19888</value>
  31. </property>
  32. <property>
  33. <name>mapred.max.maps.per.node</name>
  34. <value>2</value>
  35. </property>
  36. <property>
  37. <name>mapred.max.reduces.per.node</name>
  38. <value>1</value>
  39. </property>
  40. <property>
  41. <name>mapreduce.map.memory.mb</name>
  42. <value>1408</value>
  43. </property>
  44. <property>
  45. <name>mapreduce.map.java.opts</name>
  46. <value>-Xmx1126M</value>
  47. </property>
  48. <property>
  49. <name>mapreduce.reduce.memory.mb</name>
  50. <value>2816</value>
  51. </property>
  52. <property>
  53. <name>mapreduce.reduce.java.opts</name>
  54. <value>-Xmx2252M</value>
  55. </property>
  56. <property>
  57. <name>mapreduce.task.io.sort.mb</name>
  58. <value>512</value>
  59. </property>
  60. <property>
  61. <name>mapreduce.task.io.sort.factor</name>
  62. <value>100</value>
  63. </property>
  64. </configuration>

启动方式：假设你是新的集群，如果不是，请参考文末的官网url链接

1，先在集群中启动N/2+1个JornalNode进程，写ssh脚本执行命令：hadoop-daemon.sh start journalnode 
2 ，然后在第一台NameNode上应执行hdfs namenode -format格式化集群 
3，然后在第二台NameNode上执行hdfs namenode -bootstrapStandby同步第一台NameNode元数据 
4，在第一台NameNode上执行命令hdfs zkfc -formatZK格式化zookeeper 
5，第一台NameNode上启动zkfc执行命令：hadoop-daemon.sh start zkfc 
6，在第二台NameNode上启动zkfc执行命令：hadoop-daemon.sh start zkfc 
7，执行start-dfs.sh启动所有的NameNode，DataNode，JournalNode（注意如果已经启动就会跳过） 
8，执分别访问两台机器的50070端口，查看NameNode状态，其中一个为Active，一个为Standby即为正常 
9，测试容错，找到状态为Active的NameNode的pid进程，并kill掉，查看standby是否会自动晋级为active，如果 
一切安装完毕，则会自动切换，如果没切换，注意查看zkfc和namenode的log

感谢并参考的文章： 
http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 
http://lizhenliang.blog.51cto.com/7876557/1661354 
http://www.cnblogs.com/781811964-Fighter/p/4930067.html

时间： 2024-09-30 17:33:13

Hadoop2.7.1配置NameNode+ResourceManager高可用原理分析的相关文章

Resourcemanager高可用配置

ResourceManager高可用配置 1. yarn-site.xml配置 <property> <name>yarn.resourcemanager.cluster-id</name> <value>yarn-ha</value> </property> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>t

hadoop+zookepper实现namenode的高可用

Hadoop+zookeepker安装与配置: 在hadoop-env.sh中添加export JAVA的环境变量 修改hostname文件的名称,/etc/hosts文件配置主机名和ip的映射关系,将mstaer,slave的主机名和ip地址都添加进来 配置ssh免密钥配置 Ssh-keygen –t rsa 在./.ssh文件中生成两个文件id_rsa(私钥),id_rsa.pub(公钥) cat id_rsa.pub > .ssh/authorized_keys scp authorize

DRBD+HeartBeat+NFS：配置NFS的高可用

说明: 上周研究了DRBD的安装和配置,今天研究下DRBD的第一个应用,利用DRBD+HeartBeat+NFS:配置NFS的高可用,作为集群中的底端共享存储 NFS主要存储WEB服务器上的程序代码和一些图片文件 参考: http://network.51cto.com/art/201010/230237_all.htm http://showerlee.blog.51cto.com/2047005/1212185 环境: [[email protected] ~]# cat /etc/issu

Keepalived+MariaDB10配置双主高可用数据库

Keepalived+MariaDB10配置双主高可用数据库 OS RS 子网掩码 路由网关 Centos6.6 MariaDB10 Keepalived Eth0:192.168.26.210 255.255.252.0 192.168.25.3 VIP:192.168.27.210 255.255.255.252 Centos6.6 MariaDB10 Keepalived Eth0:192.168.26.211 255.255.252.0 192.168.25.3 VIP:192.168.

实例：LVS+Keepalived配置LVS的高可用

LVS+Keepalived配置LVS的高可用 我们这里LVS-DR模型的高可用集群: 实验环境:     vm1 LVS-DR1:              eth0 172.16.3.2/16              VIP :eth0:0 172.16.3.88              vm2 LVS-DR2:             eth0 172.16.3.3/16     vm3 Server-web1             RS1: eth0 172.16.3.1/16  

DRBD+Heartbeat+Mysql：配置mysql的高可用

说明: 今天接着研究DRBD的第二个应用,利用DRBD+Heartbeat+Mysql:配置mysql的高可用 环境: [[email protected] ~]# cat /etc/issue CentOS release 6.4 (Final) Kernel \r on an \m [[email protected] ~]# uname -r 2.6.32-358.el6.i686 dbm137 192.168.186.137 dbm137.51.com primary DRBD+Hear

hyper-v高可用性之3、配置虚拟机的高可用

配置虚拟机高可用可以让虚拟机系统7*24小时服务,当虚拟机所在的宿主机出现问题后,故障转移功能会将虚拟机自动迁移到群集中的其他节点,这个过程虚拟机服务持续不断,最大也就丢两个ping包,以下是配置虚拟机的高可用操作 1.打开群集管理器,连接到创建的群集,右键点击群集名称选择"配置角色" 2.弹出的向导概述了此向导可用实现的功能,点击下一步 3.在选择角色的页面中,我们把下拉框拉到最下面选择"虚拟机" 4.此时向导会自动检查到目前在所有群集节点上的虚拟机,选择需要配置

配置nginx+keepalived高可用负载均衡的时候。主从服务器都出现了VIP 阿里云问题

配置nginx+keepalived高可用负载均衡的时候.主从服务器都出现了VIP 出现这问题的场景是在阿里VPS云服务器网络环境中,因为路由交换层禁用了ARP的广播限制,造成KEEPALIVE主备协议无法通过广播的方式进行通信,造成主备两台服务器都强占HAVIP地址,出现同时两台服务器都有VIP地址的情况出现,必须通过配置来指定IP的两台服务器间进行通讯(阿里说明文档中解释只能支持两台使用同一个HAVIP地址),基于以下方法可以的情况下,多备方式用同样的方式也应该可行 ,有需要的兄弟可以测试下

网易视频云技术分享：HBase高可用原理与实践

网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,提供稳定流畅.低时延.高并发的视频直播.录制.存储.转码及点播等音视频的PAAS服务,在线教育.远程医疗.娱乐秀场.在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台.现在,网易视频云的技术专家给大家分享一则技术文:HBase高可用原理与实践. 前言 前段时间有套线上HBase出了点小问题,导致该套HBase集群服务停止了2个小时,从而造成使用该套HBase作为数据存储的应用也出现了服务异常.在排查问