HDFS Rolling Upgrade
Introduction
HDFS 滚动升级允许单独升级每一个HDFS进程。例如,DataNode可以独立于NameNode升级。一个NameNode可以独立于其他的NameNode升级。NameNode可以独立于DataNode和JournalNode升级。
Upgrade
在Hadoop V2中,HDFS支持NameNode服务的HA和前后兼容。这两个能力使在线升级HDFS成为可能。为了在线升级一个HDFS集群,集群必须以HA安装。
Upgrade without Downtime
在HA的集群中,有两个或者更多的NameNode,很多DataNode,几个JournalNode和几个ZookeeperNode。JNs是相对稳定的,在大多数情况下,升级HDFS不需要升级JNs。这里描述滚动升级的过程,只考虑NameNode和DataNode,不考虑JNs和ZKNs。升级JNs和ZKNs可能会引起停机时间。
Upgrading Non-Federated Clusters
假设有两个NameNode NN1和NN2,NN1和NN2分别处在Active和Standby状态。下面是升级一个HA集群的步骤:
1. 准备滚动升级
1. 运行命令“hdfs dfsadmin-rollingUpgrade
prepare”,为滚动创建一个FsImage。
2. 运行命令“hdfsdfsadmin -rollingUpgrade
query”,检查滚动Image的状态。等一会接着重新运行这个命令直到“Proceed with rolling upgrade”消息出现。
2 .升级Active和Standby NNs
1. 关闭NN2,然后升级NN2
2. 用“-rollingUpgrade started”选项,启动NN2作为StandbyNameNode。
3. 从NN1故障转移到NN2,以使NN2处于Active,NN1处于Standby。
4. 关闭NN1,然后升级NN1。
5. 用"rollingUpgrade
started”选项,启动NN1作为Standby“。
3 . 升级DNs
1. 选择一小部分DataNode(所有的DataNode都在一个特定的机架上)。
1. 运行命令“hdfsdfsadmin -shutdownDatanode
<DATANODE_HOST:IPC_PORT> upgrade”,关闭选中的DataNode
2. 运行命令“hdfsdfsadmin -getDatanodeInfo
<DATANODE_HOST:IPC_PORT>”检查等待DataNode关闭
3. 升级和重新启动DataNode
4. 在所有选中的机器上运行上边的步骤,一次选中的DataNode可以并行操作。
2. 重新运行上边的步骤直到集群中的所有DataNode被升级。
4 . 结束滚动升级
1. 运行“hdfsdfsadmin -rollingUpgrade
finalize”结束滚动操作。
Upgrade Federated Clusters
在联邦的集群中,有多个命名空间,每一个命名空间都有一对NN,一个Active,一个Standby。升级一个联邦的集群和升级一个非联邦的集群除了步骤1和步骤4需要运行在每一个命名空间,步骤2运行在每一个NNs对之外,其余是相同的。
1. 准备每一个命名空间的滚动升级
2. 升级每一个命名空间的Active和Standby NN。
3. 升级DNs。
4. 结束每一个命名空间的滚动升级。
Upgrade with Downtime
对于非HA的集群,没有停机时间升级HDFS是不可能的,因为升级需要重新启动NameNode。但是,DataNode仍然可以以滚动的方式升级。
Upgrading Non-HA Clusters
在一个非HA的集群中,只有一个NN,一个SNN和多个DN。升级一个非HA集群与升级一个HA的集群类似,除了步骤2,升级Active和Standby NN被改为下面这样:
u 升级一个NN和SNN
1. 关闭SNN
2. 关闭和升级NN
3. 用“-rollingUpgrade started”选项启动NN
4. 升级和重启SNN
Downgrade and Rollback
当升级后的版本不尽人意或者,在一些看似不太可能的情况下,升级失败(因为新版本的bug),管理员可能选择降级HDFS到之前的版本,或者回滚HDFS到升级之前的版本和升级之前的状态。不管是降级还是回滚都需要集群停机时间,不能以滚动的方式完成。
注意降级和滚回操作只能发生在滚动升级开始之后,升级结束之前。一次升级过程可被finalize或者downgrade或者rollback结束。因此,在finalize或者downgrade之后运行rollback是不可能的,在finalize之后执行downgrade也是不可能的。
Downgrade
Downgrade将软件恢复到升级之前的版本同时保存用户数据。假设时间T是滚动升级的开始时间,升级被Downgrade结束。然后,在T之前或之后创建的文件在HDFS中都可用。在T之前或之后删除的文件,就保持删除。
如果NameNode的版本和DataNode的版本在两个HDFS版本中没有没改,一个新版本可以降级到升级之前的版本。下面是降级的步骤:
u 降级HDFS
1. 关闭所有的NN和DN
2. 在所有的机器上恢复到升级之前的版本。
3. 用“-rollingUpgrade rollback”选项启动NN
4. 正常启动DN
RollBack
Rollback恢复HDFS的状态到升级之前的版本,但是会将用户数据重置会升级之前的状态。假设时间T是滚动升级的开始时间,升级被Rollback结束。在T之前创建的文件被保存,在T之后创建的文件将变得不可用。在T之前删除的文件保持删除,在T之后删除的文件会被恢复。
从一个新版本回滚回升级之前的状态总是被支持的。下面是回滚的步骤:
u Rollback HDFS
1. 关闭所有的NN和DN
2. 恢复所有机器上升级之前的HDFS版本
3. 用-rollingUpgrade rollback选项启动NN
4. 正常启动DN
Commands and Startup Options forRolling Upgrade
DFSAdmin Commands
dfsadmin-rollingUpgrade
hdfs dfsadmin-rollingUpgrade <query|start|finalize>
执行滚动升级操作
u 选项
query |
Query the current rolling upgrade status. |
prepare |
Prepare a new rolling upgrade. |
finalize |
Finalize the current rolling upgrade. |
dfsadmin –getDatanodeInfo
hdfs dfsadmin -getDatanodeInfo <DATANODE_HOST:IPC_PORT>
获取指定DataNode的信息。这个命令可被用来检出一个DataNode是否是alive,类似于Unix的ping命令。
dfsadmin-shutdownDatanode
hdfs dfsadmin -shutdownDatanode <DATANODE_HOST:IPC_PORT> [upgrade]
向给定的DataNode提交一个关机请求,如果,可选参数upgrade被指定。访问DataNode的客户端将被建议等待直到DataNode重启同时开启快速启动模式。当重启没有及时的发生,客户端超时,然后忽视这个DataNode。在这种情况下,快速启动模式将被禁止。
注意:命令不能等到DataNode关闭来完成。如果DataNode关闭没有完成,命令“dfsadmin
-getDatanodeInfo”可被用来检查DataNode状态。
NameNode Startup Options
namenode-rollingUpgrade
hdfs namenode -rollingUpgrade <downgrade|rollback|started>
当滚动升级正在进行中时,启动选项-rollingUpgrade用来指定不同的滚动升级:
downgrade |
Restores the namenode back to the pre-upgrade release and preserves the user data. |
rollback |
Restores the namenode back to the pre-upgrade release but also reverts the user data back to the pre-upgrade state. |
started |
Specifies a rolling upgrade already started so that the namenode should allow image directories with different layout versions during startup. |
HDFS Rolling Upgrade