Hadoop 2.4.0新特性介绍

在2014年4月7日,Apache发布了Hadoop 2.4.0 。相比于hadoop 2.3.0,这个版本有了一定的改进,突出的变化可以总结为下列几点(官方文档说明):

1 支持HDFS访问控制列表(ACL,Access Control Lists)

这个特性解决了在一定情况下,文件权限访问的权限问题。其机制是基于Linux文件访问权限的特征,如果你熟悉Linux的文件访问机制,你就不用再去理解HDFS文件访问的特性了。

有了ACL特性后,对HDFS文件系统就具有了良性的扩展特性。HDFS-4685 bug,已经在这个版本解决了。

2 本地支持HDFS滚动在线升级

解决问题(HDFS-5535):“In order to roll a new HDFS release through a large cluster quickly and safely, a few enhancements are needed in HDFS. An initial High level design document will be attached to this jira, and sub-jiras
will itemize the individual tasks.”。

3 为HDFS的FSImage提供协议缓存(protocol-buffers)

这个功能使得HDFS升级服务更流畅。解决问题(HDFS-5698):"Branch for using protobuf serialization for FSImage"

4 支持HDFS的https访问方式

5 支持YARN ResourceManager容错

仅支持ResourceManager因故障挂掉重启,可以恢复之前正在运行的应用程序(用户不需重新提交),但正在运行的和尚未运行的任务需重新运行。另外,该版本不支持ResourceManager主备切换,甚至不能配置备ResourceManager。因此,该功能并没有彻底完成。如果想使用的话,请关注其实现进度。

6 增强了对新应用上YARN的功能

Application Timeline Server之前运行在YARN上的计算框架中,只有MapReduce配有Job History server,该server可以供用户查询已经运行完成的作业的信息,随着YARN上计算框架的增多,有必要增加一个通用的Job History Server,于是开发了Generic history server,后来改名为Application Timeline Server,相关文档说明见:Application
Timeline Server。注:Application Timeline Server可认为YARN提供给应用程序的用于共享信息的共享存储模块,可以将metric等信息存到该模块中,不仅仅是历史作业运行信息。目前共享存储模块使用的是单机版的leveldb,用户可根据需要扩展成hbase等。

7 支持YARN上CapacityScheduler 的SLAs

Capacity scheduler支持资源抢占该功能很早就有了,但一直没有得到充分的测试。该版本进行了充分测试,并验证了其有效性。这里简单解释一下capacity scheduler资源抢占功能的设计动机:在capacity scheduler中,队列间的剩余资源是共享的,即当一个队列的资源有剩余时,可以共享给其它队列,但当该队列有新的作业提交时,其它队列必须在一定时间内归还(释放)资源,如果没有归还,则进行调度器会进行抢占。

The world breaks everyone, and afterward, many are stronger at the broken places.(Hemingway)

Hadoop 2.4.0新特性介绍,布布扣,bubuko.com

时间: 2024-08-02 02:40:46

Hadoop 2.4.0新特性介绍的相关文章

Hadoop 2.5.0新特性和改进

Apache Hadoop 2.5.0是一个在2.x.y发布线上的一个小版本,建立在之前稳定的发布版本2.4.1之上.主要特性和改进: 1. Common a) 使用HTTP代理服务器时认证改进.当通过代理服务器使用WebHDFS时这是非常有用的. b) 增加了一个新的Hadoop指标监控sink,允许直接写到Graphite. c) Hadoop文件系统兼容相关的规范工作. 2. HDFS a) 支持 POSIX风格的扩展文件系统.更多细节查看Extended Attributes in HD

Android 8.0新特性介绍以及注意事项

2017年8月22日,谷歌正式发布了Android 8.0的正式版,其正式名称为:Android Oreo(奥利奥) .在此之前 临时代号叫: Android O.对应Api level 为26. 2017年12月5日 , 谷歌正式发布了Android 8.1的正式版.对应的Api Level 为27 . Powerful 强大       Secure 安全              Fast 流畅            Smart&seamiess  轻巧&无缝 Android 8.0

Android O (8.0) 新特性介绍

Android O 功能和 API (文章内容均来Google开发者官网,有需要可自行FQ查看更多资料) Android O 为用户和开发者引入多种新功能.本文重点介绍面向开发者的新功能.请务必查阅 android O 行为变更以了解平台变更可能影响您的应用的领域. 通知 在 Android O 中,我们已重新设计通知,以便为管理通知行为和设置提供更轻松和更统一的方式.这些变更包括:  通知渠道:Android O 引入了通知渠道,其允许您为要显示的每种通知类型创建用户可自定义的渠道.用户界面将

Apache Hadoop 2.6.0 新特性

Apache Hadoop 2.6.0发布了,新的稳定版,发布频率和质量越来越高了,增加了很多东西,从安装包的大小就能看出来,直接增加了50M,30%有木有. 下面看一下,2.6.0都有啥好东西. Common: 1.      Hadoop Key Management Server(KMS)是一个基于HadoopKeyProvider API编写的密钥管理服务器.他提供了一个client和一个server组件,client和server之间基于HTTP协议使用REST API通信.Clien

Apache Spark 2.2.0新特性介绍(转载)

这个版本是 Structured Streaming 的一个重要里程碑,因为其终于可以正式在生产环境中使用,实验标签(experimental tag)已经被移除.在流系统中支持对任意状态进行操作:Apache Kafka 0.10 的 streaming 和 batch API支持读和写操作.除了在 SparkR, MLlib 和 GraphX 里面添加新功能外,该版本更多的工作在系统的可用性(usability).稳定性(stability)以及代码的润色(polish)并解决了超过 110

RHEL7.0新特性介绍

1. RHEL7新特性: 1.1. 身份管理 ? kerberos的跨平台信任机制:kerberos将完全兼容微软活动目录,实现完全使用活动目录进行认证. ?REALMD:该功能简化了RHEL 加入微软活动目录的配置,支持自动发现域信息. RHEL 7增加了两个关键性的新特征改善了RHEL对AD的处理方式.现在,RHEL 7和AD之间建立了跨域信任(Cross-realm trusts),因此AD用户可以在Linux端无需登录就能访问资源.RHEL 7增加的另外一个AD相关的功能是realmd,

(七)Unity5.0新特性------介绍IL2CPP内部构建

?? 孙广东  2015.5.20 介绍IL2CPP内部构建 将近一年以前的事了,Unity开始谈论未来在Unity中的脚本.新的 IL2CPP 脚本后端答应(highly-portable)给Unity带来了高性能. 高便携式虚拟机.今年 1 月,Unity使用 IL2CPP,尝试的第一平台是iOS 64-bit.Unity5 发布带来了另一种平台:WebGL.由于从我们拥有的强大的社区,用户的输入,我们已经为 IL2CPP发运许多版本更新修补程序,稳步提高其编译和运行时. 我们没有计划去制止

背水一战 Windows 10 (43) - C# 7.0 新特性

原文:背水一战 Windows 10 (43) - C# 7.0 新特性 [源码下载] 作者:webabcd 介绍背水一战 Windows 10 之 C# 7.0 新特性 介绍 C# 7.0 的新特性 示例1.C# 7.0 示例 1: out 变量, 数字语法改进, 值类型的异步返回CSharp7/Demo1.xaml.cs /* * C# 7 示例 1 * out 变量, 数字语法改进, 值类型的异步返回 */ using System; using System.Threading.Task

背水一战 Windows 10 (1) - C# 6.0 新特性

原文:背水一战 Windows 10 (1) - C# 6.0 新特性 [源码下载] 作者:webabcd 介绍背水一战 Windows 10 之 C# 6.0 新特性 介绍 C# 6.0 的新特性 示例1.C# 6.0 示例 1: 自动属性支持初始化, 字符串嵌入的新方式, 通过 Using Static 引用静态类, nameof 表达式CSharp6/Demo1.xaml.cs /* * C# 6 示例 1 * 自动属性支持初始化, 字符串嵌入的新方式, 通过 Using Static 引