Hadoop 2.4.0新特性介绍
在2014年4月7日,Apache公布了Hadoop 2.4.0 。相比于hadoop 2.3.0,这个版本号有了一定的改进,突出的变化能够总结为下列几点(官方文档说明):
1 支持HDFS訪问控制列表(ACL,Access Control Lists)
这个特性攻克了在一定情况下,文件权限訪问的权限问题。其机制是基于Linux文件訪问权限的特征,假设你熟悉Linux的文件訪问机制,你就不用再去理解HDFS文件訪问的特性了。
有了ACL特性后,对HDFS文件系统就具有了良性的扩展特性。HDFS-4685 bug,已经在这个版本号攻克了。
2 本地支持HDFS滚动在线升级
解决这个问题(HDFS-5535):“In order to roll a new HDFS release through a large cluster quickly and safely, a few enhancements are needed in HDFS. An initial High level design document will be attached to this jira, and sub-jiras
will itemize the individual tasks.”。
3 为HDFS的FSImage提供协议缓存(protocol-buffers)
这个功能使得HDFS升级服务更流畅。解决这个问题(HDFS-5698):"Branch for using protobuf serialization for FSImage"
4 支持HDFS的https訪问方式
5 支持YARN ResourceManager容错
仅支持ResourceManager因故障挂掉重新启动,能够恢复之前正在执行的应用程序(用户不需又一次提交),但正在执行的和尚未执行的任务需又一次执行。另外,该版本号不支持ResourceManager主备切换,甚至不能配置备ResourceManager。因此,该功能并没有彻底完毕。假设想使用的话,请关注事实上现进度。
6 增强了对新应用上YARN的功能
Application Timeline Server之前执行在YARN上的计算框架中,仅仅有MapReduce配有Job History server,该server能够供用户查询已经执行完毕的作业的信息,随着YARN上计算框架的增多,有必要添加一个通用的Job History Server,于是开发了Generic history server,后来改名为Application Timeline Server,相关文档说明见:Application
Timeline Server。注:Application Timeline Server可觉得YARN提供给应用程序的用于共享信息的共享存储模块,能够将metric等信息存到该模块中,不不过历史作业执行信息。眼下共享存储模块使用的是单机版的leveldb,用户可依据须要扩展成hbase等。
7 支持YARN上CapacityScheduler 的SLAs
Capacity scheduler支持资源抢占该功能非常早就有了,但一直没有得到充分的測试。该版本号进行了充分測试,并验证了其有效性。这里简单解释一下capacity scheduler资源抢占功能的设计动机:在capacity scheduler中,队列间的剩余资源是共享的,即当一个队列的资源有剩余时,能够共享给其他队列,但当该队列有新的作业提交时,其他队列必须在一定时间内归还(释放)资源,假设没有归还,则进行调度器会进行抢占。
The world breaks everyone, and afterward, many are stronger at the broken places.(Hemingway)
Hadoop 2.4.0新特性介绍的更多相关文章
- Hadoop3.0新特性介绍,比Spark快10倍的Hadoop3.0新特性
Hadoop3.0新特性介绍,比Spark快10倍的Hadoop3.0新特性 Apache hadoop 项目组最新消息,hadoop3.x以后将会调整方案架构,将Mapreduce 基于内存+io+ ...
- webpack 4.0.0-beta.0 新特性介绍
webpack 可以看做是模块打包机.它做的事情是:分析你的项目结构,找到JavaScript模块以及其它的一些浏览器不能直接运行的拓展语言(Scss,TypeScript等),并将其打包为合适的格式 ...
- Pivotal Greenplum 6.0 新特性介绍
Pivotal Greenplum 6.0 新特性介绍 在1月12日举办的Greenplum开源有道智数未来技术研讨会上,Pivotal中国研发中心Greenplum 产品经理李阳向大家介绍了Pi ...
- [转帖]Pivotal Greenplum 6.0 新特性介绍
Pivotal Greenplum 6.0 新特性介绍 https://cloud.tencent.com/developer/news/391063 原来 greenplum 也是基于pg研发的. ...
- 【c#】6.0与7.0新特性介绍记录
c#发展史 引用地址:https://www.cnblogs.com/ShaYeBlog/p/3661424.html 6.0新特性 1.字符串拼接优化 语法格式:$”string {参数}” 解释: ...
- Apache Spark 2.2.0新特性介绍(转载)
这个版本是 Structured Streaming 的一个重要里程碑,因为其终于可以正式在生产环境中使用,实验标签(experimental tag)已经被移除.在流系统中支持对任意状态进行操作:A ...
- MQTT v5 (MQTT 5.0) 新特性介绍
https://blog.csdn.net/mrpre/article/details/87267400 背景 MQTT v3.1.1 作为一个经典的版本,一般能够满足大部分需求:为了避免落后,我们也 ...
- Apache Cassandra 4.0新特性介绍
引言 大家好,我是蔡一凡,是Cassandra的贡献者之一.(虽然我不便透露我的公司名称),但目前我们公司Cassandra的部署是全世界最大的之一,Cassandra在我们公司也有很多的应用. Ca ...
- AnalyticDB for PostgreSQL 6.0 新特性介绍
阿里云 AnalyticDB for PostgreSQL 为采用MPP架构的分布式集群数据库,完备支持SQL 2003,部分兼容Oracle语法,支持PL/SQL存储过程,触发器,支持标准数据库事务 ...
随机推荐
- vs15
vs15 preview5 离线安装包 vs15 preview5 离线安装包 1.介绍 vs15是微软打造的新一代IDE,全新的安装方式.官网介绍如下(https://blogs.msdn.mi ...
- C#网页自动登录和提交POST信息的多种方法(转)
网页自动登录和提交POST信息的核心就是分析网页的源代码(HTML),在C#中,可以用来提取网页HTML的组件比较多,常用的用WebBrowser.WebClient.HttpWebRequest这三 ...
- Dirichlet Process 和 Dirichlet Process Mixture模型
Dirichlet Process 和 Dirichlet Process Mixture模型 [本文链接:http://www.cnblogs.com/breezedeus/archive/2012 ...
- hdu 4731
一道找规律的题,但今天的智商捉急,一直都想不到点子上: 比赛之后和别人讨论的时候,在n=2的情况下,前面两个是aa,后面就接着很多个aababb,然后最后再判断下就行了~~~ 以后对于这种题还是不要太 ...
- Unity3d 协程的注意问题(新手须注意,老手须加勉)
关于unity3d的协程,非常的好用,比如等待几秒执行,等待下一帧执行等! 但是也有潜在的问题: 1.协程是单线程的,在主线程中完成 2.如果发现yield, 那么这一帧会结束,那么等下一帧调用此脚本 ...
- tornado异步请求非阻塞
前言也许有同学很迷惑:tornado不是标榜异步非阻塞解决10K问题的嘛?但是我却发现不是torando不好,而是你用错了 比如最近发现一个事情:某网 前言 也许有同学很迷惑:tornado不是标榜异 ...
- PYTHON---FILE IO
import pickle shoplistfile = 'shoplist.data' shoplist = ['apple', 'mango', 'carrot'] f = open(shopli ...
- 读书笔记-----Java并发编程实战(二)对象的共享
public class NoVisibility{ private static boolean ready; private static int number; private static c ...
- Linux平台下Java调用C函数
JNI是Java native interface的简写,可以译作Java原生接口.Java可以通过JNI调用C/C++的库,这对于那些对性能要求比较高的Java程序无疑是一个 福音. 使用JNI也是 ...
- java WeakReference
在Java 1.2中就引入了java.lang.ref这个包,WeakReference就属于这个包.WeakReference是干嘛的呢,一言弊之,它是和Java中的垃圾回收相关的.如果一个对象只有 ...