Spark1.0.0新特性
A:新增的组件Spark SQL
- Spark1.0.0引入了Spark SQL作为一个新的alpha项目。Spark SQL提供了装载和操作结构化数据,这些结构化数据能够来自外部结构化数据源,如hive、Parquet File,也能够来自通过架构化的RDD。
- Spark SQL的API能够和RDD数据模型进行互操作,使用户能够交错使用Spark代码与SQL语句。
- Spark SQL使用Catalyst优化器来选择一个高效的运行计划,并能自己主动将断言保存到类似Parquet之类的存储格式中。在未来的版本号中,Spark SQL也将提供一个通用的API,以支持其它存储系统。
B:Spark Steaming
- Spark1.0.0 Streaming针对状态流转换方面进行了性能优化,改进了对Flume支持,以及添加了长时间执行任务的状态进行自己主动清理。
C:MLlib
- Spark1.0.0 MLlib添加了Scala,Java和Python的稀疏特征向量支持,其利用了线性方法,K-means和朴素贝叶斯在存储和计算上稀疏性优势。
- 此外,添加了一些新的算法,如可扩展的决策树进行分类和回归,矩阵算法的分布式实现(包含SVD和PCA),模型评估函数以及和L-BFGS算法。
D:GraphX
- Spark1.0.0 GraphX??带来了图形负载,边缘逆转,和邻里计算方面性能的显著提升,由于这些操作如今须要更少的通信要求,产生RDD图更简单。
A:更加稳定的API
- 对于非alpha版本号的项目API会更稳定,并且会在1.X产品线上兼容下去。
- 在源码上加以@DeveloperApi标注的API是指不稳定的内部API;以@Experimental标注的API是指面向用户的API,它以后可能稳定。
B:JAVA8的支持
- Spark1.0.0添加了对Java8 lambda语法的支持, Java 8支持使用简洁的语法编写匿名函数,类似于在Scala和Python的闭包语法。这些变化在使用现有Java API时作一些微小的改变,详细能够參考文档。如:
class Split extends FlatMapFunction<String, String> {public Iterable<String> call(String s) {return Arrays.asList(s.split(" "));});JavaRDD<String> words = lines.flatMap(new Split());使用Java 8的话:
JavaRDD<String> words = lines.flatMap(s -> Arrays.asList(s.split(" ")));
C:增强的Python
- Spark1.0.0对Python API进行了扩展,以支持一些新的功能,也对Python API稳定性方面作了一些改进,特别是对于大型数据集。
D:使用spark-submit之后不再须要在代码中指定masterconf = new SparkConf().setAppName(“My App”)sc = new SparkContext(conf)
A:应用提交工具spark-submit
- Spark1.0.0简化了应用程序的提交方式,通过一个统一的提交工具spark-submit,用户能够将应用程序提交给Spark集群,如Standalone、YARN、Mesos,也能够指定是以client方式执行还是cluster方式执行。详细使用參见Spark1.0.0
应用程序部署工具spark-submit/bin/spark-submit \--class <main-class>--master <master-url> \--deploy-mode <deploy-mode> \... # other options<application-jar> \[application-arguments]
B:JobServerSpark1.0.0提供了JobServer对任务进行调度。以后写专题博客进行讨论。
C:支持YARN安全机制
- 现有的Hadoop版本号已经有了自己的安全机制,在YARN中执行应用的时候,Spark1.0.0支持YARN的安全机制。
- 在YARN环境中支持Kerberos authentication:
spark.authenticate = true
- 在UI上支持ACL:
spark.ui.acls.enable = truespark.ui.view.acls = user1, user2
D:UI监控的增强
- 能够在UI监控中取消job
- 显示shuffle时的GC信息
E:History Server
- 通过配置能够查看已完毕job的历史记录
spark.eventLog.enabled=truespark.eventLog.dir=hdfs://XX
- 在Standalone模式下,History Server内嵌在master上;在YARN/Mesos模式下,能够守护模式执行History Server。
F:PySpark如今支持在YARN上执行。
A:编程指南描叙的更具体,涵盖全部支持的语言,很多其它地讨论开发生命周期的各种操作。B:MLlib指南中每种算法添加了很多其它细节和样例。C:配置指南中对YARN和Mesos的配置说明进行了改进。
A:使用DISK_ONLY进行数据集持久化时直接写入磁盘, 对于大数据集会显著提高内存的利用率。B:新SparkContext.wholeTextFiles方法能够让小文本文件作为单个记录进行操作。。。。
Spark1.0.0新特性的更多相关文章
- php5.3到php7.0.x新特性介绍
<?php /*php5.3*/ echo '<hr>'; const MYTT = 'aaa'; #print_r(get_defined_constants()); /* 5.4 ...
- paip.php 5.0 5.3 5.4 5.5 -6.0的新特性总结与比较
paip.php 5.0 5.3 5.4 5.5 -6.0的新特性总结与比较 PHP5的新特性 2 · 对象的参照过渡是默认的(default) 3 · 引入访问属性的限制 3 · 引入访问方法的限 ...
- NodeJS 框架 Express 从 3.0升级至4.0的新特性
NodeJS 框架 Express 从 3.0升级至4.0的新特性 [原文地址:√https://scotch.io/bar-talk/expressjs-4-0-new-features-and-u ...
- 相比于python2.6,python3.0的新特性。
这篇文章主要介绍了相比于python2.6,python3.0的新特性.更详细的介绍请参见python3.0的文档. Common Stumbling Blocks 本段简单的列出容易使人出错的变动. ...
- MySQL 8.0 InnoDB新特性
MySQL 8.0 InnoDB新特性 1.数据字典全部采用InnoDB引擎存储,支持DDL原子性.crash safe,metadata管理更完善 2.快速在线加新列(腾讯互娱DBA团队贡献) 3. ...
- Atitit jquery 1.4--v1.11 v1.12 v2.0 3.0 的新特性
Atitit jquery 1.4--v1.11 v1.12 v2.0 3.0 的新特性 1.1. Jquery1.12 jQuery 2.2 和 1.12 新版本发布 - OPEN资讯.h ...
- [PHP] 从PHP 5.6.x 移植到 PHP 7.0.x新特性
从PHP 5.6.x 移植到 PHP 7.0.x 新特性: 1.标量类型声明 字符串(string), 整数 (int), 浮点数 (float), 布尔值 (bool),callable,array ...
- servlet3.0 的新特性之二注解代替了web.xml配置文件
servlet3.0 的新特性: 注解代替了 web.xml 文件 支持了对异步的处理 对上传文件的支持 1.注解代替了配置文件 1.删除了web.xml 文件 2. 在Servlet类上添加@Web ...
- C# 6.0/7.0 的新特性
转眼C#语言都已经迭代到7.0版本了,很多小伙伴都已经把C# 7.0 的新特性应用到代码中了,想想自己连6.0的新特性都还很少使用,今天特意搜集了一下6.0和7.0的一些新特性,记录一下,方便查阅. ...
- C#6.0的新特性之内插字符串
https://docs.microsoft.com/zh-cn/dotnet/csharp/language-reference/keywords/interpolated-strings C# 6 ...
随机推荐
- Java [Leetcode 190]Reverse Bits
题目描述: everse bits of a given 32 bits unsigned integer. For example, given input 43261596 (represente ...
- zoj 2588 Burning Bridges
题目描述:Ferry王国是一个漂亮的岛国,一共有N个岛国.M座桥,通过这些桥可以从每个小岛都能到达任何一个小岛.很不幸的是,最近Ferry王国被Jordan征服了.Jordan决定烧毁所有的桥.这是个 ...
- 【Mysql】安装 mysql-5.7.5 指南
因为同学需要安装mysql,安装过程,一路百度,在这里记录一下步奏.以后还会用到. 1.mysql-5.7.5-m15-winx64.zip下载 官方网站下载地址:http://cdn.mysql.c ...
- 【已解决】Android ADT中增大AVD内存后无法启动:emulator failed to allocate memory 8
[问题] 折腾: [已解决]Android ADT中增大AVD内存后无法启动:emulator failed to allocate memory 8 过程中,增大对应AVD的内存为2G后,结果无法启 ...
- RegExp类型和text()方法
ECMAScript通过RegExp类型来支持正则表达式 RegExp 实例方法:text() 它接受一个字符串参数,在模式与该参数匹配的情况下返回true,否则返回false,通常用在if语句中 / ...
- redis学习笔记之pipeline
redis是一个cs模式的tcp server,使用和http类似的请求响应协议.一个client可以通过一个socket连接发起多个请求命令.每个请求命令发出后client通常 会阻塞并等待redi ...
- CXF之jaxws:endpoint对spring bean的引用
由于CXF对spring的无缝支持,CXF的使用,经常与spring捆绑在一起.随之而起的,自然是想在jaxws:endpoint中引用spring bean.在CXF提供的HelloWorld例子中 ...
- Easy steps to create a System Tray Application with C# z
Hiding the C# application to the system tray is quiet straight forward. With a few line of codes in ...
- 35、Android 性能优化、内存优化
http://blog.csdn.net/a_asinceo/article/details/8222104 http://blog.csdn.net/a_asinceo/article/detail ...
- mysql-5.6.15_winX64在win764位系统下的安装操作步骤总结
mysql 版权声明:本文为博主原创文章,未经博主允许不得转载. 自从换了新电脑win764位,支持的内存从原来的3G(2G机身+1G内存条)变到了现在的8G(机身4G+4G内存条),机子的速度是 ...