一.API 1. 出现新的上下文接口:SparkSession,统一了SQLContext和HiveContext,并且为SparkSession开发了新的流式调用的configuration API 2. 统一了DataFrame和DataSet.DataFrame相当于DataSet[Row],以及DataSet的增强聚合API 3. 增强了累加器accumulator的功能,支持Web UI,便捷的API,性能更高 二.SQL 1. 支持SQL2003标准 2. 支持ansi-sql 和h…

目录 一.Lambda 1.定义/设计原因 2.结构 3.规则 4.使用 二.函数式接口 1.定义 2.设计原因 3.使用 三.方法引用 1.定义/设计原因 2.使用 四.接口的默认方法 1.定义 2.设计原因 3.使用 五.Stream 1.定义 2.设计原因 2.使用 六.Optional 类 1.定义 2.设计原因 3.使用 六.日期时间类 1.定义 2.设计原因 3.使用 七.Base64 1.定义 2.使用 一.Lambda 1.定义/设计原因 官方解释:允许把函数作为一个方法的参数.…

8种基本数据类型的8种包装类 byte Byte short Short int Integer long Long float Float double Double char Character boolean Boolean Integer a=127; Integer b=127;//虚拟机自动装箱时进行了特殊处理,-127~128以下的自动取有过的 System.out.println(a==b);结果为true 如果是Integer a=128; Integer b=128; Sys…

Apache Spark 1.6公布 CSDN大数据 | 2016-01-06 17:34 今天我们很高兴可以公布Apache Spark 1.6,通过该版本号,Spark在社区开发中达到一个重要的里程碑:Spark源代码贡献者的数据已经超过1000人,而在2014年年末时人数仅仅有500. 那么,Spark 1.6有什么新特性呢?Spark 1.6有逾千个补丁. 在本博文中,我们将重点突出三个基本的开发主题:性能提升.新的DataSet API和数据科学函数的扩展. 性能提升 依据我们2015…

Hadoop3.0新特性介绍,比Spark快10倍的Hadoop3.0新特性 Apache hadoop 项目组最新消息,hadoop3.x以后将会调整方案架构,将Mapreduce 基于内存+io+磁盘,共同处理数据.其实最大改变的是hdfs,hdfs 通过最近black块计算,根据最近计算原则,本地black块,加入到内存,先计算,通过IO,共享内存计算区域,最后快速形成计算结果. 1. Hadoop 3.0简介 Hadoop 2.0是基于JDK 1.7开发的,而JDK 1.7在2015年4…

后续会添加spark生态系统中各个组件的兼容支持情况... Spark2.0.0 * 2016-07-27正式发布 * 它是2.x版本线的上的第一个版本. * 300位contributors的超过2500个patches * Programming APIs * DataFrame和Dataset统一(scala和Java中) * SparkSession将要替换旧的SQLContext和HiveContext,保留后者 * Spark SQL * 支持SQL2003,Spark SQL现在可…

注:本文提及到的代码示例下载地址 - Runnable sample to introduce Typescript 2.0 RC new features 作为一个Javascript的超集, TypeScript是微软继C#后最受人瞩目的明星语言, 日前TypeScript2.0候选版已于八月底发布,正式版也很快很快的要出来了. 废话少说,使用TypeScript 2.0候选版(RC)的第一步,你需要先下载 TypeScript 2.0 RC for Visual Studio 2015 (…

上个月的微软Build大会上宣布了.NET 4.5.1的推出,Heydarian的这个演讲题为".NET开发中的新内容",涵盖了.NET Framework中一些重要的新特性. Heydarian的演讲主要围绕着三个方面展开:开发者生产力.应用程序的性能及持续创新.首先是开发者生产力,他在提到了32位机器上的该功能在2005年就已发布,随后高兴地宣布64位机器上的相同功能将成为.NET 4.5.1的一部分.这一功能和32位版本是完全相同的.随后,Heydarian宣布了检测方法返回值的…

声明:本文翻译自Java 8 Features Tutorial – The ULTIMATE Guide,翻译过程中发现并发编程网已经有同学翻译过了:Java 8 特性 – 终极手册,我还是坚持自己翻译了一版(写作驱动学习,加深印象),有些地方参考了该同学的. 前言: Java 8 已经发布很久了,很多报道表明Java 8 是一次重大的版本升级.在Java Code Geeks上已经有很多介绍Java 8新特性的文章,例如Playing with Java 8 – Lambdas and Co…

目录 SignalR系列目录(注意,是ASP.NET的目录.不是Core的) 前言 一晃一个月又过去了,上个月有个比较大的项目要验收上线.所以忙的脚不沾地.现在终于可以忙里偷闲,写一篇关于SignalR Core的文章了. 先介绍一下SignalR吧,如下: ASP.NET SignalR是ASP.NET开发人员的一个库,它简化了向Web应用程序添加即时通讯功能的过程. 它可以让服务器在可用时立即向连接的客户端推送内容,而不是让服务器等待客户端请求新数据. 当然,在新的ASP.NET Core中…