Spark_RDD之基本RDD操作
1.基本转化操作
1.1最常用的两个转化操作时map()和filter()。
map()接收一个函数,把这个函数用于RDD中的每个元素,将函数作用之后的结果作为结果RDD中元素的值。
filter()接收一个函数,将RDD中满足该函数的元素返回放入新的RDD中。
举一个使用map()求RDD平方的例子。scala代码如下:
def main(args: Array[String]): Unit = { val conf = new SparkConf(); conf.setAppName("map"); conf.setMaster("local"); val sc = new SparkContext(conf); val num = sc.parallelize(List(, , , )); val result = num.map(x => x*x); result.take().foreach(println); }
对应的Java代码为:
public static void main(String[] args) { SparkConf conf = new SparkConf(); conf.setAppName("trans"); conf.setMaster("local"); JavaSparkContext sc = new JavaSparkContext(conf); JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(, , , )); JavaRDD<Integer> outputRdd = rdd.map(new Function<Integer,Integer >() { private static final long serialVersionUID = 1L; public Integer call(Integer x) throws Exception { return x*x; } }); System.out.println(StringUtils.join(",", outputRdd.collect())); sc.close(); }
1.2 flatMap()
有时候我们希望操作一个元素使他返回多个元素,这时我们可以使用flatMap()。下面举一个例子,将一个包含一个字符串的RDD通过空格切分,返回多个元素。
scala代码如下:
def main(args: Array[String]): Unit = { val conf = new SparkConf(); conf.setAppName("flatmap"); conf.setMaster("local"); val sc = new SparkContext(conf); val lines = sc.parallelize(List("hello world","hi")); val words = lines.flatMap(line => line.split(" ")) println(words.first()) }
1.3集合操作
1.union(),返回一个包含两个RDD所以元素的RDD。例:
def main(args: Array[String]): Unit = { val conf = new SparkConf(); conf.setAppName("union"); conf.setMaster("local"); val sc = new SparkContext(conf); val a = sc.parallelize(List(, , )); val b = sc.parallelize(List(, , )); val c = a.union(b); println(c.collect().mkString(",")); }
Java代码如下:
public static void main(String[] args) { SparkConf conf = new SparkConf(); conf.setAppName("trans"); conf.setMaster("local"); JavaSparkContext sc = new JavaSparkContext(conf); JavaRDD<Integer> a = sc.parallelize(Arrays.asList(1, 2, 3)); JavaRDD<Integer> b = sc.parallelize(Arrays.asList(3, 4, 5)); JavaRDD<Integer> c = a.union(b); System.out.println(StringUtils.join(",", c.collect())); sc.close(); }
如果想要去除重复的元素,可以使用distinct()方法,不过该方法开销很大,因为它需要将所有数据通过网络进行混洗shuffle。
使用intersection(other)方法可以返回两个RDD中都有的元素,它会去除RDD中重复的元素。同样它也需要进行混洗,开销大,效率低。
使用Cartesian(other)计算两个RDD的笛卡尔积。
使用subtract(other),从一个RDD中移除在另一个RDD含有的元素 。
1.4行动操作
1.reduce():reduce函数接收一个函数,这个函数操作两个RDD并返回一个同样类型的新元素。举个简单的+的例子。
object ReduceRdd { def main(args: Array[String]): Unit = { val conf = new SparkConf(); conf.setAppName("reduce"); conf.setMaster("local"); val sc = new SparkContext(conf); val rdd = sc.parallelize(List(1, 2, 3, 4)); val sum = rdd.reduce((x,y) =>x+y); println(sum); } }
2.aggregate():我们可以使用这个函数返回不同类型的新元素。使用这个函数时,首先要提供我们期待返回类型的初始值,然后使用一个函数将RDD的元素进行累加,最后使用一个函数将不同节点上的RDD进行合并。举一个求平均数的例子:
object BasicAvg { def main(args: Array[String]): Unit = { val conf = new SparkConf(); conf.setAppName("reduce"); conf.setMaster("local"); val sc = new SparkContext(conf); val num = sc.parallelize(List(1,2,3,4)); val result = num.aggregate((0,0))((x,y) => (x._1+y,x._2+1), (x,y)=>(x._1+y._1,x._2+y._2)); val avg = result._1/result._2.toDouble; println(avg); } }
解释一下aggregate()的过程,首先给定我们期待的结果的RDD的初始值,为 (0,0),第一个值表示的是RDD各个元素的值,第二个值表示的是元素的个数。第一个函数进行的是累加操作,比如第一个RDD累加后的值为(1,1),第二个RDD累加后的值为(3,2),以此类推。第二个函数主要是为了将不同节点上的RDD进行合并。
3.还有一些简单的将数据返回给驱动程序的操作,比如
collect(),它会将整个RDD的内容返回。
take(n)返回RDD的n个元素。
foreach()行动操作对RDD中的每一个元素进行操作。
count()计算RDD中元素的个数。
countByValue()计算各个元素在RDD中出现的次数。
Spark_RDD之基本RDD操作的更多相关文章
- Spark学习(一)--RDD操作
标签(空格分隔): 学习笔记 Spark编程模型的两种抽象:RDD(Resilient Distributed Dataset)和两种共享变量(支持并行计算的广播变量和累加器). RDD RDD是一种 ...
- RDD操作
RDD操作 1.对一个数据为{1,2,3,3}的RDD进行基本的RDD转化操作 函数名 目的 示例 结果 map() 函数应用于RDD中的每个元素 rdd.map(x=>x+1) {2,3,4, ...
- Spark编程模型及RDD操作
转载自:http://blog.csdn.net/liuwenbo0920/article/details/45243775 1. Spark中的基本概念 在Spark中,有下面的基本概念.Appli ...
- Spark 键值对RDD操作
键值对的RDD操作与基本RDD操作一样,只是操作的元素由基本类型改为二元组. 概述 键值对RDD是Spark操作中最常用的RDD,它是很多程序的构成要素,因为他们提供了并行操作各个键或跨界点重新进行数 ...
- SPARKR,对RDD操作的介绍
(转载)SPARKR,对RDD操作的介绍 原以为,用sparkR不能做map操作, 搜了搜发现可以. lapply等同于map, 但是不能操作spark RDD. spark2.0以后, spar ...
- spark RDD操作的底层实现原理
RDD操作闭包外部变量原则 RDD相关操作都需要传入自定义闭包函数(closure),如果这个函数需要访问外部变量,那么需要遵循一定的规则,否则会抛出运行时异常.闭包函数传入到节点时,需要经过下面的步 ...
- Spark性能优化(2)——广播变量、本地缓存目录、RDD操作、数据倾斜
广播变量 背景 一般Task大小超过10K时(Spark官方建议是20K),需要考虑使用广播变量进行优化.大表小表Join,小表使用广播的方式,减少Join操作. 参考:Spark广播变量与累加器 L ...
- 【spark】RDD操作
RDD操作分为转换操作和行动操作. 对于RDD而言,每一次的转化操作都会产生不同的RDD,供一个操作使用. 我们每次转换得到的RDD是惰性求值的 也就是说,整个转换过程并不是会真正的去计算,而是只记录 ...
- 【Spark】RDD操作具体解释4——Action算子
本质上在Actions算子中通过SparkContext运行提交作业的runJob操作,触发了RDD DAG的运行. 依据Action算子的输出空间将Action算子进行分类:无输出. HDFS. S ...
随机推荐
- 动手动脑(lesson 3)
一· 答:本质上一样,但在内存分配时有区别.如下图: 二· 程序运行结果截图: 答案截图: 三· 四· 答:构造函数与参数个数不匹配. 五· 运行结果截图: 总结:所有类的变量都默认初始化为null, ...
- ingress-nginx 添加https证书
1.配了一个证书,发现报错: kubectl logs ingress-nginx-controller-96fnv -n ingress-nginx unexpected error vali ...
- 5个python爬虫教材,让小白也有爬虫可写,含视频教程!
认识爬虫 网络爬虫,如果互联网是一张蜘蛛网,网络爬虫既是一个在此网上爬行的蜘蛛,爬了多少路程即获取到多少数据. python写爬虫的优势 其实以上功能很多语言和工具都能做,但是用python爬 ...
- CF1039D You Are Given a Tree 根号分治、二分、贪心
传送门 似乎直接做不太好做-- 当你不会做的时候就可以考虑根号算法了(或许是这样的 考虑如果只有一个询问如何计算答案. 显然是可以贪心的,思路与NOIP2018D1T3是相同的.每一个点向上传一条链, ...
- 大话设计模式之工厂模式 C#
学无止境,精益求精 十年河东,十年河西,莫欺少年穷 学历代表你的过去,能力代表你的现在,学习代表你的将来 大话设计模式一书中第一个开讲的设计模式是简单工厂模式,关于简单工厂模式大家可参考鄙人的博客:代 ...
- Python中 and or 运算顺序详解 --- 短路逻辑
核心思想 表达式从左至右运算,若 or 的左侧逻辑值为 True ,则短路 or 后所有的表达式(不管是 and 还是 or),直接输出 or 左侧表达式 . 表达式从左至右运算,若 and 的左侧逻 ...
- Visual Studio平台安装及测试
一.VS安装 图1.1 图1.2 二.单元测试练习 题目:课本22~25页单元测试练习 1.创建一个c#类(具体如下:打开VS2010,然后点击VS界面上左上角的文件按钮,然后点击文件—新建—项目,就 ...
- 【2016.3.16】作业 VS2015安装&单元测试(1)
首先说下本机配置. CPU:Intel Atom x5-z8300 @1.44GHz 内存:2GB 操作系统:Windows10 家庭版 32位 硬盘:32GB 然后开始怒装visual studio ...
- Individual Project - Word_frequency
0x00 预先准备和时间规划 1.因为要用到visual studio 2013,准备学习C#,预计一天时间能基本使用. 3.了解需求并设计基本数据结构与大致流程 20min 2.根据提议实现simp ...
- 《Linux内核分析》实践4
<Linux内核分析> 实践四--ELF文件格式分析 20135211李行之 一.概述 1.ELF全称Executable and Linkable Format,可执行连接格式,ELF格 ...