本文参考

参考《Spark快速大数据分析》动物书中的第三章"RDD编程",前一篇文章已经概述了转化操作相关的API,本文再介绍行动操作API

和转化操作API不同的是,行动操作API只能作用于一个RDD

RDD转化操作API归纳:https://www.cnblogs.com/kuluo/p/12545374.html

Pair RDD转化操作API归纳:https://www.cnblogs.com/kuluo/p/12558563.html

Pair RDD行动操作API归纳:https://www.cnblogs.com/kuluo/p/12567221.html

环境

idea + spark 2.4.5 + scala 2.11.12

RDD均通过SparkContext的parallelize()函数创建

collect()函数

目的:

返回RDD中的所有元素

代码:

val testList = List(1, 2, 3, 3)
val testRdd = sc.parallelize(testList)
testRdd.collect().foreach(ele => print(s"$ele "))

输出:

1 2 3 3

注意:

该函数会将所有元素放入驱动器进程中,只有当整个数据集能在单台机器的内存中放得下时,才能使用,不适宜用在大规模数据集,因此大多数情况下用于本地开发测试,以下还会碰到很多这样不适合大数据量访问的函数

count()函数

目的:

返回RDD中的元素个数

代码:

val testList = List(1, 2, 3, 3)
val testRdd = sc.parallelize(testList)
println(testRdd.count())

输出:

4

countByValue()函数

目的:

各元素在RDD中出现的次数

在经典的WordCount示例程序中我们一般先通过flatMap()函数进行压扁,再用map()函数转为pair RDD,最后用reduceByKey()函数进行计数,实际上我们可以通过countByValue()函数,将WordCount示例程序中的map()函数和reduceByKey()函数两步操作,合并为一步

代码:

val testList = List(1, 2, 3, 3)
val testRdd = sc.parallelize(testList)
testRdd.countByValue().foreach(ele => print(s"$ele "))

输出:

(1,1) (3,2) (2,1)

和WordCount程序的对比:

val testList = List("a a a a b b c c", "a a c c c d d", "b b c c d", "a b c d")
val testRdd = sc.parallelize(testList)
testRdd.flatMap(line =>

line.split(" ")
).map(ele =>

  (ele, 1)
).reduceByKey{case (x, y) =>

  x + y
}.foreach(pair => print(s"$pair "))

使用countByValue后

val testList = List("a a a a b b c c", "a a c c c d d", "b b c c d", "a b c d")
val testRdd = sc.parallelize(testList)
testRdd.flatMap(line =>

  line.split(" ")
).countByValue().foreach(pair => print(s"$pair "))

两个示例程序输出结果相同:(d,4) (a,7) (b,5) (c,8)

注意:

尽管使用该函数能够简化我们的编程,但是在源码中有如下注释:

This method should only be used if the resulting map is expected to be small, as the whole thing is loaded into the driver's memory.

To handle very large results, consider using rdd.map(x => (x, 1L)).reduceByKey(_ + _) , which returns an RDD[T, Long] instead of a map.

由此可见countByValue()函数也会将所有元素加载到驱动器进程,建议在数据集不大的情况下使用

另外一点要注意的是,countByValue()函数返回的RDD中的每个元素的类型是Map,但并不是我们常说的pair RDD,pair RDD相关的转化和行动操作不能应用在元素类型是Map的RDD上

take()函数

目的:

从RDD中返回num个元素,将尽可能访问少的分区

代码:

val testList = List(3, 4, 2, 1, 9, 6, 3, 6, 8, 9)
val testRdd = sc.parallelize(testList)
testRdd.take(5).foreach(pair => print(s"$pair "))

输出:

3 4 2 1 9(不一定)

注意:

This method should only be used if the resulting array is expected to be small, as all the data is loaded into the driver's memory.

take ()函数也会将所有元素加载到驱动器进程,建议在返回元素不多的情况下使用

takeSample()函数

目的:

从RDD中返回任意一些元素

代码:

val testList = List(0, 1, 2, 3, 4, 5, 6, 7, 8, 9)
val testRdd = sc.parallelize(testList)
testRdd.takeSample(true, 5).foreach(pair => print(s"$pair "))

输出:

0 4 0 3 2(会出现重复元素)

代码:

val testList = List(0, 1, 2, 3, 4, 5, 6, 7, 8, 9)
val testRdd = sc.parallelize(testList)
testRdd. takeSample(false, 5).foreach(pair => print(s"$pair "))

输出:

0 3 8 2 7(不会出现重复元素)

sample()函数、take()函数和takeSample()函数的区别:

sample()函数是转化操作API,withReplacement参数取false时,fraction参数取[0, 1]并表示RDD中每个元素被选中的可能性

take()函数是行动操作API,从RDD中抽取由num参数指定的数量的元素,首先访问RDD中的第一个分区,若第一个分区中的元素个数已经能够满足我们num参数指定的数量,将不再访问其它分区,即尽可能少地访问RDD分区,以下为take()函数源码注释

Take the first num elements of the RDD. It works by first scanning one partition, and use the results from that partition to estimate the number of additional partitions needed to satisfy the limit.

takeSample()函数是行动操作API,从withReplacement参数取false时,结果RDD中不会出现重复元素,num参数表示要取得的元素的个数

sample()函数takeSample()函数都有第三个参数seed用来设置随机数种子,保证每次抽取RDD元素的结果集不同

take()函数和takeSample()函数被明确指明各元素会被加载到驱动器进程,不适合大数据量的情况下使用

top()函数

目的:

从RDD中返回最前面的num个元素,降序排序

内部实际上调用takeOrdered()函数

代码:

val testList = List(3, 4, 2, 1, 9, 6, 3, 6, 8, 9)
val testRdd = sc.parallelize(testList)
testRdd.top(5).foreach(pair => print(s"$pair "))

等价写法

val testList = List(3, 4, 2, 1, 9, 6, 3, 6, 8, 9)
val testRdd = sc.parallelize(testList)
testRdd.takeOrdered(5)(Ordering[Int].reverse).foreach(pair => print(s"$pair "))

输出:

9 9 8 6 6

takeOrdered()函数

目的:

从RDD中按照提供的顺序返回最前面的num个元素,默认升序排序

代码:

val testList = List(3, 4, 2, 1, 9, 6, 3, 6, 8, 9)
val testRdd = sc.parallelize(testList)
testRdd.takeOrdered(5).foreach(pair => print(s"$pair "))

输出:

1 2 3 3 4

reduce()函数

目的:

并行整合RDD中所有数据,操作两个相同元素类型的RDD数据返回一个同样类型的新元素

代码:

val testList = List(0, 1, 2, 3, 4, 5, 6, 7, 8, 9)
val testRdd = sc.parallelize(testList)
println(testRdd.reduce(_ + _))

输出:

45

fold()函数

目的:

和reduce()函数一样,但需要提供初始值,提供的初始值应当是你提供的操作的单位元素,如加法运算的单位元素是0,乘法运算的单位元素是1

代码:

val testList = List(0, 1, 2, 3, 4, 5, 6, 7, 8, 9)
val testRdd = sc.parallelize(testList)
println(testRdd.fold(0)(_ + _))

输出:

45

aggregate()函数

目的:

和reduce()函数相似,但返回值类型可以和操作的RDD类型不同,需要提供初始值,合并RDD内元素的函数以及将不同节点上的元素进行合并

代码:

val testList = List(3, 4, 5, 3, 8, 6, 6, 7, 9, 1)
val testRdd = sc.parallelize(testList)
val result:(Int, Int)
= testRdd.aggregate((0, 0))((x, y)
=> {

  (x._1 + y, x._2 + 1)
}, (x, y) => {
  (x._1 + y._1, x._2 + y._2)
})
print(1.0 * result._1 / result._2)

计算平均值,在本例中aggregate()函数返回的是一个Tuple元组

输出:

5.2

foreach()函数

目的:

对RDD中的每个元素使用给定的函数,在前面的示例中均以出现,此处不再做演示

更高效的操作:

val testList = List(3, 4, 5, 3, 8, 6, 6, 7, 9, 1)
val testRdd = sc.parallelize(testList)
testRdd.foreachPartition(partition => {

  partition.foreach(ele => {

    print(s"$ele ")
  })
})

输出:3 4 5 3 8 6 6 7 9 1

Spark学习摘记 —— RDD行动操作API归纳的更多相关文章

  1. Spark学习摘记 —— RDD转化操作API归纳

    本文参考 在阅读了<Spark快速大数据分析>动物书后,大概了解到了spark常用的api,不过书中并没有给予所有api具体的示例,而且现在spark的最新版本已经上升到了2.4.5,动物 ...

  2. Spark学习摘记 —— Pair RDD行动操作API归纳

    本文参考 参考<Spark快速大数据分析>动物书中的第四章"键值对操作",本篇是对RDD转化操作和行动操作API归纳的最后一篇 RDD转化操作API归纳:https:/ ...

  3. Spark学习摘记 —— Pair RDD转化操作API归纳

    本文参考 参考<Spark快速大数据分析>动物书中的第四章"键值对操作",由于pair RDD的一些特殊操作,没有和前面两篇的API归纳放在一起做示例 前面的几个api ...

  4. Spark学习之RDD编程(2)

    Spark学习之RDD编程(2) 1. Spark中的RDD是一个不可变的分布式对象集合. 2. 在Spark中数据的操作不外乎创建RDD.转化已有的RDD以及调用RDD操作进行求值. 3. 创建RD ...

  5. spark学习(10)-RDD的介绍和常用算子

    RDD(弹性分布式数据集,里面并不存储真正要计算的数据,你对RDD的操作,他会在Driver端转换成Task,下发到Executor计算分散在多台集群上的数据) RDD是一个代理,你对代理进行操作,他 ...

  6. Spark学习之RDD

    RDD概述 什么是RDD RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变.可分区.里面的元素可并行计算的集合 ...

  7. Spark学习之RDD的理解

    转自:http://www.infoq.com/cn/articles/spark-core-rdd/ 感谢张逸老师的无私分享 RDD,全称为Resilient Distributed Dataset ...

  8. Spark学习之RDD编程总结

    Spark 对数据的核心抽象——弹性分布式数据集(Resilient Distributed Dataset,简称 RDD).RDD 其实就是分布式的元素集合.在 Spark 中,对数据的所有操作不外 ...

  9. Spark学习笔记——RDD编程

    1.RDD——弹性分布式数据集(Resilient Distributed Dataset) RDD是一个分布式的元素集合,在Spark中,对数据的操作就是创建RDD.转换已有的RDD和调用RDD操作 ...

随机推荐

  1. 【C# 线程】IOCP IO完成端口-Windows系统下常见的7种I/O模型

    一.IOCP(I/O Completion Ports)简介        要实现异步通信,必须要用到一个很风骚的I/O数据结构 ,叫重叠结构"Overlapped",Window ...

  2. 关于LR的笔记

  3. JZ-004-重建二叉树

    重建二叉树 题目描述 输入某二叉树的前序遍历和中序遍历的结果,请重建出该二叉树.假设输入的前序遍历和中序遍历的结果中都不含重复的数字.例如输入前序遍历序列{1,2,4,7,3,5,6,8}和中序遍历序 ...

  4. 【python】kNN基础算法--推荐系统(辅助研究)

    # -*- coding:utf-8 -*- # import numpy as np #import numpy 和from numpy import *是不一样的 # # # import num ...

  5. 微信小程序清除缓冲

    1:wxml定义一个清除缓冲的按钮,并绑定触摸事件 <button bindtap="clear">清空缓冲</button> 2:wxjs定义方法: // ...

  6. MySQL-DB-封装-升级版

    <?php class DB { //定义属性 private $host;//主机名 private $port;//端口号 private $name;//用户名 private $pass ...

  7. tensorflow core 核心目标依赖图

    Tensorflow的核心代码在core模块中,56w行的代码量让人望而生畏,熟悉了bazel工具之后,发现BUILD文件是理清代码结构的很好的资源,但使用bazel query语法提取出来//ten ...

  8. AT1219题解

    题意 设 \(a\) 的价值为 \(a \times cnt_a\)(\(cnt_a\) 为 \(a\) 在区间中出现的次数),求区间种某种元素,使得这种元素的价值最大. 因为设计出现元素的次数,所以 ...

  9. vue-cli项目创建步骤

    vue-cli项目创建步骤: 1.cmd打开命令行窗口 2.输入cnpm install vue-cli -g,然后回车等待(想在哪个目录建立vue项目就要在进入到对应目录再输入命令) 3.安装结束后 ...

  10. knative入门指南

    尽管Knative自2018年以来一直由社区维护,但最近一直有关于该项目的传言,因为谷歌最近将Knative提交给了云原生计算基金会(CNCF),作为一个孵化项目考虑. 太酷了!但Knative到底是 ...