sparkStreaming的transformation和action详解
- Transformations
- Window Operations
- Join Operations
- Output Operations
一、Transformations
1
|
val b = a.map(func) |
1
|
val linesNew = lines.map(lines = > lines + "_NEW" ) |
2、flatMap(func)
1
|
val b = a.flatMap(func) |
1
|
val words = lines.flatMap( _ .split( " " )) |
3、 filter(func)
1
|
val b = a.filter(func) |
4、union(otherStream)
1
2
3
4
5
6
7
|
val wordsOne = words.map( _ + "_one" ) val wordsTwo = words.map( _ + "_two" ) val unionWords = wordsOne.union(wordsTwo) wordsOne.print() wordsTwo.print() unionWords.print() |
5、count()
1
|
val wordsCount = words.count() |
6、reduce(func)
1
|
val reduceWords = words.reduce( _ + "-" + _ ) |
7、countByValue()
1
|
val countByValueWords = words.countByValue() |
8、reduceByKey(func, [numTasks])
1
2
|
val pairs = words.map(word = > (word , 1 )) val wordCounts = pairs.reduceByKey( _ + _ ) |
9、join(otherStream, [numTasks])
1
2
3
|
val wordsOne = words.map(word = > (word , word + "_one" )) val wordsTwo = words.map(word = > (word , word + "_two" )) val joinWords = wordsOne.join(wordsTwo) |
10、cogroup(otherStream, [numTasks])
11、transform(func)
1、window(windowLength, slideInterval)
1
|
val windowWords = words.window(Seconds( 3 ), Seconds( 1 )) |
2、 countByWindow(windowLength,slideInterval)
1
|
val windowWords = words.countByWindow(Seconds( 3 ), Seconds( 1 )) |
3、 reduceByWindow(func, windowLength,slideInterval)
1
|
val windowWords = words.reduceByWindow( _ + "-" + _ , Seconds( 3 ) , Seconds( 1 )) |
4、 reduceByKeyAndWindow(func,windowLength, slideInterval, [numTasks])
1
|
val windowWords = pairs.reduceByKeyAndWindow((a : Int , b : Int) = > (a + b) , Seconds( 3 ) , Seconds( 1 )) |
5、 reduceByKeyAndWindow(func, invFunc,windowLength, slideInterval, [numTasks])
1
|
val windowWords = pairs.reduceByKeyAndWindow((a : Int, b : Int ) = > (a + b) , (a : Int, b : Int) = > (a - b) , Seconds( 3 ), Seconds( 1 )) |
6、 countByValueAndWindow(windowLength,slideInterval, [numTasks])
1
|
val windowWords = words.countByValueAndWindow(Seconds( 3 ), Seconds( 1 ))[/align] |
1、DStream对象之间的Join
2、DStream和dataset之间的join
四、Output Operations
1、print()
1
2
|
val words = lines.flatMap( _ .split( " " )) words.print() |
2、saveAsTextFiles(prefix, [suffix])
1
|
lines.saveAsTextFiles( "satf" , ".txt" )[/align][align = left] |
3、saveAsObjectFiles(prefix, [suffix])
实验略过,可参考前面一个操作。
4、saveAsHadoopFiles(prefix, [suffix])
5、foreachRDD(func)
sparkStreaming的transformation和action详解的更多相关文章
- (七)Transformation和action详解-Java&Python版Spark
Transformation和action详解 视频教程: 1.优酷 2.YouTube 什么是算子 算子是RDD中定义的函数,可以对RDD中的数据进行转换和操作. 算子分类: 具体: 1.Value ...
- Spring MVC 学习总结(三)——请求处理方法Action详解
Spring MVC中每个控制器中可以定义多个请求处理方法,我们把这种请求处理方法简称为Action,每个请求处理方法可以有多个不同的参数,以及一个多种类型的返回结果. 一.Action参数类型 如果 ...
- Struts2学习笔记(三)——Action详解
Action是用于处理请求操作的,它是由StrutsPrepareAndExceuteFilter分发过来的. 1.Action的创建方式 1) POJO类(PlainOldJavaObjects简单 ...
- Struts2 配置Action详解
Struts2的核心功能是action,对于开发人员来说,使用Struts2主要就是编写action,action类通常都要实现com.opensymphony.xwork2.Action接口,并实 ...
- vuex 源码分析(五) action 详解
action类似于mutation,不同的是Action提交的是mutation,而不是直接变更状态,而且action里可以包含任意异步操作,每个mutation的参数1是一个对象,可以包含如下六个属 ...
- Odoo中的五种Action详解
转载请注明原文地址:https://www.cnblogs.com/ygj0930/p/10826232.html Odoo中的五种action都是继承自ir.actions.actions模型实现的 ...
- Struts 2 配置Action详解_java - JAVA
文章来源:嗨学网 敏而好学论坛www.piaodoo.com 欢迎大家相互学习 实现了Action处理类之后,就可以在struts.xml中配置该Action,从而让Struts 2框架知道哪个Act ...
- 转载 Struts2的配置 struts.xml Action详解
在学习struts的时候,我们一定要掌握struts2的工作原理.只有当我们明确了在struts2框架的内部架构的实现过程,在配置整个struts 的框架时,可以很好的进行逻辑上的配置.接下来我就先简 ...
- Action详解
简介 Action 是用于处理请求操作的,它是由 StrutsPrepareAndExecuteFilter 分发过来的. 在 Struts2 框架中,Action 是框架的核心类,被称为业务逻辑控制 ...
随机推荐
- php5模块pdo、pdo_mysql、mysqli的添加
一.环境LAMP都是源码安装,PHP安装的时候没有配置pdo_mysql和mysqli,pdo是php5默认带的.PHP5的源码都在,只需要把php5的模块功能扩展就可以了. php源码目录:/usr ...
- Elasticsearch介绍和安装与使用
转载:https://blog.csdn.net/weixin_42633131/article/details/82902812 1.Elasticsearch介绍和安装 1.1.简介1.1.1.E ...
- POJ 1269 Intersecting Lines (判断直线位置关系)
题目链接:POJ 1269 Problem Description We all know that a pair of distinct points on a plane defines a li ...
- flink中对于window和watermark的一些理解
package com.chenxiang.flink.demo; import java.io.IOException; import java.net.ServerSocket; import j ...
- 8-MySQL-Ubuntu-数据表中数据的增加(一)
增(insert) (1)全部字段插入数据:按表中字段顺序增加数据 注:(1)主键字段可以使用0/null/default来占位.(2)gender字段中数据类型是枚举,可以使用索引数字1,2,3,4 ...
- 通过hint干掉笛卡尔积
Z_ZZZZZZZZ_BENE 大约有400万数据 修改前 SELECT xxxx FROM ( SELECT DISTINCT FIELD1_CONTENT FROM xxxxxxxx_LOG@ ...
- [转] js对键盘输入事件绑定到特定按钮。
<script type="text/javascript" language="javascript"> document.onkeyup = f ...
- centos6和7安装vnc
centos6安装vnc yum安装 yum groupinstall -y "Desktop" yum install -y tigervnc-server tigervnc-s ...
- 标准 IO 测试 标准输出,输入,出错缓冲大小;全缓冲文本流大小
例子:测试缓冲区大小 #include <stdio.h> int main(int argc, const char *argv[]) { //标准输入大小,没有输入内容时,标准输入缓冲 ...
- leetcode-并查集
- 题目:130 并查集: class Solution: def solve(self, board: List[List[str]]) -> None: """ ...