【二】Spark 核心
spark 核心
spark core
RDD创建 >>> RDD转换 >>> RDD缓存 >>> RDD行动 >>> RDD输出
RDD[Resilient Distributed Dataset]
它是一个弹性分布式数据集,具有良好的通用性、容错性与并行处理数据的能力,为用户屏蔽了底层对数据的复杂抽象和处理,为用户提供了一组方便的数据转换与求值方法。
弹性
- 存储弹性:n内存与磁盘d额自动切换
- 容错弹性:数据丢失可以自动恢复
- j计算的弹性:计算出错重试机制
- 分片弹性:根据需要重新分片
容错
通常在不同机器上备份数据或者记录数据更新的方式完成容错,但这种对任务密集型任务代价很高
RDD采用数据应用变换(map,filter,join),若部分数据丢失,RDD拥有足够的信息得知这部分数据是如何计算得到的,可通过重新计算来得到丢失的数据
这种恢复数据方法很快,无需大量数据复制操作,可以认为Spark是基于RDD模型的系统
懒操作
- 延迟计算,action的时候才操作
瞬时性
- 用时才产生,用完就释放
Spark允许从以下四个方面构建RDD
- 从共享文件系统中获取,如从HDFS中读数据构建RDD
val RDD = sc.textFile(“/xxx/yyy/file”)
- 通过现有RDD转换得到
val RDD = a.map(x => (x, 1))
- 定义一个scala数组
val RDD = sc.parallelize(1 to 10, 1)
- 有一个已经存在的RDD通过持久化操作生成
val RDD = a.persist(), a. saveAsHadoopFile(“/xxx/yyy/zzz”)
Spark针对RDD提供两类操作:transformations和action
transformations是RDD之间的变换,action会对数据执行一定的操作
transformations采用懒策略,仅在对相关RDD进行action提交时才触发计算
每个RDD包含了数据分块/分区(partition)的集合,每个partition是不可分割的
实际数据块的描述(实际数据到底存在哪,或者不存在)
其值依赖于哪些partition
与父RDD的依赖关系(rddA=>rddB)
宽依赖:B的每个partition依赖于A的所有partition
- 比如groupByKey、 reduceByKey、 join……,由A产生B时会先对A做shuffle分桶
窄依赖: B的每个partition依赖于A的常数个partition
- 比如map、 filter、 union……
RDD 依赖关系
窄依赖
每一个父RDD的Partition最多被子RDD的一个Partition使用
宽依赖
多个RDD的partition会依赖同一个父RDD的partition,会引起shuffle
【二】Spark 核心的更多相关文章
- spark浅谈(2):SPARK核心编程
一.SPARK-CORE 1.spark核心模块是整个项目的基础.提供了分布式的任务分发,调度以及基本的IO功能,Spark使用基础的数据结构,叫做RDD(弹性分布式数据集),是一个逻辑的数据分区的集 ...
- Spark核心—RDD初探
本文目的 最近在使用Spark进行数据清理的相关工作,初次使用Spark时,遇到了一些挑(da)战(ken).感觉需要记录点什么,才对得起自己.下面的内容主要是关于Spark核心-RDD的相关 ...
- Spark 核心篇-SparkContext
本章内容: 1.功能描述 本篇文章就要根据源码分析SparkContext所做的一些事情,用过Spark的开发者都知道SparkContext是编写Spark程序用到的第一个类,足以说明SparkCo ...
- Spark 核心篇-SparkEnv
本章内容: 1.功能概述 SparkEnv是Spark的执行环境对象,其中包括与众多Executor执行相关的对象.Spark 对任务的计算都依托于 Executor 的能力,所有的 Executor ...
- Netty 源码 Channel(二)核心类
Netty 源码 Channel(二)核心类 Netty 系列目录(https://www.cnblogs.com/binarylei/p/10117436.html) 一.Channel 类图 二. ...
- 科普Spark,Spark核心是什么,如何使用Spark(1)
科普Spark,Spark是什么,如何使用Spark(1)转自:http://www.aboutyun.com/thread-6849-1-1.html 阅读本文章可以带着下面问题:1.Spark基于 ...
- 2017.3.31 spring mvc教程(二)核心流程及配置详解
学习的博客:http://elf8848.iteye.com/blog/875830/ 我项目中所用的版本:4.2.0.博客的时间比较早,11年的,学习的是Spring3 MVC.不知道版本上有没有变 ...
- 大数据体系概览Spark、Spark核心原理、架构原理、Spark特点
大数据体系概览Spark.Spark核心原理.架构原理.Spark特点 大数据体系概览(Spark的地位) 什么是Spark? Spark整体架构 Spark的特点 Spark核心原理 Spark架构 ...
- spark核心优化详解
大家好!转眼又到了经验分享的时间了.吼吼,我这里没有摘要也没有引言,只有单纯的经验分享,请见谅哦! 言归正传,目前在大数据领域能够提供的核心计算的工具,如离线计算hadoop生态圈的mr计算模型,以及 ...
随机推荐
- zabbix fast
源码安装步骤 来源它站: 官方文档:https://www.zabbix.com/documentation/2.4/manual/installation/install#from_the_sour ...
- Python学习---函数的学习1209[all]
1.基础函数 2.高阶函数 3.递归函数 4.内置函数 5.匿名函数和闭包
- IPv4地址结构体sockaddr_in详解
sockaddr_in结构体定义 struct sockaddr_in { sa_family_t sin_family; //地址族(Address Family) uint16_t sin_por ...
- 001Java输入、eclipse快捷键
内容:Java实现键盘输入,eclipse常用快捷键 ######################################################################### ...
- 如何把GitHub中的开源项目导入到Eclipse
准备: 1.需要注册GitHub的账号,并找到自己想导入的项目 2.在Eclipse的help-->Marketplace中搜索egit插件,然后安装 操作步骤: 1.有三种导入方式HTTP.S ...
- Java 使用poi导入excel,结合xml文件进行数据验证的例子(增加了jar包)
ava 使用poi导入excel,结合xml文件进行数据验证的例子(增加了jar包) 假设现在要做一个通用的导入方法: 要求: 1.xml的只定义数据库表中的column字段,字段类型,是否非空等条件 ...
- SOJ 4309 Sum of xor 异或/思维
Source ftiasch 解题思路: 本题的题解有参考这里,但是那篇年代太久远,讲的也不甚清晰,所以可能会对很多新手造成困扰,所以又写了这一篇. 亦或有很多规律,本题使用到的是n^(n+1)=1, ...
- python中的类(二)
python中的类(二) 六.类的成员 字段:普通字段,静态字段 eg: class Province(): country=’中国’ #静态字段,保存在类中,执行时可以通过类或对象访问 def __ ...
- 随手练——HDU 1284 动态规划入门
#include <iostream> #include <algorithm> #include <string.h> using namespace std; ...
- WPF实战俄罗斯方块
概述 本文试图通过经典的游戏-俄罗斯方块,来演示WPF强大的图形界面编程功能. 涉及的图形方面有这几个方面: 1.不规则界面的设置 2.布局系统的使用 3.2D图形的应用 4.输入事件的响应 5.风格 ...