Spark面试题

【Spark面试题】的更多相关文章

史上最全的spark面试题——持续更新中

史上最全的spark面试题——持续更新中 2018年09月09日 16:34:10 为了九亿少女的期待阅读数 13696更多分类专栏: Spark 面试题版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/Lwj879525930/article/details/82559596 1.spark中的RDD是什么,有哪些特性? 答:RDD(Resilient Distributed D…

Spark面试题（二）

首发于我的个人博客:Spark面试题(二) 1.Spark有哪两种算子? Transformation(转化)算子和Action(执行)算子. 2.Spark有哪些聚合类的算子,我们应该尽量避免什么类型的算子? 在我们的开发过程中,能避免则尽可能避免使用reduceByKey.join.distinct.repartition等会进行shuffle的算子,尽量使用map类的非shuffle算子. 这样的话,没有shuffle操作或者仅有较少shuffle操作的Spark作业,可以大大减少性能开销…

Spark面试题（七）——Spark程序开发调优

Spark系列面试题 Spark面试题(一) Spark面试题(二) Spark面试题(三) Spark面试题(四) Spark面试题(五)--数据倾斜调优 Spark面试题(六)--Spark资源调优 Spark面试题(七)--Spark程序开发调优 Spark面试题(八)--Spark的Shuffle配置调优 1.程序开发调优 :避免创建重复的RDD 需要对名为"hello.txt"的HDFS文件进行一次map操作,再进行一次reduce操作.也就是说,需要对一份数据执行两次算子操…

Spark面试题（八）——Spark的Shuffle配置调优

Spark系列面试题 Spark面试题(一) Spark面试题(二) Spark面试题(三) Spark面试题(四) Spark面试题(五)--数据倾斜调优 Spark面试题(六)--Spark资源调优 Spark面试题(七)--Spark程序开发调优 Spark面试题(八)--Spark的Shuffle配置调优 1.Shuffle优化配置 -spark.shuffle.file.buffer 默认值:32k 参数说明:该参数用于设置shuffle write task的BufferedOutp…

RDD怎么理解? RDD 是 Spark 的灵魂,也称为弹性分布式数据集.一个 RDD 代表一个可以被分区的只读数据集.RDD 内部可以有许多分区(partitions),每个分区又拥有大量的记录(records).Rdd的五个特征: 1. dependencies: 建立 RDD 的依赖关系,主要 RDD 之间是宽窄依赖的关系,具有窄依赖关系的 RDD 可以在同一个 stage 中进行计算. 2. partition: 一个 RDD 会有若干个分区,分区的大小决定了对这个 RDD 计算的粒度,…

Spark面试题整理（三）

1.为什么要进行序列化序列化? 可以减少数据的体积,减少存储空间,高效存储和传输数据,不好的是使用的时候要反序列化,非常消耗CPU. 2.Yarn中的container是由谁负责销毁的,在Hadoop Mapreduce中container可以复用么? ApplicationMaster负责销毁,在Hadoop Mapreduce不可以复用,在spark on yarn程序container可以复用. 3.提交任务时,如何指定Spark Application的运行模式? 1)cluster模式…

Spark面试题（四）

1.Spark中的HashShufle的有哪些不足? 1)shuffle产生海量的小文件在磁盘上,此时会产生大量耗时的.低效的IO操作: 2)容易导致内存不够用,由于内存需要保存海量的文件操作句柄和临时缓存信息,如果数据处理规模比较大的话,容易出现OOM: 3)容易出现数据倾斜,导致OOM. 2. conslidate是如何优化Hash shuffle时在map端产生的小文件? 1)conslidate为了解决Hash Shuffle同时打开过多文件导致Writer handler内存使用过大以…