Spark性能优化：开发调优篇

【Spark性能优化：开发调优篇】的更多相关文章

Spark性能优化--开发调优与资源调优

参考: https://tech.meituan.com/spark-tuning-basic.html https://zhuanlan.zhihu.com/p/22024169 一.开发调优 1.避免创建重复RDD 对于同一份数据,只应该创建一个RDD,不要创建多个RDD来代表同一份数据. 2.尽可能复用同一个RDD 多个RDD的数据有重叠或者包含的情况,我们应该尽量复用一个RDD,这样可以尽可能地减少RDD的数量,从而尽可能减少算子执行的次数 3.对多次使用的RDD进行持久化 Spark的…

Spark性能优化：开发调优篇

1.前言在大数据计算领域,Spark已经成为了越来越流行.越来越受欢迎的计算平台之一.Spark的功能涵盖了大数据领域的离线批处理.SQL类处理.流式/实时计算.机器学习.图计算等各种不同类型的计算操作,应用范围与前景非常广泛.在美团•大众点评,已经有很多同学在各种项目中尝试使用Spark.大多数同学(包括笔者在内),最初开始尝试使用Spark的原因很简单,主要就是为了让大数据计算作业的执行速度更快.性能更高. 然而,通过Spark开发出高性能的大数据计算作业,并不是那么简单的.如果没有对Sp…

<JVM下篇：性能监控与调优篇>03-JVM监控及诊断工具-GUI篇

笔记来源:尚硅谷JVM全套教程,百万播放,全网巅峰(宋红康详解java虚拟机) 同步更新:https://gitee.com/vectorx/NOTE_JVM https://codechina.csdn.net/qq_35925558/NOTE_JVM https://github.com/uxiahnan/NOTE_JVM 目录 3. JVM监控及诊断工具-GUI篇 3.1. 工具概述 3.2. JConsole 3.3. Visual VM 3.4. Eclipse MAT 3.5. JP…

<JVM下篇：性能监控与调优篇>01-概述篇-02-JVM监控及诊断工具-命令行篇

笔记来源:尚硅谷JVM全套教程,百万播放,全网巅峰(宋红康详解java虚拟机) 同步更新:https://gitee.com/vectorx/NOTE_JVM https://codechina.csdn.net/qq_35925558/NOTE_JVM https://github.com/uxiahnan/NOTE_JVM 目录 1. 概述篇 1.1. 大厂面试题 1.2. 背景说明 1.3. 调优概述 1.4. 性能优化的步骤 1.5. 性能评价/测试指标 2. JVM监控及诊断工具-命令…

<JVM下篇：性能监控与调优篇>补充：浅堆深堆与内存泄露

笔记来源:尚硅谷JVM全套教程,百万播放,全网巅峰(宋红康详解java虚拟机) 同步更新:https://gitee.com/vectorx/NOTE_JVM https://codechina.csdn.net/qq_35925558/NOTE_JVM https://github.com/uxiahnan/NOTE_JVM 目录补充:浅堆深堆与内存泄露 1. 浅堆(Shallow Heap) 2. 保留集(Retained Set) 3. 深堆(Retained Heap) 4. 对象的实…

<JVM下篇：性能监控与调优篇>补充：使用OQL语言查询对象信息

笔记来源:尚硅谷JVM全套教程,百万播放,全网巅峰(宋红康详解java虚拟机) 同步更新:https://gitee.com/vectorx/NOTE_JVM https://codechina.csdn.net/qq_35925558/NOTE_JVM https://github.com/uxiahnan/NOTE_JVM 目录补充:使用OQL语言查询对象信息 1. SELECT子句 2. FROM子句 3. WHERE子句 4. 内置对象与方法补充:使用OQL语言查询对象信息 MAT支…

<JVM下篇：性能监控与调优篇>04-JVM运行时参数

笔记来源:尚硅谷JVM全套教程,百万播放,全网巅峰(宋红康详解java虚拟机) 同步更新:https://gitee.com/vectorx/NOTE_JVM https://codechina.csdn.net/qq_35925558/NOTE_JVM https://github.com/uxiahnan/NOTE_JVM 目录 4. JVM运行时参数 4.1. JVM参数选项 4.1.1. 类型一:标准参数选项 4.1.2. 类型二:-X参数选项 4.1.3. 类型三:-XX参数选项 4.…