第0章 预备知识0.1 Scala0.1.1 Scala 操作符0.1.2 拉链操作0.2 Spark Core0.2.1 Spark RDD 持久化0.2.2 Spark 共享变量0.3 Spark SQL0.3.1 RDD.DataFrame 与 DataSet0.3.2 DataSet 与 RDD 互操作0.3.3 RDD.DataFrame 与 DataSet 之间的转换0.3.4 用户自定义聚合函数(UDAF)0.3.5 开窗函数0.4 Spark Streaming0.4.1 Dst…

0. 说明 Spark 在 IDEA 下使用 Scala  & Spark 在 IDEA 下使用 Java 编写 WordCount 程序 1. 准备 在项目中新建模块,为模块添加 Maven 和 Scala 支持 pom.xml 中添加的内容如下 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</…

1.RDD常用操作2.Transformations算子3.Actions算子4.SparkRDD案例实战 1.Transformations算子(lazy) 含义:create a new dataset from an existing on 从已经存在的创建一个新的数据集 RDDA---------transformation----------->RDDB map:map(func) 将func函数作用到数据集的每一个元素上,生成一个新的分布式的 数据集返回 例子:1 data = [1…

0. 说明  官方文档  Job Scheduling Spark 调度核心组件: DagScheduler TaskScheduler BackendScheduler 1. DagScheduler direct acycle graph , 有向无环图调度器 高级调度器,面向的是 stage ,为每个 job 计算 stage 的 DAG 图,跟踪 RDD 和 stage 的输出,找出最小的调度策略来执行 job. 该调度器提交 stage 给下层的 Task 调度器,以 taskSet…

0. 说明 [Spark 核心组件示意图] 1. RDD resilient distributed dataset , 弹性数据集 轻量级的数据集合,逻辑上的集合.等价于 list 没有携带数据. 2. 依赖 RDD 的依赖是 子 RDD 上的每个分区和父 RDD 分区数量上的对应关系 Dependency |----ShuffleDependency (宽依赖) |----NarrowDependency (窄依赖:子 RDD 的每个分区依赖少量的父 RDD 分区) |-----One2On…

0. 说明 Spark 下运行job,使用第三方 Jar 包的 3 种方式. 1. 方式一 将第三方 Jar 包分发到所有的 spark/jars 目录下 2. 方式二 将第三方 Jar 打散,和我们自己的 Jar 包打到一起 类似的例子可以参考  在 Spark 集群上运行程序  中的打包部分 3. 方式三 在 spark-submit 命令中,通过 --jars 指定使用的第三方 Jar 包 [案例:使用 spark-shell 执行 taggen] 1. 启动 spark-shell,指定…

0. 说明 在 IDEA 中编写 Spark 代码实现将 JSON 数据转换成标签,分别用 Scala & Java 两种代码实现. 1. 准备 1.1 pom.xml  <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.1.0<…

0. 说明 聚合气温数据,聚合出 MAX . MIN . AVG 1. Spark Shell 实现 1.1 MAX 分步实现 # 加载文档 val rdd1 = sc.textFile("file:///home/centos/temp3.dat") # 压扁 val rdd2 = rdd1.map(line=>{).toInt , arr().toInt)}) # 得到最大值 val rdd3 = rdd2.reduceByKey((a,b)=>if(a > b)…

0. 说明 在 Spark Shell 实现 Word Count RDD (Resilient Distributed dataset), 弹性分布式数据集. 示意图 1. 实现 1.1 分步实现 # step 加载文档 val rdd1 = sc.textFile("file:///home/centos/wc1.txt") # step 压扁 val rdd2 = rdd1.flatMap(line=>{line.split(" ")}) # step…

Spark Core 1. 概述 Spark 是一种基于内存的快速.通用.可扩展的大数据分析计算引擎 1.1 Hadoop vs Spark 上面流程对应Hadoop的处理流程,下面对应着Spark的处理流程 Hadoop Hadoop 是由 java 语言编写的,在分布式服务器集群上存储海量数据并运行分布式 分析应用的开源框架 作为 Hadoop 分布式文件系统,HDFS 处于 Hadoop 生态圈的最下层,存储着所有的 数 据 , 支持着 Hadoop的所有服务 . 它的理论基础源于Goog…