1.RDD[(k,v)] join()优化,join之前会对两个RDD的key做hash,通过网络把相同hash值的数据传到同一个节点,因此对多次join的RDD 做预分区与持久化可提高效率. map()操作会失去父RDD的信息,因为key值有可能发生改变,但 mapValues().flatMapValues()不会.多父RDD已分区,默认采取第一个父RDD的分区方式 cogroup() .groupWith() . join() . leftOuterJoin() . rightOuterJ…

Spark菜鸟学习营Day5 分布式程序开发 这一章会和我们前面进行的需求分析进行呼应,完成程序的开发. 开发步骤 分布式系统开发是一个复杂的过程,对于复杂过程,我们需要分解为简单步骤的组合. 针对每个简单步骤,难度会降低,学习成本降低 每个步骤都可以作为里程碑,可以反馈进展,同时,有助树立目标感. Step1:需求分析 1.1 拆分程序,形成步骤 以语句为单位拆分,一般一个语句就是一个步骤 1.2 对步骤进行分类 根据需求分析指南,分入A1.A2.B1等规则小类 1.3 分析每个步骤的输入输出…

Spark菜鸟学习营Day3 RDD编程进阶 RDD代码简化 对于昨天练习的代码,我们可以从几个方面来简化: 使用fluent风格写法,可以减少对于中间变量的定义. 使用lambda表示式来替换对象写法,可以使用到类型推断功能,减少对于类型的定义. 优化后代码如下: return this.getInputRDD(PracticePojo.class) .mapToPair( practicePojo -> new Tuple2<>(practicePojo.getSecurityId(…

Spark菜鸟学习营Day1 从Java到RDD编程 菜鸟训练营主要的目标是帮助大家从零开始,初步掌握Spark程序的开发. Spark的编程模型是一步一步发展过来的,今天主要带大家走一下这段路,让我们从一段最最基础的Java代码开始. 问题:Java有哪些数据结构 大致有如下几种,其中List与Map是最重要的: List Map Set Array Heap Stack Queue Tree 练习:构造一个1-5的List,把他们打印出来 写法1 List<Integer> input =…

Spark菜鸟学习营Day6 分布式代码运行调试 作为代码调试,一般会分成两个部分 语法调试,也就是确定能够运行 结果调试,也就是确定程序逻辑的正确 其实这个都离不开运行,所以我们说一下如何让开发的Spark程序运行. Spark的代码有一个特色,就是延时运行机制,就是当我们调用map等方法时,并不会立即触发运行. 而是会等待后续统一触发的处理. 所以我们需要在程序加入这个触发处理的环节. 这里分三步: 步骤1:在程序中使用append方法输出计算结果 appendResultRDD(exten…

Spark菜鸟学习营Day4 单元测试程序的编写 Spark相比于传统代码是比较难以调试的,单元测试的编写是非常必要的. Step0:需求分析 在测试案例编写前,需完成需求分析工作,明确程序所有的输入和输出情况. 具体请见需求分析章节. Step1:新建测试案例 测试案例统一放置在如下位置: compute-->src-->test-->java-->com.icbc.aas.darts.compute-->split.processor 选择New-->Java Cl…

Spark菜鸟学习营Day2 分布式系统需求分析 本分析主要针对从原有代码向Spark的迁移.要注意的是Spark和传统开发有着截然不同的思考思路,所以我们需要首先对原有代码进行需求分析,形成改造思路后,再着手开发. 对于输入和输出,请注意,指的是以程序为边界的输入和输出情况. 主要迁移点: A:批量数据清理 重点:分析要清理的表在哪里 A1.参数表:存放Oracle.Redis.清理Oracle就可以,Redis会同步清理 表一般是以par_开头 A2.输入数据表(由数据接收或者其他渠道导入)…

Spark 多线程时的序列化问题  临时记录 Exception in thread "Thread-28" org.apache.spark.SparkException: Task not serializable    at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:166)    at org.apache.spark.util.ClosureCleaner$.cl…

1. 问题描述 记录关联问题(Record Linkage):有大量从一个或多个源系统来的记录,其中有些记录可能代表了相同的基础实体. 每个实体有若干个属性,比如姓名.地址.生日.我们需要根据这些属性找到那些代表相同实体的记录. 不幸的是,有些属性值有问题:格式不一致,或有笔误,或信息缺失.如果简单的对这些属性做相等性测试,就会漏掉很多重复记录. 可以看出,下面两条记录看起来是两个不同的咖啡店,其实是同一个咖啡店: 而下面两条记录看起来是两条相同的记录,却是两个不同的业务部门: 2. 样例数据:…

因玩票需要,使用三台搭建spark(192.168.1.10,192.168.1.11,192.168.1.12),又因spark构建在hadoop之上,那么就需要先搭建hadoop.历经一个两个下午,终于搭建完成,特记录如下. 准备工作 1. jdk已经安装. 2. 文件下载 http://pan.baidu.com/s/1o6mydYi 包含scala,hadoop,spark 3. ssh无密码认证 三台互相无密码认证步骤: 第一步,生成rsa公约私钥: [root@jw01 .ssh]#…