Spark菜鸟学习营Day2 分布式系统需求分析 本分析主要针对从原有代码向Spark的迁移.要注意的是Spark和传统开发有着截然不同的思考思路,所以我们需要首先对原有代码进行需求分析,形成改造思路后,再着手开发. 对于输入和输出,请注意,指的是以程序为边界的输入和输出情况. 主要迁移点: A:批量数据清理 重点:分析要清理的表在哪里 A1.参数表:存放Oracle.Redis.清理Oracle就可以,Redis会同步清理 表一般是以par_开头 A2.输入数据表(由数据接收或者其他渠道导入)…

Spark菜鸟学习营Day5 分布式程序开发 这一章会和我们前面进行的需求分析进行呼应,完成程序的开发. 开发步骤 分布式系统开发是一个复杂的过程,对于复杂过程,我们需要分解为简单步骤的组合. 针对每个简单步骤,难度会降低,学习成本降低 每个步骤都可以作为里程碑,可以反馈进展,同时,有助树立目标感. Step1:需求分析 1.1 拆分程序,形成步骤 以语句为单位拆分,一般一个语句就是一个步骤 1.2 对步骤进行分类 根据需求分析指南,分入A1.A2.B1等规则小类 1.3 分析每个步骤的输入输出…

Spark菜鸟学习营Day4 单元测试程序的编写 Spark相比于传统代码是比较难以调试的,单元测试的编写是非常必要的. Step0:需求分析 在测试案例编写前,需完成需求分析工作,明确程序所有的输入和输出情况. 具体请见需求分析章节. Step1:新建测试案例 测试案例统一放置在如下位置: compute-->src-->test-->java-->com.icbc.aas.darts.compute-->split.processor 选择New-->Java Cl…

Spark菜鸟学习营Day6 分布式代码运行调试 作为代码调试,一般会分成两个部分 语法调试,也就是确定能够运行 结果调试,也就是确定程序逻辑的正确 其实这个都离不开运行,所以我们说一下如何让开发的Spark程序运行. Spark的代码有一个特色,就是延时运行机制,就是当我们调用map等方法时,并不会立即触发运行. 而是会等待后续统一触发的处理. 所以我们需要在程序加入这个触发处理的环节. 这里分三步: 步骤1:在程序中使用append方法输出计算结果 appendResultRDD(exten…

Spark菜鸟学习营Day3 RDD编程进阶 RDD代码简化 对于昨天练习的代码,我们可以从几个方面来简化: 使用fluent风格写法,可以减少对于中间变量的定义. 使用lambda表示式来替换对象写法,可以使用到类型推断功能,减少对于类型的定义. 优化后代码如下: return this.getInputRDD(PracticePojo.class) .mapToPair( practicePojo -> new Tuple2<>(practicePojo.getSecurityId(…

Spark菜鸟学习营Day1 从Java到RDD编程 菜鸟训练营主要的目标是帮助大家从零开始,初步掌握Spark程序的开发. Spark的编程模型是一步一步发展过来的,今天主要带大家走一下这段路,让我们从一段最最基础的Java代码开始. 问题:Java有哪些数据结构 大致有如下几种,其中List与Map是最重要的: List Map Set Array Heap Stack Queue Tree 练习:构造一个1-5的List,把他们打印出来 写法1 List<Integer> input =…

前言 最近比较烦,深圳的工作还没着落,论文不想弄,烦.....今天看了下jquery的数据缓存的代码,参考着Aaron的源码分析,自己有点理解了,和大家分享下.以后也打算把自己的jquery的学习心得写一个系列,当然和大神的源码分析是比不了的,只是自己在看的时候有好多地方是比较难理解的,为新手提供些便捷的学习方法,以后我会把我这些流水账整理成一个菜鸟学习jquery源码系列,现在就看到哪写到那,见谅. 内存泄露 首先看看什么是内存泄露,这里直接拿来Aaron中的这部分来说明什么是内存泄露,内存泄…

菜鸟学习Andriod-弹窗 return new AlertDialog.Builder(ZyScreenSaver.this).setIcon( R.drawable.ic_launcher).setTitle("退出屏保").setMessage( "是否退出屏保").setPositiveButton("确定", new OnClickListener() { @Override public void onClick(DialogInt…

菜鸟学习Struts--配置Struts环境 菜鸟学习Struts--简易计算器 菜鸟学习Struts--bean标签库 菜鸟学习Struts--Scope属性 菜鸟学习Struts--国际化 菜鸟学习Struts--总结 菜鸟学习Hibernate--配置Hibernate环境 菜鸟学习Hibernate--持久层框架 菜鸟学习Hibernate--简单的一个例子 菜鸟学习Hibernate--简单的增.删.改.查操作 菜鸟学习Hibernate--一对多关系映射 菜鸟学习Hibernate-…

一.概述. 上一篇博客讲述了用注解的形式实现AOP现在讲述另外一种AOP实现的方式利用XML来实现AOP. 二.代码演示. 准备工作参照上一篇博客<菜鸟学习Spring--60s使用annotation实现简单AOP> 目录结构: 其实比起上一篇博客中用annotation来实现AOP的方式我们只要把SecurityHandler.java和配置文件applicationContext.xml更改为下面内容就可以了.下面我把这两个文件的代码写下来. SecurityHandler.java p…