Spark1.0.0 学习路径

      2014-05-30 Spark1.0.0 Relaease 经过11次RC后最终公布。尽管还有不少bug，还是非常令人振奋。

作为一个骨灰级的老IT，经过非常成一段时间的消沉，再次被点燃激情，决定近几年内投入Spark的队伍。去见证Spark的不断强大。在最初的阶段，将作为Spark的布道者，宣传和介绍Spark，最终将选择某一个方向，深入研究和编写代码。

      随着国家对软件安全的重视。，看看这几天股市中软件股的表现。能够预见，在今后非常长一段时间内，开源软件将越来越受到重视。作为大数据处理平台的开源软件Spark，因为其一体化的解决方式、高效的代码编写速度、快速的计算能力，将不断在大数据阵营中脱颖而出。为了方便很多其它新手投入Spark队伍，笔者将自己的学习经验整理了一下，陆陆续续地以博客形式公布出来，计划60篇左右。尽量在8月底完毕，同一时候也是自己对所学的内容加以沉淀。

      在本系列博客中，所使用的软件有：

Spark 1.0.0

• 官方下载地址：http://spark.apache.org/downloads.html
  • 当中Spark1.0.0 for hadoop2的直接下载地址：http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0-bin-hadoop2.tgz
  • 源码的直接下载地址：http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0.tgz
• 自编译的部署包：百度盘 （pan.baidu.com） /s/1dDmqK4h#dir/path=%2Fdeploy
  • spark-1.0.0-bin-2.2.0.tgz是基于hadoop2.2.0的安装部署包
  • spark-1.0.0-techyon-bin-2.2.0.tgz是基于hadoop2.2.0和techyon0.41的安装部署包
  • spark-assembly-1.0.0-hadoop2.2.0.jar是基于hadoop2.2.0的Spark1.0.0应用程序开发包

Hadoop 2.20

Java 7UP21

Maven 3.05

Scala 2.10.4

      本系列博客将分成6个部分进行勾划Spark内存计算框架，每周会更新或添加，逐步完好总体。

每周周末会更新下图。做了标记的是已经完毕的，没作标记的是计划写的或是要准备更新当中内容的，要更新的是曾经写的基于Spark1.0.0-SNAPSHOT的博客；同一时候也会更新以下的博客链接。博客中涉及的实验和代码都是基于Spark1.0.0开发环境高速搭建一文中实验环境。

1：预览篇

为什么学习Spark

Spark1.0.0的新特性

Spark1.0.0生态圈一览

2：原理篇

Spark1.0.0 执行架构基本概念

• RDD 细解
  • Spark RDD
  • Spark Streaming RDD
  • Spark SQL RDD
  • MLLib RDD
  • GraphX RDD
• DAG Scheduler 细解
• Task Scheduler 细解
• Spark1.0.0 Standalone 执行架构实例解析
• Spark1.0.0 on YARN 执行架构实例解析
• Spark1.0.0 on Mesos 执行原理解析

Spark1.0.0 编程模型

• Spark1.0.0 编程模型解析

Spark Streaming执行架构基本概念

3：运维篇

部署篇

• Spark1.0.0 源代码编译和部署包生成
• Spark1.0.0 on YARN 模式部署
• Spark1.0.0 on Mesos 模式部署
• Spark1.0.0 Standalone模式部署
• Spark1.0.0 Standalone HA实现

配置篇

• Spark1.0.0属性配置
• Spark1.0.0环境变量配置
• Spark1.0.0日志配置
• Spark1.0.0 history server 配置
• Spark1.0.0 job server配置

执行篇

• Spark1.0.0应用提交工具spark-submit
• Spark1.0.0交互工具spark-shell

监控篇

• Spark1.0.0 UI监控解读
• 用ganglia监控Spark1.0.0

优化篇

• Spark1.0.0 的一些小经验
• Spark1.0.0 性能调优

4：Spark生态环境

Spark1.0.0 生态环境

Spark SQL 简单介绍

Spark MLlib 简单介绍

Spark GraphX 简单介绍

BlinkDB 简单介绍

SparkR 简单介绍

相关系统比較

Apache Hadoop MapReduce

Apache Tez

Storm

5：开发篇

Spark1.0.0 开发环境高速搭建

Spark1.0.0 多语言编程

Spark1.0.0 多语言编程之Scala实现

Spark1.0.0 多语言编程之Python实现

Spark1.0.0 应用

Spark1.0.0 和 Hbase

Spark1.0.0 和 RDBMS

SparkStreaming 和 flume

Spark SQL和hive

Spark1.0.0 案例

历史数据和实时数据分析

欺诈检測

推荐系统

6：源代码篇

Spark1.0.0 源代码研读环境搭建

一张图看懂Spark源代码

Spark1.0.0内核解读

spark-submit 源代码分析

RDD 解读

DAG Schedule 解读 

Task Scheduler 解读

Spark AKKA 解读

Spark log4j 解读

版权声明：本文博主原创文章，博客，未经同意不得转载。