Spark源码编译，官网学习

这里以spark-1.6.0版本为例

官网网址   http://spark.apache.org/docs/1.6.0/building-spark.html#building-with-buildmvn

前提：使用Maven构建Spark需要Maven 3.3.3或更新版本和Java 7以上版本。

Spark构建可以提供合适的Maven二进制文件; 见下文。

1.用build/mvn 进行构建spark

Spark现在包含一个独用的Maven安装，以便轻松地从本地源码的build/目录下构建和部署Spark。 此脚本将自动下载并设置所有必需的构建要求（Maven，Scala和Zinc）在本身的build /目录里。 如果已经存在任何mvn二进制文件，它将会被授予，否则将自动下载Scala和Zinc副本，确保正确的版本要求得到满足。 build / mvn执行作为一个传递到mvn调用，允许从以前的构建方法轻松转换。 例如，可以如下构建Spark的版本：

build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4. -DskipTests clean package

这种方法没有测试，只看了官网的介绍，有兴趣大家可以自己测试一下。

2.make-distribution.sh 方式

要创建Spark分布，就像由Spark Downloads页面分发的那样，并且被布局为可运行，可以使用项目根目录中的make-distribution.sh。 它可以配置Maven配置文件设置等等直接的Maven构建。 例：

./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pyarn

对于这个指令的更多的使用信息，可以help查看

./make-distribution.sh --help

这种方式没有测试，依旧只看了官网的介绍，有兴趣大家可以自己测试一下

3.maven进行构建spark