Spark-2.0.2源码编译

注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6813925210731840013/

Spark官网下载地址：

http://spark.apache.org/downloads.html

有两种一种是编译好的 一种是没编译的（需要自己编译） 看自己的选择

下载好的文件

解压之后可以看源码

直接用IDE工具打开就可以

从官网下载需要的版本https://archive.apache.org/dist/spark/

解压文件

编译前的环境准备

Maven 3.3.9+

jdk7以上

scala 2.11+

注意：在配置java之前，需要检查以下Linux是否有自带jdk，如果有的话，先删除，然后再解压jdk进行配置

用以下命令去检查

rpm -qa | grep java

这里是我自己下载的就不删除了

卸载： rpm -e --nodeps xxxxxx aaaaa ddddd

在环境变量中配置以下三个环境变量

#JAVA_HOME

export JAVA_HOME=/opt/modules/jdk1.8.0_11

export PATH=$PATH:$JAVA_HOME/bin

#MAVEN_HOME

export MAVEN_HOME=/opt/modules/apache-maven-3.3.9

export PATH=$PATH:$MAVEN_HOME/bin

#SCALA_HOME

export SCALA_HOME=/opt/modules/scala-2.11.8

export PATH=$PATH:$SCALA_HOME/bin

使用shell命令进行编译(spark源码主目录下)执行

./dev/make-distribution.sh --name 2.7.3 --tgz -Phadoop-2.7 -Dhadoop.version=2.7.3 -Phive -Phive-thriftserver -Pyarn -DskipTests-Dscala-2.11

-Pyarn：表示支持yarn

-Phadoop-2.7：表示支持hadoop的大版本

-Dhadoop.version=2.6.0-cdh5.7.0：具体的hadoop版本

-Phive -Phive-thriftserver  ：支持hive和hive-thrifserver

-Dscala-2.11：表示对应的scala版本

需要等一段时间

注意事项

虚拟机内存最好4G以上，重启虚拟机再编译

编译失败：网络不好、内存不够

如果编译cdh版本，需要改一下仓库url

<repository>

<id>cloudera</id>

<name>cloudera Repository</name>

<url>https://repository.cloudera.com/artifactory/cloudera-repos</url>

</repository>

这样就成功了

编译就完成了