mac os x 编译spark-2.1.0 for hadoop-2.7.3
mac os x maven编译spark-2.1.0 for hadoop-2.7.3
1.官方文档中要求安装Maven 3.3.9+ 和Java 8 ;
2.执行
export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"
3.cd spark2.1.0源码根目录下
./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -Dscala-2.11 -Phive -Phive-thriftserver -DskipTests clean package
--
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Spark Project Parent POM ........................... SUCCESS [02:10 min]
[INFO] Spark Project Tags ................................. SUCCESS [ 32.297 s]
[INFO] Spark Project Sketch ............................... SUCCESS [ 3.362 s]
[INFO] Spark Project Networking ........................... SUCCESS [ 22.433 s]
[INFO] Spark Project Shuffle Streaming Service ............ SUCCESS [ 6.130 s]
[INFO] Spark Project Unsafe ............................... SUCCESS [ 10.949 s]
[INFO] Spark Project Launcher ............................. SUCCESS [ 41.786 s]
[INFO] Spark Project Core ................................. SUCCESS [03:11 min]
[INFO] Spark Project ML Local Library ..................... SUCCESS [ 25.018 s]
[INFO] Spark Project GraphX ............................... SUCCESS [ 10.133 s]
[INFO] Spark Project Streaming ............................ SUCCESS [ 22.240 s]
[INFO] Spark Project Catalyst ............................. SUCCESS [01:05 min]
[INFO] Spark Project SQL .................................. SUCCESS [01:41 min]
[INFO] Spark Project ML Library ........................... SUCCESS [ 58.186 s]
[INFO] Spark Project Tools ................................ SUCCESS [ 5.925 s]
[INFO] Spark Project Hive ................................. SUCCESS [01:11 min]
[INFO] Spark Project REPL ................................. SUCCESS [ 3.290 s]
[INFO] Spark Project YARN Shuffle Service ................. SUCCESS [ 4.925 s]
[INFO] Spark Project YARN ................................. SUCCESS [ 20.450 s]
[INFO] Spark Project Hive Thrift Server ................... SUCCESS [ 19.625 s]
[INFO] Spark Project Assembly ............................. SUCCESS [ 2.035 s]
[INFO] Spark Project External Flume Sink .................. SUCCESS [ 15.382 s]
[INFO] Spark Project External Flume ....................... SUCCESS [ 6.557 s]
[INFO] Spark Project External Flume Assembly .............. SUCCESS [ 1.421 s]
[INFO] Spark Integration for Kafka 0.8 .................... SUCCESS [ 15.826 s]
[INFO] Spark Project Examples ............................. SUCCESS [ 14.344 s]
[INFO] Spark Project External Kafka Assembly .............. SUCCESS [ 2.765 s]
[INFO] Spark Integration for Kafka 0.10 ................... SUCCESS [ 13.367 s]
[INFO] Spark Integration for Kafka 0.10 Assembly .......... SUCCESS [ 2.907 s]
[INFO] Kafka 0.10 Source for Structured Streaming ......... SUCCESS [ 6.780 s]
[INFO] Spark Project Java 8 Tests ......................... SUCCESS [ 3.895 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 15:32 min
[INFO] Finished at: 2017-05-01T14:11:28+08:00
[INFO] Final Memory: 88M/981M
[INFO] ------------------------------------------------------------------------
--
[WARNING] The requested profile "hadoop-2.8" could not be activated because it does not exist.
mvn 从github 下载 hadoop-2.8.0 的lib文件,这些lib文件还没人准备。。。因此下载不到,不会编译。
4切换到编译完的dev目录下执行下面命令打包
测试mvn编译成功后,可以用如下命令生成安装包:(当然直接执行生成安装包,但安全起见,还是先执测试一下)
./dev/make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.7 -Phive -Phive-thriftserver -Pyarn
参考:
http://spark.apache.org/docs/latest/building-spark.html
mac os x 编译spark-2.1.0 for hadoop-2.7.3的更多相关文章
- 在 Mac OS 上编译 FFmpeg
本文转自:在 Mac OS 上编译 FFmpeg | www.samirchen.com 安装 Xcode 和 Command Line Tools 从 App Store 上安装 Xcode,并确保 ...
- 转:Mac OS X下Sublime Text (V2.0.1)破解
Mac OS X下Sublime Text (V2.0.1)破解 Mac OS X下Sublime Text (V2.0.1)破解 (2013-03-07 14:02:54) 转载▼ 正版的买 ...
- 在 Mac OS 上编译 OBS
本文转自:在 Mac OS 上编译 OBS | www.samirchen.com 安装环境 第一步,做准备工作,安装编译 OBS 所需要的环境,流程如下: // 给当前用户添加 /usr/local ...
- 在mac os下编译android -相关文章
1. Mac OS X下编译Android源码 http://blog.csdn.net/bulreed/article/details/22783467 2.MAC OS 编译 Android源代码 ...
- 【原】storm源码之mac os x编译twitter storm源码
twitter storm是由backtype公司创始人nathanmarz一手研发和开源的流计算(实时计算)框架,堪称实时计算领域的hadoop.nathanmarz也是在mac os x环境下开发 ...
- 记录Mac OS下编译Thrift库
方法一:brew管理工具安装Homebrew是Mac开发包管理工具,类似于Linux的apt-get之类的,实它相当于开发软件界的 Appstore.借助该管理工具,可以自动化地安装软件包,它会自动安 ...
- QT在Mac OS上编译运行初体验
QT是一个跨平台的框架,支持PC端(Windows.Linux和Mac OS)以及移动端(Android和IOS),之前的开发大都在Windows或者Ubuntu上,考虑到项目多平台支持性,本文对Ma ...
- Mac OS X下Sublime Text (V2.0.1)破解
转自:http://blog.sina.com.cn/s/blog_559d66460101cab0.html 1. 在http://www.sublimetext.com/上根据操作系统选择对应版本 ...
- Mac OS X安装OpenCV 3.1.0
在我的上一篇文章“”中已经介绍了Linux下OpenCV的安装配置方法,在这里仅仅记录Mac上相对于Linux的一点点差异. 1. 安装依赖包 Mac上安装软件包使用的工具是brew,用此来替代Ubu ...
随机推荐
- python运算符和数据类型的可变性
一.运算符 计算机可以进行的运算有很多种,不只是加减乘除,它和我们人脑一样,也可以做很多运算. 种类:算术运算,比较运算,逻辑运算,赋值运算,成员运算,身份运算,位运算,今天我们先了解前四个. 算术运 ...
- PHP洗牌、猴子选大王两个小算法
<一>洗牌算法 /** *洗牌算法washCard *@param $cardNum *@return array */ function washCard($cardNum) { $ca ...
- eclipse 编码改成utf-8
Eclipse的编码格式是系统默认 修改为utf-8,点击Apply and Close 然后项目的编码格式会统一默认utf-8 当然也可以选择other,改成GBK.
- PAT (Basic Level) Practice (中文)1022 D进制的A+B
1022 D进制的A+B 输入两个非负 10 进制整数 A 和 B (≤2^30^−1),输出 A+B 的 D (1<D≤10)进制数. 输入格式: 输入在一行中依次给出 3 个整数 A.B 和 ...
- [批处理]使用Log.io监控日志变化
背景 多台服务器安装了不同的开发服务,增加日志监控以随时处理情况 方案 log.io 环境 NodeJs 安装 1.log.io直接无法安装上,使用log.io-ts安装上 npm install - ...
- Gem install rmagick 报错问题~
本人在CentOS7上在 执行”gem install rmagick“是报错,具体情况如下: 报错如下: [root@localhost ~]# gem install rmagick -v '2. ...
- 【转载】pycharm破解,可使用到2099年.pycharm版本 pycharm-professional-2016.3.1
1. Pycharm的安装方法,论坛很多,这里就不赘述了.参照:http://blog.csdn.net/qq_29883591/article/details/52664478 2. 下载Pycha ...
- CentOS7上手动部署入门级kubernetes
前言 翻看了很多的kubernetes的安装教程,也反复做了一些实验,深感教程之复杂,所以决定写一个极简版本的安装教程,目标在于用尽可能少的参数启动服务,并且剖析各组件关系,然后再在此基础上逐步添加参 ...
- SlidingMenu第三篇 --- SlidingMenu使用介绍
在Activity中通过SlidingMenu的构造方法,直接设置侧滑菜单 public class Main2Activity extends Activity { @Override protec ...
- Swagger结合mustache模板生成后台接口代码、以及前后台建模代码
之前项目中使用的的thrift来建模,维护前后台模型以及rest接口,前台使用的是angular2: 但是使用thrift只能生成建模,后台的rest接口的Controller文件还是需要手动去写,一 ...