mac os x maven编译spark-2.1.0  for hadoop-2.7.3

1.官方文档中要求安装Maven 3.3.9+ 和Java 8 ;
 
2.执行     

   export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

3.cd spark2.1.0源码根目录下
 ./build/mvn -Pyarn  -Phadoop-2.7  -Dhadoop.version=2.7.3  -Dscala-2.11      -Phive  -Phive-thriftserver    -DskipTests clean package

--

[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Spark Project Parent POM ........................... SUCCESS [02:10 min]
[INFO] Spark Project Tags ................................. SUCCESS [ 32.297 s]
[INFO] Spark Project Sketch ............................... SUCCESS [ 3.362 s]
[INFO] Spark Project Networking ........................... SUCCESS [ 22.433 s]
[INFO] Spark Project Shuffle Streaming Service ............ SUCCESS [ 6.130 s]
[INFO] Spark Project Unsafe ............................... SUCCESS [ 10.949 s]
[INFO] Spark Project Launcher ............................. SUCCESS [ 41.786 s]
[INFO] Spark Project Core ................................. SUCCESS [03:11 min]
[INFO] Spark Project ML Local Library ..................... SUCCESS [ 25.018 s]
[INFO] Spark Project GraphX ............................... SUCCESS [ 10.133 s]
[INFO] Spark Project Streaming ............................ SUCCESS [ 22.240 s]
[INFO] Spark Project Catalyst ............................. SUCCESS [01:05 min]
[INFO] Spark Project SQL .................................. SUCCESS [01:41 min]
[INFO] Spark Project ML Library ........................... SUCCESS [ 58.186 s]
[INFO] Spark Project Tools ................................ SUCCESS [ 5.925 s]
[INFO] Spark Project Hive ................................. SUCCESS [01:11 min]
[INFO] Spark Project REPL ................................. SUCCESS [ 3.290 s]
[INFO] Spark Project YARN Shuffle Service ................. SUCCESS [ 4.925 s]
[INFO] Spark Project YARN ................................. SUCCESS [ 20.450 s]
[INFO] Spark Project Hive Thrift Server ................... SUCCESS [ 19.625 s]
[INFO] Spark Project Assembly ............................. SUCCESS [ 2.035 s]
[INFO] Spark Project External Flume Sink .................. SUCCESS [ 15.382 s]
[INFO] Spark Project External Flume ....................... SUCCESS [ 6.557 s]
[INFO] Spark Project External Flume Assembly .............. SUCCESS [ 1.421 s]
[INFO] Spark Integration for Kafka 0.8 .................... SUCCESS [ 15.826 s]
[INFO] Spark Project Examples ............................. SUCCESS [ 14.344 s]
[INFO] Spark Project External Kafka Assembly .............. SUCCESS [ 2.765 s]
[INFO] Spark Integration for Kafka 0.10 ................... SUCCESS [ 13.367 s]
[INFO] Spark Integration for Kafka 0.10 Assembly .......... SUCCESS [ 2.907 s]
[INFO] Kafka 0.10 Source for Structured Streaming ......... SUCCESS [ 6.780 s]
[INFO] Spark Project Java 8 Tests ......................... SUCCESS [ 3.895 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 15:32 min
[INFO] Finished at: 2017-05-01T14:11:28+08:00
[INFO] Final Memory: 88M/981M
[INFO] ------------------------------------------------------------------------

--

[WARNING] The requested profile "hadoop-2.8" could not be activated because it does not exist.

mvn 从github 下载 hadoop-2.8.0 的lib文件,这些lib文件还没人准备。。。因此下载不到,不会编译。

4切换到编译完的dev目录下执行下面命令打包

测试mvn编译成功后,可以用如下命令生成安装包:(当然直接执行生成安装包,但安全起见,还是先执测试一下)

./dev/make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.7   -Phive -Phive-thriftserver  -Pyarn

参考:
http://spark.apache.org/docs/latest/building-spark.html

mac os x 编译spark-2.1.0 for hadoop-2.7.3的更多相关文章

  1. 在 Mac OS 上编译 FFmpeg

    本文转自:在 Mac OS 上编译 FFmpeg | www.samirchen.com 安装 Xcode 和 Command Line Tools 从 App Store 上安装 Xcode,并确保 ...

  2. 转:Mac OS X下Sublime Text (V2.0.1)破解

    Mac OS X下Sublime Text (V2.0.1)破解 Mac OS X下Sublime Text (V2.0.1)破解 (2013-03-07 14:02:54) 转载▼     正版的买 ...

  3. 在 Mac OS 上编译 OBS

    本文转自:在 Mac OS 上编译 OBS | www.samirchen.com 安装环境 第一步,做准备工作,安装编译 OBS 所需要的环境,流程如下: // 给当前用户添加 /usr/local ...

  4. 在mac os下编译android -相关文章

    1. Mac OS X下编译Android源码 http://blog.csdn.net/bulreed/article/details/22783467 2.MAC OS 编译 Android源代码 ...

  5. 【原】storm源码之mac os x编译twitter storm源码

    twitter storm是由backtype公司创始人nathanmarz一手研发和开源的流计算(实时计算)框架,堪称实时计算领域的hadoop.nathanmarz也是在mac os x环境下开发 ...

  6. 记录Mac OS下编译Thrift库

    方法一:brew管理工具安装Homebrew是Mac开发包管理工具,类似于Linux的apt-get之类的,实它相当于开发软件界的 Appstore.借助该管理工具,可以自动化地安装软件包,它会自动安 ...

  7. QT在Mac OS上编译运行初体验

    QT是一个跨平台的框架,支持PC端(Windows.Linux和Mac OS)以及移动端(Android和IOS),之前的开发大都在Windows或者Ubuntu上,考虑到项目多平台支持性,本文对Ma ...

  8. Mac OS X下Sublime Text (V2.0.1)破解

    转自:http://blog.sina.com.cn/s/blog_559d66460101cab0.html 1. 在http://www.sublimetext.com/上根据操作系统选择对应版本 ...

  9. Mac OS X安装OpenCV 3.1.0

    在我的上一篇文章“”中已经介绍了Linux下OpenCV的安装配置方法,在这里仅仅记录Mac上相对于Linux的一点点差异. 1. 安装依赖包 Mac上安装软件包使用的工具是brew,用此来替代Ubu ...

随机推荐

  1. NOT EXIST和NOT IN 和MINUS的用法

    MINUS SELECT count(id) FROM householdstaffs s WHERE s.idcardno in( SELECT h.idcardno FROM households ...

  2. js点击什么显示什么的内容,隐藏其它和进度条

    点击什么显示什么的内容 <div style="width:200px; height:40px"> <div class="yiji" st ...

  3. Unity3D判断当前所在平台

    Unity3D是一个跨平台的开发工具,支持的平台五花八门,常常开发一款游戏要发布到不同的平台,在不同的平台上会使用不同的代码,难道要我们各平台分别使用一套代码,单独编译一次吗?当然不用了,呵呵.    ...

  4. MyBatis探究-----配置数据源的几种方式

    1.在核心配置文件mybatis-config.xml中配置数据库连接信息 mysql的j驱动jar包是mysql-connector-java-6.0.6.jar mysql版本5.7 <?x ...

  5. HBase指定大量列集合的场景下并发拉取数据时卡住的问题排查

    最近遇到一例,HBase 指定大量列集合的场景下,并发拉取数据,应用卡住不响应的情形.记录一下. 问题背景 退款导出中,为了获取商品规格编码,需要从 HBase 表 T 里拉取对应的数据. T 对商品 ...

  6. 小米手机跨域问题,返回resphone:undefined,status 0

    小米手机跨域问题,返回resphone:undefined,status 0我小米note2的手机登录不上,返回resphone:undefined,status 0 我手机登录不了的问题解决了,后台 ...

  7. tensorflow学习笔记3:写一个mnist rpc服务

    本篇做一个没有实用价值的mnist rpc服务,重点记录我在调试整合tensorflow和opencv时遇到的问题: 准备模型 mnist的基础模型结构就使用tensorflow tutorial给的 ...

  8. ldap认证jupyter notebook

    虽然jupyter hub是支持ldap的,见ldapauthenticator: 但是登录成功后似乎要以登录用户名启动notebook,而登录用户在服务器上不存在,于是500了: 在服务器上通过pa ...

  9. 在.NET Core使用TimeZone将客户端时间转服务器本地时间但编译提示已过期

    当我们的项目国际化后,需要处理时区问题. 在.NET Core之前我们可以通过以下代码将客户端时间转换为服务端时间: DateTime serverTime = TimeZone.CurrentTim ...

  10. 【shell】awk按域去除重复行

    首先解释一下什么叫“按域去除重复行”: 有的时候我们需要去除的重复行并不是整行都重复,两行的其中一列的元素相同我们有的时候就需要认定这两行重复,因此有了今天的内容. 去除重复行shell有一个原生命令 ...