Centos 6.5 x64

jdk 1.7

scala 2.10

maven 3.3.3

cd spark-1.6

  1. export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
  1. mvn -Dhadoop.version=2.7.1 -Phadoop-2.6 -DskipTests clean package

http://spark.apache.org/docs/latest/building-spark.html

关于部署包的生成:

编译源码后,加以配置就可以运行spark了,但是此时的目录过于庞大,有800M左右,部署起来不方便,所以需要生成部署包!

源码根目录下的make-distribution.sh可以生成部署包

注意 从spark1.1.0,开始支持maven的配置参数。该命令已经带有maven的编译过程,所以不需要先编译再打包!!

make-distribution.sh参数:

  • –hadoop VERSION:打包时所用的Hadoop版本号,不加此参数时hadoop版本为1.0.4。
  • –with-yarn:是否支持Hadoop YARN,不加参数时为不支持yarn。
  • –with-hive:是否在Spark SQL 中支持hive,不加此参数时为不支持hive。
  • –skip-java-test:是否在编译的过程中略过java测试,不加此参数时为略过。
  • –with-tachyon:是否支持内存文件系统Tachyon,不加此参数时不支持tachyon。
  • –tgz:在根目录下生成 spark-$VERSION-bin.tgz,不加此参数时不生成tgz文件,只生成/dist目录。
  • –name NAME:和–tgz结合可以生成spark-$VERSION-bin-$NAME.tgz的部署包,不加此参数时NAME为hadoop的版本号。
     如果要生成spark支持yarn、hadoop2.2.0的部署包,只需要将源代码复制到指定目录,进入该目录后运行:

./make-distribution.sh –hadoop 2.2.0 –with-yarn –tgz

     如果要生成spark支持yarn、hive的部署包,只需要将源代码复制到指定目录,进入该目录后运行:

./make-distribution.sh –hadoop 2.2.0 –with-yarn –with-hive –tgz

     如果要生成spark支持yarn、hadoop2.2.0、techyon的部署包,只需要将源代码复制到指定目录,进入该目录后运行:

./make-distribution.sh –hadoop 2.2.0 –with-yarn –with-tachyon –tgz

生成在部署包位于根目录下,文件名类似于spark-1.0.0-bin-2.2.0.tgz。

可能出现的问题总结:

1.spark源码中的pom.xml中指定了maven的版本,所以要提交安装相对应的版本

2.内存不够

  1. [ERROR] PermGen space -> [Help ]
  2. [ERROR]
  3. [ERROR] To see the full stack trace of the errors,re-run Maven with the -e switch.
  4. [ERROR] Re-run Maven using the -X switch to enable full debug logging.
  5. [ERROR]
  6. [ERROR] For more information about the errors and possible solutions,
  7. please read the following articles:
  8. [ERROR] [Help ]http://cwiki.apache.org/confluence/display/MAVEN/OutOfMemoryError

上面这个错误是因为编译的时候内存不够导致的,可以在编译的时候加大内存。

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

3.mqtt-client-0.4.0无法下载

  1. [error] Server access Error: sun.security.validator.ValidatorException:
  2. PKIX path building failed:
  3. sun.security.provider.certpath.SunCertPathBuilderException:
  4. unable to find valid certification path to requested target
  5. url=https://repo.eclipse.org/content/repositories/paho-releases/
  6. org/eclipse/paho/mqtt-client/0.4./mqtt-client-0.4..pom
  7. [warn] module not found: org.eclipse.paho#mqtt-client;0.4.

这个错误是Maven无法下载mqtt-client-0.4.0.pom,因为他用到的是HTTPS协议。解决这个错误可以通过添加对repo.eclipse.org的信任从而解决这个问题。那如何解决呢?下载InstallCert.java类:

  1. /**
  2. * http://blogs.sun.com/andreas/resource/InstallCert.java
  3. * Use:
  4. * java InstallCert hostname
  5. * Example:
  6. *% java InstallCert ecc.fedora.redhat.com
  7. */
  8.  
  9. import javax.net.ssl.*;
  10. import java.io.*;
  11. import java.security.KeyStore;
  12. import java.security.MessageDigest;
  13. import java.security.cert.CertificateException;
  14. import java.security.cert.X509Certificate;
  15.  
  16. /**
  17. * Class used to add the server's certificate to the KeyStore
  18. * with your trusted certificates.
  19. */
  20. public class InstallCert {
  21.  
  22. public static void main(String[] args) throws Exception {
  23. String host;
  24. int port;
  25. char[] passphrase;
  26. if ((args.length == 1) || (args.length == 2)) {
  27. String[] c = args[0].split(":");
  28. host = c[0];
  29. port = (c.length == 1) ? 443 : Integer.parseInt(c[1]);
  30. String p = (args.length == 1) ? "changeit" : args[1];
  31. passphrase = p.toCharArray();
  32. } else {
  33. System.out.println("Usage: java InstallCert <host>[:port"+
  34. "[passphrase]");
  35. return;
  36. }
  37.  
  38. File file = new File("jssecacerts");
  39. if (file.isFile() == false) {
  40. char SEP = File.separatorChar;
  41. File dir = new File(System.getProperty("java.home") + SEP
  42. + "lib" + SEP + "security");
  43. file = new File(dir, "jssecacerts");
  44. if (file.isFile() == false) {
  45. file = new File(dir, "cacerts");
  46. }
  47. }
  48. System.out.println("Loading KeyStore " + file + "...");
  49. InputStream in = new FileInputStream(file);
  50. KeyStore ks = KeyStore.getInstance(KeyStore.getDefaultType());
  51. ks.load(in, passphrase);
  52. in.close();
  53.  
  54. SSLContext context = SSLContext.getInstance("TLS");
  55. TrustManagerFactory tmf =
  56. TrustManagerFactory.getInstance(
  57. TrustManagerFactory.getDefaultAlgorithm());
  58. tmf.init(ks);
  59. X509TrustManager defaultTrustManager =
  60. (X509TrustManager) tmf.getTrustManagers()[0];
  61. SavingTrustManager tm = new SavingTrustManager(defaultTrustManager);
  62. context.init(null, new TrustManager[]{tm}, null);
  63. SSLSocketFactory factory = context.getSocketFactory();
  64.  
  65. System.out.println("Opening connection to " + host + ":" + port + "...");
  66. SSLSocket socket = (SSLSocket) factory.createSocket(host, port);
  67. socket.setSoTimeout(10000);
  68. try {
  69. System.out.println("Starting SSL handshake...");
  70. socket.startHandshake();
  71. socket.close();
  72. System.out.println();
  73. System.out.println("No errors, certificate is already trusted");
  74. } catch (SSLException e) {
  75. System.out.println();
  76. e.printStackTrace(System.out);
  77. }
  78.  
  79. X509Certificate[] chain = tm.chain;
  80. if (chain == null) {
  81. System.out.println("Could not obtain server certificate chain");
  82. return;
  83. }
  84.  
  85. BufferedReader reader =
  86. new BufferedReader(new InputStreamReader(System.in));
  87.  
  88. System.out.println();
  89. System.out.println("Server sent " + chain.length + " certificate(s):");
  90. System.out.println();
  91. MessageDigest sha1 = MessageDigest.getInstance("SHA1");
  92. MessageDigest md5 = MessageDigest.getInstance("MD5");
  93. for (int i = 0; i < chain.length; i++) {
  94. X509Certificate cert = chain[i];
  95. System.out.println
  96. (" " + (i + 1) + " Subject " + cert.getSubjectDN());
  97. System.out.println(" Issuer " + cert.getIssuerDN());
  98. sha1.update(cert.getEncoded());
  99. System.out.println(" sha1 " + toHexString(sha1.digest()));
  100. md5.update(cert.getEncoded());
  101. System.out.println(" md5 " + toHexString(md5.digest()));
  102. System.out.println();
  103. }
  104.  
  105. System.out.println("Enter certificate to add to trusted keystore or"+
  106. " 'q' to quit: [1]");
  107. String line = reader.readLine().trim();
  108. int k;
  109. try {
  110. k = (line.length() == 0) ? 0 : Integer.parseInt(line) - 1;
  111. } catch (NumberFormatException e) {
  112. System.out.println("KeyStore not changed");
  113. return;
  114. }
  115.  
  116. X509Certificate cert = chain[k];
  117. String alias = host + "-" + (k + 1);
  118. ks.setCertificateEntry(alias, cert);
  119.  
  120. OutputStream out = new FileOutputStream("jssecacerts");
  121. ks.store(out, passphrase);
  122. out.close();
  123.  
  124. System.out.println();
  125. System.out.println(cert);
  126. System.out.println();
  127. System.out.println
  128. ("Added certificate to keystore 'jssecacerts' using alias '"
  129. + alias + "'");
  130. }
  131.  
  132. private static final char[] HEXDIGITS = "0123456789abcdef".toCharArray();
  133.  
  134. private static String toHexString(byte[] bytes) {
  135. StringBuilder sb = new StringBuilder(bytes.length * 3);
  136. for (int b : bytes) {
  137. b &= 0xff;
  138. sb.append(HEXDIGITS[b >> 4]);
  139. sb.append(HEXDIGITS[b & 15]);
  140. sb.append(' ');
  141. }
  142. return sb.toString();
  143. }
  144.  
  145. private static class SavingTrustManager implements X509TrustManager {
  146.  
  147. private final X509TrustManager tm;
  148. private X509Certificate[] chain;
  149.  
  150. SavingTrustManager(X509TrustManager tm) {
  151. this.tm = tm;
  152. }
  153.  
  154. public X509Certificate[] getAcceptedIssuers() {
  155. throw new UnsupportedOperationException();
  156. }
  157.  
  158. public void checkClientTrusted(X509Certificate[] chain, String authType)
  159. throws CertificateException {
  160. throw new UnsupportedOperationException();
  161. }
  162.  
  163. public void checkServerTrusted(X509Certificate[] chain, String authType)
  164. throws CertificateException {
  165. this.chain = chain;
  166. tm.checkServerTrusted(chain, authType);
  167. }
  168. }
  169.  
  170. }

编译上面的类:

$ javac InstallCert.java

$ java InstallCert repo.eclipse.org

这样会在当前目录下面生成名为jssecacerts的文件,将这个文件拷贝到你java安装目录的$JAVA_HOME/lib/security/下面,然后上述问题即可解决。
 

Centos 6.5 x64环境下 spark 1.6 maven 编译-- 已验证的更多相关文章

  1. Centos 6.5 X64 环境下编译 hadoop 2.6.0 --已验证

    Centos 6.5 x64 hadoop 2.6.0 jdk 1.7 protobuf-2.5.0 maven-3.0.5 set environment export JAVA_HOME=/hom ...

  2. Win8 x64环境下VS2010 C#工程运行报错:没有注册类 (异常来自 HRESULT:0x80040154

    来源:http://blog.sina.com.cn/s/blog_7095482001019c2v.html 问题描述: 在Win8 x64环境下,VS2010的C#工程中引用了COM组件(Acti ...

  3. X86和X64环境下的基本类型所占用的字节大小

    同样的程序代码,使用Visual Studio 进行编译,当目标平台分别为x86或x64环境时,其编译结果是不同的.在x86环境下,指针都是4个字节的:而在x64环境下,指针都是8字节的.测试代码如下 ...

  4. Windows 7 x64环境下JDK8安装过程

    Windows 7 x64环境下JDK8安装过程 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads ...

  5. RedHat 6.7 Enterprise x64环境下使用RHCS部署Oracle 11g R2双机双实例HA

     环境 软硬件环境 硬件环境: 浪潮英信服务器NF570M3两台,华为OceanStor 18500存储一台,以太网交换机两台,光纤交换机两台. 软件环境: 操作系统:Redhat Enterpris ...

  6. RedHat 6.7 Enterprise x64环境下使用RHCS部署Oracle 11g R2双机HA

    环境 软硬件环境 硬件环境: 浪潮英信服务器NF570M3两台,华为OceanStor 18500存储一台,以太网交换机两台,光纤交换机两台. 软件环境: 操作系统:Redhat Enterprise ...

  7. Centos环境下部署游戏服务器-编译

    游戏服务器是在windows环境开发的,相关跨平台的东西在这里不谈了,只谈如何将Visual Studio 工程转换到Linux下编译.这里涉及到的软件分别为:Centos版本为6.4,Visual ...

  8. kerberos环境下spark消费kafka写入到Hbase

    一.准备环境: 创建Kafka Topic和HBase表 1. 在kerberos环境下创建Kafka Topic 1.1 因为kafka默认使用的协议为PLAINTEXT,在kerberos环境下需 ...

  9. 多线程环境下非安全Dictionary引起的“已添加了具有相同键的项”问题

    问题: 代码是在多线程环境下,做了简单的Key是否存的判断, 测试代码如下: public class Program { static Dictionary<string, Logger> ...

随机推荐

  1. getElementsByClassName简单实现

    function getElementsByClassName(node, className) { var aClassReg = className.split(' ').map(function ...

  2. 我们平时是怎么写html和css的?

    文章的起因,我只是为了回复一个帖子,http://bbs.csdn.net/topics/390908928?page=1 结果,一扯就根本停不下来.索性,一捅为快,反正是周末. 拿到效果图时,有这么 ...

  3. 【Make a H5 game】JS for beginner——FROM U2B

    https://www.youtube.com/watch?v=F2Dc-JlwgN4&feature=iv&src_vid=WfL4LNUL3R0&annotation_id ...

  4. c++文件输入输出流fstream,对输入>>和输出<<重载

    1. fstream 继承自iostream --> 要包含头文件#include<fstream> 2. 建立文件流对象 3. 打开文件夹 4. 测试是否打开成功 5. 进行读写操 ...

  5. Repeater、地址栏传值、Response--2016年12月30日

    Repeater  Repeater支持以下5种模板       ● ItemTemplate : 对每一个数据项进行格式设置 [Formats each item from the data sou ...

  6. Oracle客户端工具出现“Cannot access NLS data files or invalid environment specified”错误的解决办法

    Oracle客户端工具出现"Cannot access NLS data files or invalid environment specified"错误的解决办法 方法一:参考 ...

  7. JQuery实现无刷新下拉加载图片

          最近做的一个项目需要做页面无刷新下拉加载图片,调研了一番,大多都采用检测滚动条达到底部,然后利用ajax加载下一页数据对页面数据进行添加,根据这一逻辑,自己写了一个,具体代码如下: JQu ...

  8. (三)Netty源码学习笔记之boss线程处理流程

    尊重原创,转载注明出处,原文地址:http://www.cnblogs.com/cishengchongyan/p/6160194.html  本文我们将先从NioEventLoop开始来学习服务端的 ...

  9. Python之Web前端jQuery扩展

    Python之Web前端: 一. jQuery表单验证 二. jQuery扩展 三. 滚动菜单 一. jQuery表单验证: 任何可以交互的站点都有输入表单,只要有可能,就应该对用户输入的数据进行验证 ...

  10. Reverse Core 第二部分 - 14&15章 - 运行时压缩&调试UPX压缩的notepad

    @date: 2016/11/29 @author: dlive 0x00 前言 周六周日两天在打HCTF2016线上赛,没时间看书,打完比赛接着看~~ 0x01 运行时压缩 对比upx压缩前后的no ...