目录

目录 1

1. 约定 1

2. 安装jdk 1

3. 安装maven 1

4. 网络配置 2

4.1. eclipse 3

4.2. maven 3

5. 从hbase官网下载源代码包: 4

6. eclipse导入hbase源代码 4

7. 编译hbase-thrift 6

8. Problems opening an editor ... does not exist 10

9. hbase-common 11

1. 约定

确保机器可以正常访问Internet,如能正常访问https://repo.maven.apache.org等,如果是代理方式则需要设置好eclipse和maven的网络配置。

本文环境为64位版本Windows7,jre安装目录为C:\java\jdk1.8.0_111,jdk安装目录为C:\java\jre1.8.0_111。

最好将jre安装在在jdk目录下,否则编译时会遇到“Could not find artifact jdk.tools:jdk.tools:jar”错误。将jre安装在jdk目录下的目的是使得jre的上一级存在jdk的lib目录。

2. 安装jdk

略!安装好后请设置环境变量JAVA_HOME为jdk的安装目录(不是javac所在的bin目录,而是bin的上一级目录)。

3. 安装maven

从maven官网下载安装包(本文下载的是apache-maven-3.3.9-bin.zip):

https://maven.apache.org/download.cgi

解压后,将maven的bin目录加入到环境变量PATH中,本文对应的目录为C:\Program Files\apache-maven-3.3.9\bin。并设置环境变量M2_HOME的值为maven的安装目录,对于本文M2_HOME值为C:\Program Files\apache-maven-3.3.9

然后设置eclipse使用外部的maven,进入eclipse的Preferences中按下图进行设置:

4. 网络配置

确保机器可以正常访问Internet,否则大量问题难以解决。如果是通过代理才能访问,则需要为eclipse和maven配置好代理。

4.1. eclipse

4.2. maven

编辑$HOME/.m2目录下的settings.xml,如果不存在该文件,则复制$MAVEN_HOME/conf目录下的settings.xml,然后再修改即可同。

MAVEN_HOME为maven的安装目录,$HOME/.m2为repository的默认目录,HOME为Windows用户目录,Windows7上假设用户名为mike则HOME为C:\Users\mike。

假设代理服务器的地址和端口分别为:proxy.oa.com和8080,则(不需要用户名或密码,则相应的值不设置即可):

<proxy>

<id>http-proxy</id>

<active>true</active>

<protocol>http</protocol>

<username></username>

<password></password>

<host>proxy.oa.com</host>

<port>8080</port>

<nonProxyHosts>local|127.0.0.1</nonProxyHosts>

</proxy>

<proxy>

<id>https-proxy</id>

<active>true</active>

<protocol>https</protocol>

<username></username>

<password></password>

<host>proxy.oa.com</host>

<port>8080</port>

<nonProxyHosts>local|127.0.0.1</nonProxyHosts>

</proxy>

5. 从hbase官网下载源代码包:

以下网站均提供hbase源代码包下载:

http://mirrors.hust.edu.cn/apache/hbase/

https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/

http://mirror.bit.edu.cn/apache/hbase/

http://apache.fayea.com/hbase/

本文下载的是hbase-1.2.3-src.tar.gz。

6. eclipse导入hbase源代码

本文使用的eclipse版本:

将hbase-1.2.3-src.tar.gz解压,本文将其解压到目录E:\bigdata\hbase-1.2.3-src,然后以“Existing Maven Projects”方式导入:

成功导入后如下图所示:

以maven编译hbase源代码,编译整个hbase容易遇到错误,比如编译hbase-common需要安装bash,hbase-thrift、但hbase-server、hbase-client等模块不依赖bash。为简单体验,先定一个小目标:编译hbase-thrift模块:

7. 编译hbase-thrift

鼠标右击hbase-thrift,按下图进入设置界面:

设置界面如下图所示,并设置Goals为clean install -DskipTests(注意不是clean install,需要加上-DskipTests,否则即使勾选了Skip Tests也可能无效):

然后点击“Run”即开始编译!

编译过程中如遇到下面的错误,请确认是否存在目录C:\java\jre1.8.0_111/../lib,其用意是jre安装在jdk的目录下,也就是说lib需要为jdk的lib目录。

简单的做法是复制jdk的lib目录到C:\java目录下。

[ERROR] Failed to execute goal on project hbase-thrift: Could not resolve dependencies for project org.apache.hbase:hbase-thrift:jar:1.2.3: Could not find artifact jdk.tools:jdk.tools:jar:1.8 at specified path C:\java\jre1.8.0_111/../lib/tools.jar -> [Help 1]

成功后如下图所示:

在目录E:\bigdata\hbase-1.2.3-src\hbase-thrift\target下可以看到编译生成的jar文件:

然后可以编译hbase-client,如果需要编译hadoop-common则需要安装bash先,也就是得安装cygwin(https://cygwin.com/install.html)。

建议从国内镜像安装cgywin,会快很多,可用镜像:

http://mirrors.163.com/cygwin/

http://www.cygwin.cn/pub/

选择从互联网安装,在“User URL”处输入国内镜像网址。

安装好cygwin后,需将cgywin的bin目录加入到环境变量PATH中,并需要重启eclipse才会生效。如果未安装bash,则用同样方法编译hadoop-common时,会报如下错误:

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (generate) on project hbase-common: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program "bash": CreateProcess error=2, 系统找不到指定的文件。 -> [Help 1]

8. Problems opening an editor ... does not exist

在eclipse里用F3想进入某个类的某方法时,提示以下错误(Problems opening an editor Reason: [项目名] does not exist):

解决办法(目的是生成“.project”和“.classpath”两个eclipse需要的文件):

按下图所示,进入项目的根目录,以hbase的hbase-thrift为例,如hbase-thrift所在目录为E:\bigdata\hbase-1.2.3-src\hbase-thrift,注意不是E:\bigdata\hbase-1.2.3-src,然后执行:mvn eclipse:eclipse,成功后重启eclipse上述问题即解决(mvn eclipse:eclipse的作用是将maven项目转化为eclipse项目,即生成两个eclipse导入所需的配置文件,并无其他改变,也就是生成eclipse需要的.project和.classpath两个文件):

其它诸于hbase-client、hbase-common、h base-server等同样处理即可。

1. hbase-common

编译hbase-common如遇到下述问题:

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1:compile (default-compile) on project hbase-common: Compilation failure: Compilation failure:

[ERROR] E:\bigdata\hbase-1.2.3-src\hbase-common\target\generated-sources\java\org\apache\hadoop\hbase\package-info.java:[5,39] 错误: 非法转义符

[ERROR] E:\bigdata\hbase-1.2.3-src\hbase-common\target\generated-sources\java\org\apache\hadoop\hbase\package-info.java:[5,30] 错误: 未结束的字符串文字

[ERROR] E:\bigdata\hbase-1.2.3-src\hbase-common\target\generated-sources\java\org\apache\hadoop\hbase\package-info.java:[6,0] 错误: 需要class, interface或enum

[ERROR] E:\bigdata\hbase-1.2.3-src\hbase-common\target\generated-sources\java\org\apache\hadoop\hbase\package-info.java:[6,9] 错误: 需要class, interface或enum

[ERROR] -> [Help 1]

打开package-info.java:

/*

* Generated by src/saveVersion.sh

*/

@VersionAnnotation(version="1.2.3", revision="Unknown",

user="mooon\mike

", date="Tue Oct 25 18:02:39     2016", url="file:///cygdrive/e/bigdata/hbase-1.2.3-src",

srcChecksum="88f3dc17f75ffda6176faa649593b54e")

package org.apache.hadoop.hbase;

,可以看到问题出在“mike”后多了一个换行符,正常应当是:

/*

* Generated by src/saveVersion.sh

*/

@VersionAnnotation(version="1.2.3", revision="Unknown",

user="mooon\mike", date="Tue Oct 25 18:02:39     2016", url="file:///cygdrive/e/bigdata/hbase-1.2.3-src",

srcChecksum="88f3dc17f75ffda6176faa649593b54e")

package org.apache.hadoop.hbase;

查看hadoop-common的saveVersion.sh,部分内容如下:

unset LANG

unset LC_CTYPE

version=$1

outputDirectory=$2

pushd .

cd ..

user=`whoami`

date=`date`

cwd=`pwd`

问题就出在whoami命令返回了mooon\mike,并且mike后跟了一个换行符导致的,因此可以如下消灭多余的换行符:

unset LANG

unset LC_CTYPE

version=$1

outputDirectory=$2

pushd .

cd ..

user=`whoami|awk '{printf("%s",$1);}'`

date=`date`

cwd=`pwd`

再次编译,仍然报错:

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1:compile (default-compile) on project hbase-common: Compilation failure

[ERROR] E:\bigdata\hbase-1.2.3-src\hbase-common\target\generated-sources\java\org\apache\hadoop\hbase\package-info.java:[5,39] 错误: 非法转义符

[ERROR] -> [Help 1]

再次打开package-info.java:

/*

* Generated by src/saveVersion.sh

*/

@VersionAnnotation(version="1.2.3", revision="Unknown",

user="mooon\mike", date="Tue Oct 25 17:59:21     2016", url="file:///cygdrive/e/bigdata/hbase-1.2.3-src",

srcChecksum="88f3dc17f75ffda6176faa649593b54e")

package org.apache.hadoop.hbase;

问题出在“mooon\mike”间的斜杠,需要将单个斜杠改成双斜杠“mooon\\mike”或者干脆去掉“mooon\”仅保留“mike”也可以。

再次修改saveVersion.sh,直接写死user:

unset LANG

unset LC_CTYPE

version=$1

outputDirectory=$2

pushd .

cd ..

user=mike

date=`date`

cwd=`pwd`

然后再次编译hadoop-common,终于成功了:

编译hbase-1.2.3源代码的更多相关文章

  1. 如何编译Apache Hadoop2.6.0源代码

    如何编译Apache Hadoop2.6.0源代码 1.安装CentOS 我使用的是CentOS6.5,下载地址是http://mirror.neu.edu.cn/centos/6.5/isos/x8 ...

  2. 编译Apache Hadoop2.2.0源代码

    Hadoop2的学习资料很少,只有官网的少数文档.如果想更深入的研究hadoop2,除了仅看官网的文档外,还要学习如何看源码,通过不断的调试跟踪源码,学习hadoop的运行机制. 1.安装CentOS ...

  3. 【转】在Ubuntu上下载、编译和安装Android最新源代码

    原文网址:http://blog.csdn.net/luoshengyang/article/details/6559955 看完了前面说的几本书之后,对Linux Kernel和Android有一定 ...

  4. 在Ubuntu上下载、编译和安装Android最新源代码

    文章转载至CSDN社区罗升阳的安卓之旅,原文地址:http://blog.csdn.net/luoshengyang/article/details/6559955 看完了前面说的几本书之后,对Lin ...

  5. Android:基于Eclipse编译调试系统级应用源代码

    一.      概要描述 在使用Eclipse导入android工程源代码以后,我们可以使用ddms调试和跟踪源代码. 本文讲述动态调试源代码和静态调试源代码的两种方法,避免build system. ...

  6. 通常编译亲测56Y国际象棋源代码,精仿56Y国际象棋完整的源代码下载!

    今天公布亲测通常应编译56Y国际象棋源代码,精仿56Y牌源代码.喜欢的能够拿去研究.论坛资源太多.我们会把好的资源都公布出来,同一时候欢迎很多其它的程序猿增加我们! 增加我们的共同学习交流!     ...

  7. 如何编译Apache Hadoop2.2.0源代码

    转自(原文图片已丢失,本文修复图片,重新排版,并更正部分原文错误):http://www.superwu.cn/2013/12/26/913 欢迎和大家交流技术相关问题: 邮箱: jiangxinnj ...

  8. JD-GUI反编译jar包为Java源代码

    程序员难免要借鉴其他java工程的代码.可有时只能拿到.calss文件,jar包或者war包,这个时候要求程序员能熟练的将这些类型文件反编译为Java代码并形成可编译运行的项目.本文介绍的反编译工具是 ...

  9. eclipse编译hbase 1.3.1(转)

    https://yq.aliyun.com/articles/59830   ,晚上回去试试...

随机推荐

  1. JAVA WEB开发中的资源国际化

    为什么要国际化? 不同国家与地区语言,文化,生活习惯等差异.在数字,时间,语言,货币,日期,百分数等的不同. 两个名词: I18N:即资源国际化,全称为Internationalization,因为首 ...

  2. 更改linux swappiness 提高物理内存使用率

    swappiness的值的大小对如何使用swap分区是有着很大的联系的. swappiness=0的时候表示最大限度使用物理内存,然后才是 swap空间,swappiness=100的时候表示积极的使 ...

  3. Can not find the tag library descriptor for "http://www.springframework.org/tags"

    1.Download the Spring dependency jar2.Place it to the lib folder path is /WEB-INF/lib/spring.jar 3.T ...

  4. eclispse修改项目项目编码

    最近遇到问题,在myeclipse新建或导入项目后,有些文件中文显示乱码,每次都要在项目property中修改其编码,所以想到一次性解决所有编码问题,让项目新建或导入之后自动是utf-8编码,这样就不 ...

  5. godaddy nginx https 配置

    一. 生成秘钥key,运行: $ openssl genrsa -des3 -out server.key 2048 1 会有两次要求输入密码,输入同一个即可 输入密码 然后你就获得了一个server ...

  6. SpringBoot application.yml logback.xml 多环境

    启动命令为 //开发环境 java -jar app.jar --spring.profiles.active=dev--server.port=8060 //测试环境 java -jar app.j ...

  7. 记一次spring-session登录后失效的问题

    用户登录后,可以进入页面,但ajax请求或跳转其他页面时,会被当做匿名用户,即没有登录.查看session数据库,发现多出两条session,一条为正常数据,里面有对应的用户名:另一条为异常的数据,没 ...

  8. (动态规划)有 n 个学生站成一排,每个学生有一个能力值,从这 n 个学生中按照顺序选取kk 名学生,要求相邻两个学生的位置编号的差不超过 d,使得这 kk 个学生的能力值的乘积最大,返回最大的乘积

    第2关:最强战队 挑战任务 绿盟和各大名企合作,举办编程能力大赛,需要选拔一支参赛队伍.队伍成员全部来自“绿盟杯”中表现优秀的同学,每个同学都根据在比赛中的表现被赋予了一个能力值.现在被召集的N个同学 ...

  9. 转 Appium for Mac 环境准备篇

    转发地址:http://www.cnblogs.com/oscarxie/p/3894559.html 1. 爬墙因为后续安装过程中可能会碰到墙的问题,所以首先得解决爬墙的问题.我的方便,公司提供代理 ...

  10. 1. Spring boot 之热部署

    1. spring boot 热部署 1.1. springloaded springloaded可以实现修改类文件的热部署.下载地址:springloaded 安装单击Run Configurati ...