Hadoop-2.7.3-src 源码编译

Hadoop-2.7.3 编译

1.需要环境梳理

BUILDING JDK1.7+

maven 3.0 or later

findbugs 1.3.9

protocolBuffer 2.5.0

cmake 2.6

zlib-devel

openssl-devel ...

2.安装JDK

JDK 下载jdk-8u181-linux-x64.tar.gz，解压后移动到/app 目录下 tar -zxvf jdk-8u181-linux-x64.tar.gz && ln -s jdk1.8.0_181 jdk

配置jdk环境变量(profile or bashrc)

vim /etc/profile

export JAVA_HOME=/app/jdk

export CLASSPATH=.:\(JAVA_HOME/jre/lib/rt.jar:\)JAVA_HOME/lib/tools.jar

export PATH=\(PATH:\)JAVA_HOME/bin

export JRE_HOME=/app/jdk/jre

export PATH=\(PATH:\)JRE_HOME/bin

3.安装各种依赖库

yum -y install svn ncurses-devel gcc*

yum -y install snappy snappy-devel

yum install bzip2 bzip2-devel bzip2-libs -y

yum install fuse fuse-devel fuse-libs -y

yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel

4.安装protobuf-2.5.0.tar.gz（注意版本必须是2.5.0，hadoop 体系目前均采用 2.5.0版本作为数据交换的标准格式，Hadoop 3.X.X 也对此均未升级）

Protobuf can be found for download here.

tar zxvf protobuf-2.5.0.tar.gz,

进入protobuf-2.5.0 依次执行.

cd protobuf-2.5.0 进入目录,

Here is the code:

假如你希望编译成功后输出的目录 为 /usr/protobuf/  则输入如下两条命令：
./configure --prefix=/usr/protobuf/ 
make && make install
编译成功后将export PATH=/usr/protobuf/:$PATH加入到环境变量中,重新登陆或者直接source 使其生效。
（注意PATH 添加谨慎空格换行等特殊操作符号，以免使系统本身环境变量失效）
最后输入  protoc --version命令，如显示libprotoc 2.5.0则安装成功

5.安装maven

下载apache-maven-3.6.0-bin.tar.gz 到/app 目录

解压缩并配置环境变量

tar -zxvf apache-maven-3.6.0-bin.tar.gz
ln -s apache-maven-3.6.0 maven
配置环境变量：
vim /etc/profile
在末尾添加：
export MAVEN_HOME=/app/maven
export MAVEN_OPTS="-Xms256m -Xmx512m"
export PATH=$PATH:$MAVEN_HOME/bin

6.安装ant

下载apache-ant-1.9.4-bin.tar.gz 到/app 目录下

解压缩并配置环境变量

解压：
cd /app
tar -zxvf apache-ant-1.9.4-bin.tar.gz
ln -s apache-ant-1.9.4 ant
配置环境变量
同上，在/etc/profile文件末未添加：
export ANT_HOME=/app/ant
export PATH=$PATH:$ANT_HOME/bin
然后保存，退出，并source使更改生效。
查看安装结果：
ant -version

7.安装findbugs

下载findbugs-3.0.1.tar.gz 到 /app 目录

解压缩并配置环境变量

解压：
tar -zxvf findbugs-3.0.1.tar.gz
ln -s  findbugs-3.0.1 findbugs
配置环境变量:
在 /etc/profile 文件末尾添加：
export FINDBUGS_HOME=/opt/findbugs-3.0.1
export PATH=$PATH:$FINDBUGS_HOME/bin
保存退出，并source使更改生效。

8.编译Apache Hadoop 2.7.3

进入到hadoop-2.7.3-src目录

cd hadoop-2.7.3-src
mvn package -Pdist,native -DskipTests -Dtar
等待编译完成，安装包会生成在目录
/hadoop-dist/target/*******