Hadoop-2.7.3 编译

1.需要环境梳理

BUILDING JDK1.7+

maven 3.0 or later

findbugs 1.3.9

protocolBuffer 2.5.0

cmake 2.6

zlib-devel

openssl-devel ...

2.安装JDK

JDK 下载jdk-8u181-linux-x64.tar.gz,解压后移动到/app 目录下 tar -zxvf jdk-8u181-linux-x64.tar.gz && ln -s jdk1.8.0_181 jdk

配置jdk环境变量(profile or bashrc)

vim /etc/profile

export JAVA_HOME=/app/jdk

export CLASSPATH=.:\(JAVA_HOME/jre/lib/rt.jar:\)JAVA_HOME/lib/tools.jar

export PATH=\(PATH:\)JAVA_HOME/bin

export JRE_HOME=/app/jdk/jre

export PATH=\(PATH:\)JRE_HOME/bin

3.安装各种依赖库

yum -y install svn ncurses-devel gcc*

yum -y install snappy snappy-devel

yum install bzip2 bzip2-devel bzip2-libs -y

yum install fuse fuse-devel fuse-libs -y

yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel

4.安装protobuf-2.5.0.tar.gz(注意版本必须是2.5.0,hadoop 体系目前均采用 2.5.0版本作为数据交换的标准格式,Hadoop 3.X.X 也对此均未升级)

Protobuf can be found for download here.

tar zxvf protobuf-2.5.0.tar.gz,

进入protobuf-2.5.0 依次执行.

cd protobuf-2.5.0 进入目录,

Here is the code:

假如你希望编译成功后输出的目录 为 /usr/protobuf/  则输入如下两条命令:

./configure --prefix=/usr/protobuf/ 

make && make install

编译成功后将export PATH=/usr/protobuf/:$PATH加入到环境变量中,重新登陆或者直接source 使其生效。
(注意PATH 添加谨慎空格换行等特殊操作符号,以免使系统本身环境变量失效) 最后输入 protoc --version命令,如显示libprotoc 2.5.0则安装成功

5.安装maven

下载apache-maven-3.6.0-bin.tar.gz 到/app 目录

解压缩并配置环境变量


tar -zxvf apache-maven-3.6.0-bin.tar.gz
ln -s apache-maven-3.6.0 maven
配置环境变量:
vim /etc/profile
在末尾添加:
export MAVEN_HOME=/app/maven
export MAVEN_OPTS="-Xms256m -Xmx512m"
export PATH=$PATH:$MAVEN_HOME/bin

6.安装ant

下载apache-ant-1.9.4-bin.tar.gz 到/app 目录下

解压缩并配置环境变量


解压:
cd /app
tar -zxvf apache-ant-1.9.4-bin.tar.gz
ln -s apache-ant-1.9.4 ant
配置环境变量
同上,在/etc/profile文件末未添加:
export ANT_HOME=/app/ant
export PATH=$PATH:$ANT_HOME/bin
然后保存,退出,并source使更改生效。
查看安装结果:
ant -version

7.安装findbugs

下载findbugs-3.0.1.tar.gz 到 /app 目录

解压缩并配置环境变量

解压:
tar -zxvf findbugs-3.0.1.tar.gz
ln -s findbugs-3.0.1 findbugs
配置环境变量:
在 /etc/profile 文件末尾添加:
export FINDBUGS_HOME=/opt/findbugs-3.0.1
export PATH=$PATH:$FINDBUGS_HOME/bin
保存退出,并source使更改生效。

8.编译Apache Hadoop 2.7.3

进入到hadoop-2.7.3-src目录


cd hadoop-2.7.3-src
mvn package -Pdist,native -DskipTests -Dtar
等待编译完成,安装包会生成在目录
/hadoop-dist/target/*******

Hadoop-2.7.3-src 源码编译的更多相关文章

  1. Hadoop,HBase,Zookeeper源码编译并导入eclipse

    基本理念:尽可能的参考官方英文文档 Hadoop:  http://wiki.apache.org/hadoop/FrontPage HBase:  http://hbase.apache.org/b ...

  2. Hadoop源码编译过程

    一.           为什么要编译Hadoop源码 Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通 ...

  3. 基于cdh5.10.x hadoop版本的apache源码编译安装spark

    参考文档:http://spark.apache.org/docs/1.6.0/building-spark.html spark安装需要选择源码编译方式进行安装部署,cdh5.10.0提供默认的二进 ...

  4. hadoop 源码编译

    hadoop 源码编译 1.准备jar 1) hadoop-2.7.2-src.tar.gz 2) jdk-8u144-linux-x64.tar.gz 3) apach-ant-1.9.9-bin. ...

  5. hadoop-1.2.0源码编译

    以下为在CentOS-6.4下hadoop-1.2.0源码编译步骤. 1. 安装并且配置ant 下载ant,将ant目录下的bin文件夹加入到PATH变量中. 2. 安装git,安装autoconf, ...

  6. hadoop2.x源码编译

    转载请标明出处: http://blog.csdn.net/zwto1/article/details/50733753: 介绍 本篇主要会涉及以下内容: 学会编译hadoop2.x源码 编译hado ...

  7. Spark记录-源码编译spark2.2.0(结合Hive on Spark/Hive on MR2/Spark on Yarn)

    #spark2.2.0源码编译 #组件:mvn-3.3.9 jdk-1.8 #wget http://mirror.bit.edu.cn/apache/spark/spark-2.2.0/spark- ...

  8. Hadoop学习笔记(10) ——搭建源码学习环境

    Hadoop学习笔记(10) ——搭建源码学习环境 上一章中,我们对整个hadoop的目录及源码目录有了一个初步的了解,接下来计划深入学习一下这头神象作品了.但是看代码用什么,难不成gedit?,单步 ...

  9. Spark 2.1.1 源码编译

    Spark 2.1.1 源码编译 标签(空格分隔): Spark Spark 源码编译 环境准备与起因 由于线上Spark On Yarn Spark Streaming程序在消费kafka 写入HD ...

  10. ambari 2.5.0源码编译安装

    参考:https://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/index.html Ambari 是什么 Ambar ...

随机推荐

  1. Express NodeJs Web框架 入门笔记

    Express 是一个简洁而灵活的 node.js Web应用框架, 提供了一系列强大特性帮助你创建各种 Web 应用,和丰富的 HTTP 工具. 使用 Express 可以快速地搭建一个完整功能的网 ...

  2. July 11th, 2018. Wednesday, Week 28th.

    It is during our darkest moments that we must focus to see the light. 越是在艰难的时候就越要着眼于光明. From Aristol ...

  3. matlab函数int2str, num2str, str2num

    函数名:int2str 功能:将整数值转换为字符串 输入格式:str = int2str(N) 备注:就将该值四舍五入后转换为字符串,接受向量和矩阵输入. 如果是向量和矩阵输入,列数字之间会补加两个空 ...

  4. 8年,从2D到3D,我的学习之路

    Mickey 写了一篇 <一个本科毕业生创业两年的感悟>,从他的视角,总结了我们合作的两年经历. 我也来写一篇,介绍我的学习之路,希望对大家有所帮助,谢谢大家- 我的学习方法 1.直接从0 ...

  5. springMVC 实现redis分布式锁

    1.先配置spring-data-redis 首先是依赖 <dependency> <groupId>org.springframework.data</groupId& ...

  6. Trie树(字典树)推荐文章

    Trie树也被称为字典树,通过这个名字,可以明显知道这种树的结构:像字典一样进行查找的树(想想采用拼音法查找汉字的时候的过程,实质上就是一个逐字母匹配的过程).Trie树就是利用了这种思想构造出来的多 ...

  7. Docker 案例: 在容器中部署静态网站

    ----------------知识点------------ 容器的端口映射: docker  run  [-P] [-p] -P,–publish-all=true | false,大写的P表示为 ...

  8. springboot 的部分细节

    Application.properties 中#指定端口号 server.port= #指定访问路径必须以/crud/xxx 开始 server.servlet.context-path=/crud ...

  9. [2019BUAA人工智能实战_陈泽寅]第1次个人作业

    我们的征程是星辰和大海 一.索引 项目 内容 这个作业属于哪个课程 BUAA人工智能实战 这个作业的要求在哪里 here 我在这个课程的目标是 理论实践相结合,提升自己coding能力 这个作业在哪个 ...

  10. 《JAVA与模式》之工厂方法模式

    在阎宏博士的<JAVA与模式>一书中开头是这样描述工厂方法模式的: 工厂方法模式是类的创建模式,又叫做虚拟构造子(Virtual Constructor)模式或者多态性工厂(Polymor ...