Hadoop-2.7.3-src 源码编译
Hadoop-2.7.3 编译
1.需要环境梳理
BUILDING JDK1.7+
maven 3.0 or later
findbugs 1.3.9
protocolBuffer 2.5.0
cmake 2.6
zlib-devel
openssl-devel ...
2.安装JDK
JDK 下载jdk-8u181-linux-x64.tar.gz,解压后移动到/app 目录下 tar -zxvf jdk-8u181-linux-x64.tar.gz && ln -s jdk1.8.0_181 jdk
配置jdk环境变量(profile or bashrc)
vim /etc/profile
export JAVA_HOME=/app/jdk
export CLASSPATH=.:\(JAVA_HOME/jre/lib/rt.jar:\)JAVA_HOME/lib/tools.jar
export PATH=\(PATH:\)JAVA_HOME/bin
export JRE_HOME=/app/jdk/jre
export PATH=\(PATH:\)JRE_HOME/bin
3.安装各种依赖库
yum -y install svn ncurses-devel gcc*
yum -y install snappy snappy-devel
yum install bzip2 bzip2-devel bzip2-libs -y
yum install fuse fuse-devel fuse-libs -y
yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel
4.安装protobuf-2.5.0.tar.gz(注意版本必须是2.5.0,hadoop 体系目前均采用 2.5.0版本作为数据交换的标准格式,Hadoop 3.X.X 也对此均未升级)
Protobuf can be found for download here.
tar zxvf protobuf-2.5.0.tar.gz,
进入protobuf-2.5.0 依次执行.
cd protobuf-2.5.0 进入目录,
Here is the code:
假如你希望编译成功后输出的目录 为 /usr/protobuf/ 则输入如下两条命令:
./configure --prefix=/usr/protobuf/
make && make install
编译成功后将export PATH=/usr/protobuf/:$PATH加入到环境变量中,重新登陆或者直接source 使其生效。
(注意PATH 添加谨慎空格换行等特殊操作符号,以免使系统本身环境变量失效)
最后输入 protoc --version命令,如显示libprotoc 2.5.0则安装成功
5.安装maven
下载apache-maven-3.6.0-bin.tar.gz 到/app 目录
解压缩并配置环境变量
tar -zxvf apache-maven-3.6.0-bin.tar.gz
ln -s apache-maven-3.6.0 maven
配置环境变量:
vim /etc/profile
在末尾添加:
export MAVEN_HOME=/app/maven
export MAVEN_OPTS="-Xms256m -Xmx512m"
export PATH=$PATH:$MAVEN_HOME/bin
6.安装ant
下载apache-ant-1.9.4-bin.tar.gz 到/app 目录下
解压缩并配置环境变量
解压:
cd /app
tar -zxvf apache-ant-1.9.4-bin.tar.gz
ln -s apache-ant-1.9.4 ant
配置环境变量
同上,在/etc/profile文件末未添加:
export ANT_HOME=/app/ant
export PATH=$PATH:$ANT_HOME/bin
然后保存,退出,并source使更改生效。
查看安装结果:
ant -version
7.安装findbugs
下载findbugs-3.0.1.tar.gz 到 /app 目录
解压缩并配置环境变量
解压:
tar -zxvf findbugs-3.0.1.tar.gz
ln -s findbugs-3.0.1 findbugs
配置环境变量:
在 /etc/profile 文件末尾添加:
export FINDBUGS_HOME=/opt/findbugs-3.0.1
export PATH=$PATH:$FINDBUGS_HOME/bin
保存退出,并source使更改生效。
8.编译Apache Hadoop 2.7.3
进入到hadoop-2.7.3-src目录
cd hadoop-2.7.3-src
mvn package -Pdist,native -DskipTests -Dtar
等待编译完成,安装包会生成在目录
/hadoop-dist/target/*******
Hadoop-2.7.3-src 源码编译的更多相关文章
- Hadoop,HBase,Zookeeper源码编译并导入eclipse
基本理念:尽可能的参考官方英文文档 Hadoop: http://wiki.apache.org/hadoop/FrontPage HBase: http://hbase.apache.org/b ...
- Hadoop源码编译过程
一. 为什么要编译Hadoop源码 Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通 ...
- 基于cdh5.10.x hadoop版本的apache源码编译安装spark
参考文档:http://spark.apache.org/docs/1.6.0/building-spark.html spark安装需要选择源码编译方式进行安装部署,cdh5.10.0提供默认的二进 ...
- hadoop 源码编译
hadoop 源码编译 1.准备jar 1) hadoop-2.7.2-src.tar.gz 2) jdk-8u144-linux-x64.tar.gz 3) apach-ant-1.9.9-bin. ...
- hadoop-1.2.0源码编译
以下为在CentOS-6.4下hadoop-1.2.0源码编译步骤. 1. 安装并且配置ant 下载ant,将ant目录下的bin文件夹加入到PATH变量中. 2. 安装git,安装autoconf, ...
- hadoop2.x源码编译
转载请标明出处: http://blog.csdn.net/zwto1/article/details/50733753: 介绍 本篇主要会涉及以下内容: 学会编译hadoop2.x源码 编译hado ...
- Spark记录-源码编译spark2.2.0(结合Hive on Spark/Hive on MR2/Spark on Yarn)
#spark2.2.0源码编译 #组件:mvn-3.3.9 jdk-1.8 #wget http://mirror.bit.edu.cn/apache/spark/spark-2.2.0/spark- ...
- Hadoop学习笔记(10) ——搭建源码学习环境
Hadoop学习笔记(10) ——搭建源码学习环境 上一章中,我们对整个hadoop的目录及源码目录有了一个初步的了解,接下来计划深入学习一下这头神象作品了.但是看代码用什么,难不成gedit?,单步 ...
- Spark 2.1.1 源码编译
Spark 2.1.1 源码编译 标签(空格分隔): Spark Spark 源码编译 环境准备与起因 由于线上Spark On Yarn Spark Streaming程序在消费kafka 写入HD ...
- ambari 2.5.0源码编译安装
参考:https://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/index.html Ambari 是什么 Ambar ...
随机推荐
- Express NodeJs Web框架 入门笔记
Express 是一个简洁而灵活的 node.js Web应用框架, 提供了一系列强大特性帮助你创建各种 Web 应用,和丰富的 HTTP 工具. 使用 Express 可以快速地搭建一个完整功能的网 ...
- July 11th, 2018. Wednesday, Week 28th.
It is during our darkest moments that we must focus to see the light. 越是在艰难的时候就越要着眼于光明. From Aristol ...
- matlab函数int2str, num2str, str2num
函数名:int2str 功能:将整数值转换为字符串 输入格式:str = int2str(N) 备注:就将该值四舍五入后转换为字符串,接受向量和矩阵输入. 如果是向量和矩阵输入,列数字之间会补加两个空 ...
- 8年,从2D到3D,我的学习之路
Mickey 写了一篇 <一个本科毕业生创业两年的感悟>,从他的视角,总结了我们合作的两年经历. 我也来写一篇,介绍我的学习之路,希望对大家有所帮助,谢谢大家- 我的学习方法 1.直接从0 ...
- springMVC 实现redis分布式锁
1.先配置spring-data-redis 首先是依赖 <dependency> <groupId>org.springframework.data</groupId& ...
- Trie树(字典树)推荐文章
Trie树也被称为字典树,通过这个名字,可以明显知道这种树的结构:像字典一样进行查找的树(想想采用拼音法查找汉字的时候的过程,实质上就是一个逐字母匹配的过程).Trie树就是利用了这种思想构造出来的多 ...
- Docker 案例: 在容器中部署静态网站
----------------知识点------------ 容器的端口映射: docker run [-P] [-p] -P,–publish-all=true | false,大写的P表示为 ...
- springboot 的部分细节
Application.properties 中#指定端口号 server.port= #指定访问路径必须以/crud/xxx 开始 server.servlet.context-path=/crud ...
- [2019BUAA人工智能实战_陈泽寅]第1次个人作业
我们的征程是星辰和大海 一.索引 项目 内容 这个作业属于哪个课程 BUAA人工智能实战 这个作业的要求在哪里 here 我在这个课程的目标是 理论实践相结合,提升自己coding能力 这个作业在哪个 ...
- 《JAVA与模式》之工厂方法模式
在阎宏博士的<JAVA与模式>一书中开头是这样描述工厂方法模式的: 工厂方法模式是类的创建模式,又叫做虚拟构造子(Virtual Constructor)模式或者多态性工厂(Polymor ...