Hadoop-2.7.3-src 源码编译
Hadoop-2.7.3 编译
1.需要环境梳理
BUILDING JDK1.7+
maven 3.0 or later
findbugs 1.3.9
protocolBuffer 2.5.0
cmake 2.6
zlib-devel
openssl-devel ...
2.安装JDK
JDK 下载jdk-8u181-linux-x64.tar.gz,解压后移动到/app 目录下 tar -zxvf jdk-8u181-linux-x64.tar.gz && ln -s jdk1.8.0_181 jdk
配置jdk环境变量(profile or bashrc)
vim /etc/profile
export JAVA_HOME=/app/jdk
export CLASSPATH=.:\(JAVA_HOME/jre/lib/rt.jar:\)JAVA_HOME/lib/tools.jar
export PATH=\(PATH:\)JAVA_HOME/bin
export JRE_HOME=/app/jdk/jre
export PATH=\(PATH:\)JRE_HOME/bin
3.安装各种依赖库
yum -y install svn ncurses-devel gcc*
yum -y install snappy snappy-devel
yum install bzip2 bzip2-devel bzip2-libs -y
yum install fuse fuse-devel fuse-libs -y
yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel
4.安装protobuf-2.5.0.tar.gz(注意版本必须是2.5.0,hadoop 体系目前均采用 2.5.0版本作为数据交换的标准格式,Hadoop 3.X.X 也对此均未升级)
Protobuf can be found for download here.
tar zxvf protobuf-2.5.0.tar.gz,
进入protobuf-2.5.0 依次执行.
cd protobuf-2.5.0 进入目录,
Here is the code:
假如你希望编译成功后输出的目录 为 /usr/protobuf/ 则输入如下两条命令:
./configure --prefix=/usr/protobuf/
make && make install
编译成功后将export PATH=/usr/protobuf/:$PATH加入到环境变量中,重新登陆或者直接source 使其生效。
(注意PATH 添加谨慎空格换行等特殊操作符号,以免使系统本身环境变量失效)
最后输入 protoc --version命令,如显示libprotoc 2.5.0则安装成功
5.安装maven
下载apache-maven-3.6.0-bin.tar.gz 到/app 目录
解压缩并配置环境变量
tar -zxvf apache-maven-3.6.0-bin.tar.gz
ln -s apache-maven-3.6.0 maven
配置环境变量:
vim /etc/profile
在末尾添加:
export MAVEN_HOME=/app/maven
export MAVEN_OPTS="-Xms256m -Xmx512m"
export PATH=$PATH:$MAVEN_HOME/bin
6.安装ant
下载apache-ant-1.9.4-bin.tar.gz 到/app 目录下
解压缩并配置环境变量
解压:
cd /app
tar -zxvf apache-ant-1.9.4-bin.tar.gz
ln -s apache-ant-1.9.4 ant
配置环境变量
同上,在/etc/profile文件末未添加:
export ANT_HOME=/app/ant
export PATH=$PATH:$ANT_HOME/bin
然后保存,退出,并source使更改生效。
查看安装结果:
ant -version
7.安装findbugs
下载findbugs-3.0.1.tar.gz 到 /app 目录
解压缩并配置环境变量
解压:
tar -zxvf findbugs-3.0.1.tar.gz
ln -s findbugs-3.0.1 findbugs
配置环境变量:
在 /etc/profile 文件末尾添加:
export FINDBUGS_HOME=/opt/findbugs-3.0.1
export PATH=$PATH:$FINDBUGS_HOME/bin
保存退出,并source使更改生效。
8.编译Apache Hadoop 2.7.3
进入到hadoop-2.7.3-src目录
cd hadoop-2.7.3-src
mvn package -Pdist,native -DskipTests -Dtar
等待编译完成,安装包会生成在目录
/hadoop-dist/target/*******
Hadoop-2.7.3-src 源码编译的更多相关文章
- Hadoop,HBase,Zookeeper源码编译并导入eclipse
基本理念:尽可能的参考官方英文文档 Hadoop: http://wiki.apache.org/hadoop/FrontPage HBase: http://hbase.apache.org/b ...
- Hadoop源码编译过程
一. 为什么要编译Hadoop源码 Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通 ...
- 基于cdh5.10.x hadoop版本的apache源码编译安装spark
参考文档:http://spark.apache.org/docs/1.6.0/building-spark.html spark安装需要选择源码编译方式进行安装部署,cdh5.10.0提供默认的二进 ...
- hadoop 源码编译
hadoop 源码编译 1.准备jar 1) hadoop-2.7.2-src.tar.gz 2) jdk-8u144-linux-x64.tar.gz 3) apach-ant-1.9.9-bin. ...
- hadoop-1.2.0源码编译
以下为在CentOS-6.4下hadoop-1.2.0源码编译步骤. 1. 安装并且配置ant 下载ant,将ant目录下的bin文件夹加入到PATH变量中. 2. 安装git,安装autoconf, ...
- hadoop2.x源码编译
转载请标明出处: http://blog.csdn.net/zwto1/article/details/50733753: 介绍 本篇主要会涉及以下内容: 学会编译hadoop2.x源码 编译hado ...
- Spark记录-源码编译spark2.2.0(结合Hive on Spark/Hive on MR2/Spark on Yarn)
#spark2.2.0源码编译 #组件:mvn-3.3.9 jdk-1.8 #wget http://mirror.bit.edu.cn/apache/spark/spark-2.2.0/spark- ...
- Hadoop学习笔记(10) ——搭建源码学习环境
Hadoop学习笔记(10) ——搭建源码学习环境 上一章中,我们对整个hadoop的目录及源码目录有了一个初步的了解,接下来计划深入学习一下这头神象作品了.但是看代码用什么,难不成gedit?,单步 ...
- Spark 2.1.1 源码编译
Spark 2.1.1 源码编译 标签(空格分隔): Spark Spark 源码编译 环境准备与起因 由于线上Spark On Yarn Spark Streaming程序在消费kafka 写入HD ...
- ambari 2.5.0源码编译安装
参考:https://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/index.html Ambari 是什么 Ambar ...
随机推荐
- wxpython 支持python语法高亮的自定义文本框控件的代码
在研发闲暇时间,把开发过程中比较重要的一些代码做个珍藏,下面的代码内容是关于wxpython 支持python语法高亮的自定义文本框控件的代码,应该是对大家也有用. import keywordimp ...
- 测者的测试技术手册:自动化的自动化EvoSuite:Maven项目集成EvoSuite实战
EvoSuite是由Sheffield等大学联合开发的一种开源工具,用于自动生成测试用例集,生成的测试用例均符合Junit的标准,可直接在Junit中运行.得到了Google和Yourkit的支持. ...
- Hibernate执行SQL语句实现查询修改功能!
今天玩Hibernate时突然就想写写SQL语句查询... DAO : //查询 public List<?> createSqlQueryList(final String queryS ...
- Vue.js01:跑马灯效果
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...
- qt5.11.2+vs2017环境下配置pcl1.8.1以及第三方依赖库vtk的编译
1.准备工作 我所用的开发环境是win10下的qt5.11.2配置了vs2017的编译器,根据自己所用的VS的版本去官网下载对应版本的pcl库,如下 PCL-1.8.1-AllInOne-msvc20 ...
- Fix: Unable to terminate process ‘Access is denied’ 杀进程,关服务
https://appuals.com/fix-unable-to-terminate-process-access-is-denied/ 我 Process Hacker (方法3),成功杀掉: 阿 ...
- Java设置接口跨域
现在我们很多项目都是基于Java的REST结构风格前后端分离,在前端访问后端的时候就存在跨域,这个时候后端接口不处理就会存在访问不了.上代码! 1.创建一个Filter 在web.xml中配置 < ...
- RocketMQ4.3.X关于设置useEpollNativeSelector = true报错问题
前一阵子刚整理完RocketMQ4.3.x版本的相关配置的工作,接下来就来测试一下改变参数会带来什么好的结果 首先我就选中了useEpollNativeSelector 这个参数 默认这个参数是 fa ...
- vim编辑器操作
vim被称为编辑器之神,另外一个是sublime.vim较vi比较高级,vi适用于文本编辑,vim更加适合于coding.凡是vim里面的命令在vi都是适用的. vim的大众版的三种模式(其实不止三种 ...
- 你的知识需要管理PKM
有一段时间没有更新技术博客了~,大脑中总感觉有点东西要写,却不知道从哪里开始写~至少写点东西,也算是一个阶段的成长.反思~ 学习(充电过程).工作(知识变现过程)不是简单重复,永远都是最值得去反思.玩 ...