Hadoop-2.7.3 编译

1.需要环境梳理

BUILDING JDK1.7+

maven 3.0 or later

findbugs 1.3.9

protocolBuffer 2.5.0

cmake 2.6

zlib-devel

openssl-devel ...

2.安装JDK

JDK 下载jdk-8u181-linux-x64.tar.gz,解压后移动到/app 目录下 tar -zxvf jdk-8u181-linux-x64.tar.gz && ln -s jdk1.8.0_181 jdk

配置jdk环境变量(profile or bashrc)

vim /etc/profile

export JAVA_HOME=/app/jdk

export CLASSPATH=.:\(JAVA_HOME/jre/lib/rt.jar:\)JAVA_HOME/lib/tools.jar

export PATH=\(PATH:\)JAVA_HOME/bin

export JRE_HOME=/app/jdk/jre

export PATH=\(PATH:\)JRE_HOME/bin

3.安装各种依赖库

yum -y install svn ncurses-devel gcc*

yum -y install snappy snappy-devel

yum install bzip2 bzip2-devel bzip2-libs -y

yum install fuse fuse-devel fuse-libs -y

yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel

4.安装protobuf-2.5.0.tar.gz(注意版本必须是2.5.0,hadoop 体系目前均采用 2.5.0版本作为数据交换的标准格式,Hadoop 3.X.X 也对此均未升级)

Protobuf can be found for download here.

tar zxvf protobuf-2.5.0.tar.gz,

进入protobuf-2.5.0 依次执行.

cd protobuf-2.5.0 进入目录,

Here is the code:

  1. 假如你希望编译成功后输出的目录 /usr/protobuf/ 则输入如下两条命令:
  2. ./configure --prefix=/usr/protobuf/
  3. make && make install
  4. 编译成功后将export PATH=/usr/protobuf/:$PATH加入到环境变量中,重新登陆或者直接source 使其生效。
  5. (注意PATH 添加谨慎空格换行等特殊操作符号,以免使系统本身环境变量失效)
  6. 最后输入 protoc --version命令,如显示libprotoc 2.5.0则安装成功

5.安装maven

下载apache-maven-3.6.0-bin.tar.gz 到/app 目录

解压缩并配置环境变量


  1. tar -zxvf apache-maven-3.6.0-bin.tar.gz
  2. ln -s apache-maven-3.6.0 maven
  3. 配置环境变量:
  4. vim /etc/profile
  5. 在末尾添加:
  6. export MAVEN_HOME=/app/maven
  7. export MAVEN_OPTS="-Xms256m -Xmx512m"
  8. export PATH=$PATH:$MAVEN_HOME/bin

6.安装ant

下载apache-ant-1.9.4-bin.tar.gz 到/app 目录下

解压缩并配置环境变量


  1. 解压:
  2. cd /app
  3. tar -zxvf apache-ant-1.9.4-bin.tar.gz
  4. ln -s apache-ant-1.9.4 ant
  5. 配置环境变量
  6. 同上,在/etc/profile文件末未添加:
  7. export ANT_HOME=/app/ant
  8. export PATH=$PATH:$ANT_HOME/bin
  9. 然后保存,退出,并source使更改生效。
  10. 查看安装结果:
  11. ant -version

7.安装findbugs

下载findbugs-3.0.1.tar.gz 到 /app 目录

解压缩并配置环境变量

  1. 解压:
  2. tar -zxvf findbugs-3.0.1.tar.gz
  3. ln -s findbugs-3.0.1 findbugs
  4. 配置环境变量:
  5. /etc/profile 文件末尾添加:
  6. export FINDBUGS_HOME=/opt/findbugs-3.0.1
  7. export PATH=$PATH:$FINDBUGS_HOME/bin
  8. 保存退出,并source使更改生效。

8.编译Apache Hadoop 2.7.3

进入到hadoop-2.7.3-src目录


  1. cd hadoop-2.7.3-src
  2. mvn package -Pdist,native -DskipTests -Dtar
  3. 等待编译完成,安装包会生成在目录
  4. /hadoop-dist/target/*******

Hadoop-2.7.3-src 源码编译的更多相关文章

  1. Hadoop,HBase,Zookeeper源码编译并导入eclipse

    基本理念:尽可能的参考官方英文文档 Hadoop:  http://wiki.apache.org/hadoop/FrontPage HBase:  http://hbase.apache.org/b ...

  2. Hadoop源码编译过程

    一.           为什么要编译Hadoop源码 Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通 ...

  3. 基于cdh5.10.x hadoop版本的apache源码编译安装spark

    参考文档:http://spark.apache.org/docs/1.6.0/building-spark.html spark安装需要选择源码编译方式进行安装部署,cdh5.10.0提供默认的二进 ...

  4. hadoop 源码编译

    hadoop 源码编译 1.准备jar 1) hadoop-2.7.2-src.tar.gz 2) jdk-8u144-linux-x64.tar.gz 3) apach-ant-1.9.9-bin. ...

  5. hadoop-1.2.0源码编译

    以下为在CentOS-6.4下hadoop-1.2.0源码编译步骤. 1. 安装并且配置ant 下载ant,将ant目录下的bin文件夹加入到PATH变量中. 2. 安装git,安装autoconf, ...

  6. hadoop2.x源码编译

    转载请标明出处: http://blog.csdn.net/zwto1/article/details/50733753: 介绍 本篇主要会涉及以下内容: 学会编译hadoop2.x源码 编译hado ...

  7. Spark记录-源码编译spark2.2.0(结合Hive on Spark/Hive on MR2/Spark on Yarn)

    #spark2.2.0源码编译 #组件:mvn-3.3.9 jdk-1.8 #wget http://mirror.bit.edu.cn/apache/spark/spark-2.2.0/spark- ...

  8. Hadoop学习笔记(10) ——搭建源码学习环境

    Hadoop学习笔记(10) ——搭建源码学习环境 上一章中,我们对整个hadoop的目录及源码目录有了一个初步的了解,接下来计划深入学习一下这头神象作品了.但是看代码用什么,难不成gedit?,单步 ...

  9. Spark 2.1.1 源码编译

    Spark 2.1.1 源码编译 标签(空格分隔): Spark Spark 源码编译 环境准备与起因 由于线上Spark On Yarn Spark Streaming程序在消费kafka 写入HD ...

  10. ambari 2.5.0源码编译安装

    参考:https://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/index.html Ambari 是什么 Ambar ...

随机推荐

  1. wxpython 支持python语法高亮的自定义文本框控件的代码

    在研发闲暇时间,把开发过程中比较重要的一些代码做个珍藏,下面的代码内容是关于wxpython 支持python语法高亮的自定义文本框控件的代码,应该是对大家也有用. import keywordimp ...

  2. 测者的测试技术手册:自动化的自动化EvoSuite:Maven项目集成EvoSuite实战

    EvoSuite是由Sheffield等大学联合开发的一种开源工具,用于自动生成测试用例集,生成的测试用例均符合Junit的标准,可直接在Junit中运行.得到了Google和Yourkit的支持. ...

  3. Hibernate执行SQL语句实现查询修改功能!

    今天玩Hibernate时突然就想写写SQL语句查询... DAO : //查询 public List<?> createSqlQueryList(final String queryS ...

  4. Vue.js01:跑马灯效果

    <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...

  5. qt5.11.2+vs2017环境下配置pcl1.8.1以及第三方依赖库vtk的编译

    1.准备工作 我所用的开发环境是win10下的qt5.11.2配置了vs2017的编译器,根据自己所用的VS的版本去官网下载对应版本的pcl库,如下 PCL-1.8.1-AllInOne-msvc20 ...

  6. Fix: Unable to terminate process ‘Access is denied’ 杀进程,关服务

    https://appuals.com/fix-unable-to-terminate-process-access-is-denied/ 我 Process Hacker (方法3),成功杀掉: 阿 ...

  7. Java设置接口跨域

    现在我们很多项目都是基于Java的REST结构风格前后端分离,在前端访问后端的时候就存在跨域,这个时候后端接口不处理就会存在访问不了.上代码! 1.创建一个Filter 在web.xml中配置 < ...

  8. RocketMQ4.3.X关于设置useEpollNativeSelector = true报错问题

    前一阵子刚整理完RocketMQ4.3.x版本的相关配置的工作,接下来就来测试一下改变参数会带来什么好的结果 首先我就选中了useEpollNativeSelector 这个参数 默认这个参数是 fa ...

  9. vim编辑器操作

    vim被称为编辑器之神,另外一个是sublime.vim较vi比较高级,vi适用于文本编辑,vim更加适合于coding.凡是vim里面的命令在vi都是适用的. vim的大众版的三种模式(其实不止三种 ...

  10. 你的知识需要管理PKM

    有一段时间没有更新技术博客了~,大脑中总感觉有点东西要写,却不知道从哪里开始写~至少写点东西,也算是一个阶段的成长.反思~ 学习(充电过程).工作(知识变现过程)不是简单重复,永远都是最值得去反思.玩 ...