Hadoop2.4.0  重新编译 64  位本地库

原创作者:大鹏鸟 时间:2014-07-28

环境:虚拟机 VirtualBox,操作系统 64 位 CentOS 6.4

下载重新编译需要的软件包

apache-ant-1.9.4-bin.tar.gz

findbugs-3.0.0.tar.gz

protobuf-2.5.0.tar.gz

apache-maven-3.0.5-bin.tar.gz

下载 hadoop2.4.0 的源码包

hadoop-2.4.0-src.tar.gz

压解源码包

[grid@hadoopMaster01 ~]$ tar -zxvf hadoop-2.4.0-src.tar.gz

安装编译所需软件

安装 MAVEN

压解 apache-maven-3.0.5-bin.tar.gz 到/opt/目录

[root@hadoopMaster01 grid]# tar -zxvf apache-maven-3.0.5-bin.tar.gz -C /opt/

修改/etc/profile 配置,增加 MAVEN 环境配置M2_HOME   PATH

保存后使用 source /etc/profile 使修改配置即时生效

[root@hadoopMaster01 apache-maven-3.0.5]# source /etc/profile

使用 mvn -v 命令进行验证,如图所示表示安装配置成功

安装 ANT

压解 apache-ant-1.9.4-bin.tar.gz 到/opt/目录

[root@hadoopMaster01 grid]# tar -zxvf apache-ant-1.9.4-bin.tar.gz -C /opt/

修改/etc/profile 配置,增加 ANT 环境配置 ANT_HOME   PATH

保存后使用 source /etc/profile 使修改配置即时生效

[root@hadoopMaster01 apache-ant-1.9.4]# source /etc/profile

使用 ant-version 命令进行验证,如图所示表示安装配置成功

安装 FINDBUGS

压解 findbugs-3.0.0.tar.gz 到/opt/目录

[root@hadoopMaster01 grid]# tar -zxvf findbugs-3.0.0.tar.gz -C /opt/

修改/etc/profile 配置,增加 FINDBUGS 环境配置

保存后使用 source /etc/profile 使修改配置即时生效

[root@hadoopMaster01 apache-ant-1.9.4]# source /etc/profile

使用 findbugs-version 命令进行验证,如图所示表示安装配置成功

安装 PROTOBUF

编译 Hadoop 2.4.0,需要 protobuf 的编译器protoc,一定要是 protobuf 2.5.0 以上

直接压解 protobuf-2.5.0.tar.gz

[root@hadoopMaster01 grid]# tar -zxvf protobuf-2.5.0.tar.gz

安装 protobuf,依次执行如下命令

[root@hadoopMaster01 grid]# cd protobuf-2.5.0

[root@hadoopMaster01 protobuf-2.5.0]# ls

aclocal.m4 config.guess configure COPYING.txt examples

install-sh ltmain.sh Makefile.in protobuf.pc.in src

autogen.sh config.h.in configure.ac depcomp generate_descriptor_proto.sh

INSTALL.txt m4 missing python vsprojects

CHANGES.txt config.sub CONTRIBUTORS.txt editors gtest

java Makefile.am protobuf-lite.pc.in README.txt

[root@hadoopMaster01 protobuf-2.5.0]# ./configure

[root@hadoopMaster01 protobuf-2.5.0]# make

[root@hadoopMaster01 protobuf-2.5.0]# make check

[root@hadoopMaster01 protobuf-2.5.0]# make install

使用 protoc --version 命令进行验证,如图所示表示安装配置成功

安装 依赖包

安装 cmake,openssl-devel,ncurses-devel  依赖包(root  用户且能够连上互联网)

[root@hadoopMaster01 ~]# yum install cmake

如下图表示安装成功

[root@hadoopMaster01 ~]# yum install openssl-devel

如下图表示安装成功

[root@hadoopMaster01 ~]# yum install ncurses-devel

如下图表示依赖包系统中已经安装并且为最新版本

编译 64  位本地库

进入已压解的 hadoop 源码目录

[grid@hadoopMaster01 ~]$ cd hadoop-2.4.0-src

[grid@hadoopMaster01 hadoop-2.4.0-src]$ pwd

/home/grid/hadoop-2.4.0-src

执行 mvn clean install -DskipTests 命令,等待完成(会自动联网下载很多东西)

[grid@hadoopMaster01 hadoop-2.4.0-src]$ mvn clean install -DskipTests

执行 mvn package -Pdist,native -DskipTests -Dtar 命令,开始编译,等待完成

grid@hadoopMaster01 hadoop-2.4.0-src]$ mvn package -Pdist,native -DskipTests -Dtar

出现如下信息

[INFO] ------------------------------------------------------------------------

[INFO] Reactor Summary:

[INFO]

[INFO] Apache Hadoop Main ................................ SUCCESS[6.304s]

[INFO] Apache Hadoop Project POM ......................... SUCCESS [26.555s]

[INFO] Apache Hadoop Annotations ......................... SUCCESS[2.757s]

[INFO] Apache Hadoop Assemblies .......................... SUCCESS [0.216s]

[INFO] Apache Hadoop Project Dist POM .................... SUCCESS [19.592s]

[INFO] Apache Hadoop Maven Plugins ....................... SUCCESS [2.715s]

[INFO] Apache Hadoop MiniKDC ............................. SUCCESS [2.360s]

[INFO] Apache Hadoop Auth ................................ SUCCESS [2.950s]

[INFO] Apache Hadoop Auth Examples ....................... SUCCESS[2.119s]

[INFO] Apache Hadoop Common .............................. SUCCESS [1:22.302s]

[INFO] Apache Hadoop NFS ................................. SUCCESS [5.095s]

[INFO] Apache Hadoop Common Project...................... SUCCESS [0.026s]

[INFO] Apache Hadoop HDFS ................................ SUCCESS [2:06.178s]

[INFO] Apache Hadoop HttpFS .............................. SUCCESS [1:09.142s]

[INFO] Apache Hadoop HDFS BookKeeper Journal ............. SUCCESS [14.457s]

[INFO] Apache Hadoop HDFS-NFS ............................SUCCESS [2.859s]

[INFO] Apache Hadoop HDFS Project ........................ SUCCESS [0.030s]

[INFO] hadoop-yarn ....................................... SUCCESS [0.029s]

[INFO] hadoop-yarn-api ................................... SUCCESS [59.010s]

[INFO] hadoop-yarn-common ................................ SUCCESS [20.743s]

[INFO] hadoop-yarn-server ................................ SUCCESS[0.026s]

[INFO] hadoop-yarn-server-common ......................... SUCCESS [7.344s]

[INFO] hadoop-yarn-server-nodemanager .................... SUCCESS [11.726s]

[INFO] hadoop-yarn-server-web-proxy ...................... SUCCESS [2.508s]

[INFO] hadoop-yarn-server-applicationhistoryservice ...... SUCCESS [4.041s]

[INFO] hadoop-yarn-server-resourcemanager ................ SUCCESS [10.370s]

[INFO] hadoop-yarn-server-tests .......................... SUCCESS [0.374s]

[INFO] hadoop-yarn-client ................................ SUCCESS [4.791s]

[INFO] hadoop-yarn-applications .......................... SUCCESS [0.025s]

[INFO] hadoop-yarn-applications-distributedshell ......... SUCCESS [2.242s]

[INFO] hadoop-yarn-applications-unmanaged-am-launcher .... SUCCESS [1.553s]

[INFO] hadoop-yarn-site .................................. SUCCESS [0.024s]

[INFO] hadoop-yarn-project ............................... SUCCESS [3.261s]

[INFO] hadoop-mapreduce-client ........................... SUCCESS [0.082s]

[INFO] hadoop-mapreduce-client-core ...................... SUCCESS [18.549s]

[INFO] hadoop-mapreduce-client-common .................... SUCCESS [13.772s]

[INFO] hadoop-mapreduce-client-shuffle ................... SUCCESS [2.441s]

[INFO] hadoop-mapreduce-client-app ....................... SUCCESS [6.866s]

[INFO] hadoop-mapreduce-client-hs ........................ SUCCESS [6.280s]

[INFO] hadoop-mapreduce-client-jobclient .................SUCCESS [3.510s]

[INFO] hadoop-mapreduce-client-hs-plugins ................ SUCCESS [1.725s]

[INFO] Apache Hadoop MapReduce Examples .................. SUCCESS [4.641s]

[INFO] hadoop-mapreduce .................................. SUCCESS[3.002s]

[INFO] Apache Hadoop MapReduce Streaming ................. SUCCESS [3.497s]

[INFO] Apache Hadoop Distributed Copy .................... SUCCESS [5.847s]

[INFO] Apache Hadoop Archives ............................ SUCCESS [1.791s]

[INFO] Apache Hadoop Rumen ............................... SUCCESS [4.693s]

[INFO] Apache Hadoop Gridmix ............................. SUCCESS [3.235s]

[INFO] Apache Hadoop Data Join........................... SUCCESS [2.349s]

[INFO] Apache Hadoop Extras .............................. SUCCESS [2.488s]

[INFO] Apache Hadoop Pipes ............................... SUCCESS [5.863s]

[INFO] Apache Hadoop OpenStack support ................... SUCCESS [3.776s]

[INFO] Apache Hadoop Client .............................. SUCCESS [5.235s]

[INFO] Apache Hadoop Mini-Cluster ........................ SUCCESS [0.070s]

[INFO] Apache Hadoop Scheduler Load Simulator ............ SUCCESS [3.935s]

[INFO] Apache Hadoop Tools Dist .......................... SUCCESS [4.392s]

[INFO] Apache Hadoop Tools ............................... SUCCESS [0.022s]

[INFO] Apache Hadoop Distribution ........................ SUCCESS [21.274s]

[INFO] ------------------------------------------------------------------------

[INFO] BUILD SUCCESS

[INFO] ------------------------------------------------------------------------

[INFO] Total time: 10:25.147s

[INFO] Finished at: Mon Jul 28 16:09:56 CST 2014

[INFO] Final Memory: 75M/241M

[INFO] ------------------------------------------------------------------------

表示编译成功

进入/home/grid/hadoop-2.4.0-src/hadoop-dist/target/hadoop-2.4.0/lib/native 检查,使用 file *命

令,如下图已经成功将编译 64 本地库

将 64 位的 native 文件夹替换原 32 位的文件夹即可

Hadoop的编译的更多相关文章

  1. Ubuntu 14.10 下Hadoop代码编译问题总结

    问题1  protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionExceptio ...

  2. 在Ubuntu 64位OS上运行hadoop2.2.0[重新编译hadoop]

    最近在学习搭建Hadoop, 我们从Apache官方网站直接下载最新版本Hadoop2.2.官方目前是提供了linux32位系统可执行文件,结果运行时发现提示 “libhadoop.so.1.0.0 ...

  3. [大牛翻译系列]Hadoop(20)附录A.10 压缩格式LZOP编译安装配置

    附录A.10 LZOP LZOP是一种压缩解码器,在MapReduce中可以支持可分块的压缩.第5章中有一节介绍了如何应用LZOP.在这一节中,将介绍如何编译LZOP,在集群做相应配置. A.10.1 ...

  4. Hadoop 2.6.0编译on mac

    花了一个晚上的时间弄了下hadoop的编译环境,碰到些错误,这里保存下. 需要编译Hadoop,不但需要安装Maven,还需要安装protobuf 安装Maven 下载:apache-maven-3. ...

  5. 64位CentOS上编译 Hadoop 2.2.0

    下载了Hadoop预编译好的二进制包,hadoop-2.2.0.tar.gz,启动起来后.总是出现这样的警告: WARN util.NativeCodeLoader: Unable to load n ...

  6. [Hadoop] - Hadoop3.0.x编译

    这里仅介绍一种Hadoop3.0.x版本的源码编译方式 编译过程 1. 下载源码 2. 安装依赖环境 3. 源码编译 ========================================= ...

  7. Hadoop编译方法

    伪分布式: hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml 1.在hadoop官网下载hadoop的源码(同步跟踪最新源代码) mv ...

  8. CentOS7 下编译 Hadoop

    准备工作 下载 Hadoop 源码 Source (当前最新 2.9.2) https://hadoop.apache.org/releases.html 打开压缩包会看到 BUILDING.txt ...

  9. [hadoop] hadoop native libraries 编译

    安装hadoop启动之后总有警告:Unable to load native-hadoop library for your platform... using builtin-Javaclasses ...

随机推荐

  1. 新手介绍简单一下iOS开发中几种界面传值

    首先在处理iOS-UI中,也许在很多地方需要用到两种甚至多种不同界面之间的传值,相比这也是很多iOS入门成员头疼问题,同样作为新手的我在接触这类传值时候也一脸懵然,经过一段时间的研究,对于简单的传值有 ...

  2. RabbitMQ基础

    上一博客把RabbitMQ的安装配置介绍了下,今天主要是介绍下RabbitMQ的一些基础名词. 一.什么是RabbitMQ?用它能做什么? 1.简介 AMQP,即Advanced Message Qu ...

  3. Linux基础网络搭建实验

    一.实验目标 利用3台虚拟机,搭建vmnet2和vmnet3两个host-only网络,实现两个网络的互联 二.实验环境   内网 外网 网关 IP 192.168.0.10/24 202.3.4.1 ...

  4. 再议Unity优化

    0x00 前言 在很长一段时间里,Unity项目的开发者的优化指南上基本都会有一条关于使用GetCompnent方法获取组件的条目(例如14年我的这篇博客<深入浅出聊Unity3D项目优化:从D ...

  5. 转载: RAID详解[RAID0/RAID1/RAID10/RAID5]

    一.RAID定义 RAID(Redundant Array of Independent Disk 独立冗余磁盘阵列)技术是加州大学伯克利分校1987年提出,最初是为了组合小的廉价磁盘来代替大的昂贵磁 ...

  6. js事件触发(一)

    今日和一位前端童鞋聊了下js触发事件的两种形式: 第一种在jsp/vm上做类似onClick=functionName()的触发:另一种是在js文件中增加对应节点的监听事件触发.前者页面掺杂了js的内 ...

  7. mysql varchar类型转换int类型找出最大值

    (1) 不严谨的,最简单的 select MAX(字段名 + 0) from 表名; (2) 使用函数实现 select MAX(cast(字段名 as SIGNED INTEGER)) from 表 ...

  8. ZED 相机 && ORB-SLAM2安装环境配置与ROS下的调试

    注:1. 对某些地方进行了更新(红色标注),以方便进行配置. 2. ZED ROS Wrapper官方github已经更新,根据描述新的Wrapper可能已经不适用与Ros Indigo了,如果大家想 ...

  9. Unity之2D Sprite Outline外轮廓效果

    操作系统:Windows8.1 显卡:Nivida GTX965M 开发工具:Unity5.3.8f1 Unity提供了2D Object Sprite对象,但是没有提供外轮廓Outline效果的支持 ...

  10. Unity使用Mono.Xml代替System.Xml 测试

    测试环境 操作系统:Windows8.1 开发工具:Unity5.5.2 1.新建一个测试项目,观测引用System.Xml与Mono.Xml解析文件正确性,与打包后APK体积大小. 2.Mono.X ...