hadoop编译
说明:
hadoop版本:hadoop-2.5.0-cdh5.3.6
环境:centos6.4
必须可联网
hadoop 下载网址: http://archive.cloudera.com/cdh5/cdh/5/
其实编译还真就是体力活,按照官方的说明,一步步往下做就可以了,不过总会遇到坑。。
编译步骤:
1、下载源码,解压,本例中解压到 /opt/softwares下:
命令: tar -zxvf hadoop-2.5.0-cdh5.3.6-src.tar.gz -C /opt/softwares
2、进入到解压后的目录,有BUILDING.txt,查看:
命令: cd /opt/softwares/hadoop-2.5.0-cdh5.3.6
cat BUILDING.txt
文档里对编译事项进行了说明,如下图:
要编译hadoop,系统上必须要装这些软件。
(1)系统为linux,已符合条件
(2)JDK版本1.6以上:
本机装JDK1.7.0_67,配置好环境变量。在装JDK之前,建议大家首先看一下系统上有没有装,如果有装,低于1.6版本,最好先把之前的卸载掉再装。
装完之后,配置好环境变量,一定要用 java -version 查看一下是不是对应的版本号。
这里有个坑,如果你之前的版本没有卸载掉,低于1.6版本,那么编译的时候会默认之前的版本,然后就~~~你懂得。。。
(3)安装maven,本机安装maven3.0.5,,官网下载地址:https://archive.apache.org/dist/maven/maven-3/
装完之后,配置环境变量(参考官方说明)
(4)findbugs 这个我没有装,主要是查找bug用的。非必须的。
(5)protocolBuffer ,protoc buffer是hadoop的通信工具。
建议大家环境准备的差不多了,最后再装这个,后面会给出具体说明步骤
(6)安装cmake:
命令:yum install autoconf automake libtool cmake
显示complete即安装完成(下同,不再贴图)
(7)安装 zlib devel :很多系统都已经自带了。
命令:yum install zlib devel
(8)安装ncurses-devel
命令:yum install ncurses-devel
(9)安装openssl-devel
命令:yum install openssl-devel
(10)最后,一定要安装gcc相关组件
命令:yum install gcc*
(11)现在回头来看protobuf的安装:
下载protobuf-2.5.0.tar.gz: http://pan.baidu.com/s/1pJlZubT (这不是我的,参考网址:http://www.tuicool.com/articles/jM7Nn2/)
解压 tar -zxvf protobuf-2.5.0.tar.gz
进入到解压目录 protobuf-2.5.0:
(1)执行 ./configure
(2)执行 make
(3)执行 make check
(4)执行make install
完毕后,输入protoc –version,若返回如下结果,则安装成功:
到此,环境就准备的差不多了。
现在开始编译源码:
回头看BUILDING.txt,编译的命令:
既然编译了,那肯定是需要native本地库的。文档的话,没必要用(坑:最初几次编译,我都用了这个命令,mvn package -Pdist,native,docs -DskipTests -Dtar
一直不成功,都出错在同一个问题上,至今不知怎么解决。docs不用生成,没什么作用。改成mvn package -Pdist,native -DskipTests -Dtar,果然编译成功。
)
进入hadoop-2.5.0-cdh5.3.6目录,执行命令:
mvn package -Pdist,native -DskipTests -Dtar
等待编译成功。
这里说下编译的过程中出现的问题,主要就是下面图中所展示的问题:
一般出现这个问题,可能是由于网络原因,第一次没有下载成功,第二次继续下载,引起冲突。解决方法是,到maven
本地库中删掉这个jar包,重新运行命令编译。编译过程中,由于网络不佳,我这里出现了三次类似的问题,都是同样的方法解决的。
编译成功之后(差不多就是下面的图示O(∩_∩)O),
进入到hadoop-2.5.0-cdh5.3.6/hadoop-dist/target,可以看到编译好的hadoop.如果你之前就装了此版本的hadoop,只不过没有编译,会出现加载不了本地库的警告,那么可以进入到target/hadoop-2.5.0-cdh5.3.6/lib中,拷贝native放在你原来的hadoop对应的lib下,就不会再出现警告。
hadoop编译的更多相关文章
- Hadoop编译源码
Hadoop编译源码 克隆一个虚拟机 然后一步一步安装就行 安装所需:链接: https://pan.baidu.com/s/1jIZlQmi 密码: gggv 5.1 前期准备工作 1)CentOS ...
- Hadoop编译打包记录
Hadoop编译打包,基于2.7.2版本的源码. # 打包过程中需要使用到的工具 java -version mvn -version ant -version type protoc type cm ...
- Spark入门实战系列--2.Spark编译与部署(中)--Hadoop编译安装
[注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .编译Hadooop 1.1 搭建环境 1.1.1 安装并设置maven 1. 下载mave ...
- hadoop2.2.0 单机伪分布式(含64位hadoop编译) 及 eclipse hadoop开发环境搭建
hadoop中文镜像地址:http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.2.0/ 第一步,下载 wget 'http://archive ...
- Hadoop编译方法
伪分布式: hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml 1.在hadoop官网下载hadoop的源码(同步跟踪最新源代码) mv ...
- CentOS中用Nexus搭建maven私服,为Hadoop编译提供本地镜像
系统: CentOS release 6.6 (Final) Nexus:nexus-2.8.1-bundle.tar.gz,下载地址:https://sonatype-download.global ...
- Hadoop编译安装
本文转载自:http://www.cnblogs.com/shishanyuan/p/4701646.html 1.编译Hadooop 1.1 搭建环境 1.1.1 安装并设置maven 1. 下载m ...
- hadoop 编译代码及运行
搞定了hadoop配置之后,可以写代码运行了,首先要配一下CLASS_PATH,修改/etc/profile export JAVA_HOME=/usr/lib/jvm/java--openjdk-i ...
- [raspberry pi3] hadoop 编译搭建和配置
Causion: 只有一个raspberry pi3的就随便玩玩吧,瓶颈不在在cpu, 1 G的内存实在是太少了,跑个hadoop就很辛苦了 下面是瞎折腾的过程: oracle的arm jdk的安装过 ...
随机推荐
- ucos调度器详解
这一片谈谈关于ucos调度器的相关知识. ucos的调度器的实现主要靠一个函数OS_Sched 该函数将调度器的行为分为了两个部分,第一是调度部分,第二是任务切换部分,如下 void OS_Sche ...
- stm32驱动DS1302芯片
天时可以自动调整,且具有闰年补偿功能.工作电压宽达2.5-5.5V.采用双电源供电(主电源和备用电源),可设置备用电源充电方式,提供了对后背电源进行涓细电流充电的能力.DS1302的外部引脚分配如下图 ...
- zend framework 1.10项目配置与经典hello world
准备工作 前置条件:PHP>=5.14,Apache开启mod_rewrite支持,开启php的pdo扩展. Zend Framework 要求 PHP版本不低于5.1.4,但强烈建议使用 5. ...
- iOS 参考 网络书籍
网络图书: Xcode中的Project和Target: http://book.51cto.com/art/201307/402283.htm
- C#通过socket判断FTP服务器是否通畅并判断用户名密码是否正确
private static ManualResetEvent timeoutObject; private static Socket socket = null; private static b ...
- iOS 之 设置横竖屏及ViewWillAppear及视图与导航控制器嵌套时的不同反应
设置横竖屏不成功,可能跟所在导航控制器有关 视图没有导航控制器时,又有可能不调用ViewWillAppear,这是我遇到的问题.
- CentOS Linux解决 Device eth0 does not seem to be present
通过OVF部署Linux主机后提示 ringing up interface eth0: Device eth0 does not seem to be present,delaying initi ...
- 浅谈Java分页技术
话不多言.我们要实现java分页技术,我们首先就需要定义四个变量,他们是: int pageSize;//每页显示多少条记录 int pageNow;//希望现实第几页 int pageCount; ...
- 【WebService】WebService学习笔记
WebService三要素 WebService三要素SOAP(Simple Object Access Protocol).WSDL(WebServicesDescriptionLanguage). ...
- 查看Eclipse版本号,及各个版本区别
查看Eclipse版本号,及各个版本区别 参考:http://blog.csdn.net/gaojinshan/article/details/38903043 查看Eclipse版本号的方法:1.找 ...