linux下hadoop2.6.1源码64位的编译
linux下hadoop2.6.1源码64位的编译
一、 前言
Apache官网上提供的hadoop本地库是32位的,如果我们的Linux服务器是64位的话,就会现问题。我们在64位服务器执行Hadoop命令时,则会报以下错误:
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
为了解决上述问题,我们就需要自己编译一个64位的hadoop版本。
二、编译hadoop2.6.1需要的软件
jdk 1.7
gcc 4.4.5
maven 3.3.3
protobuf 2.5.0
cmake 2.8.12.2
ant 1.9.6
finbugs(可选择)
注意:
1)在百度中搜索各个软件的名称,最好到官网上下载,下载软件一定注意软件的版本。
2)finbugs不是编译所必须的软件,可以不下载。
三、编译软件的安装
1.jdk的安装
- 解压 tar -zxvf jdk-7u79-linux-x64.tar.gz
- 配置环境变量,编辑/etc/profile文件
- export JAVA_HOME=/opt/jdk1.7.0_25
- export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
- export PATH=$PATH:$JAVA_HOME/bin
- source /etc/profile 刷新修改的环境变量
- java -version 检查jdk是否安装成功。有以下版本号输出即为成功。
2.gcc的安装
一般linux上会自带了gcc的安装,所以在安装以前,先检查一下服务器上是否已经安装了gcc。
输入:gcc -v
如果有以下输出,则这说明已经安装了gcc
如机器上没有安装gcc,请自行安装
3.maven的安装
- 解压tar -zxvf apache-maven-3.3.3-bin.tar.gz
- 配置环境变量,编辑/etc/profile
- export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin
- source /etc/profile 刷新修改的环境变量
- mvn -version 检查maven是否安装成功。有以下版本号输出即为成功。
4.protobuf的安装
- 解压tar -zxvf protobuf-2.5.0.tar.gz
- 进入protobuf的解压目录。如:cd /opt/protobuf-2.5.0/
- 在安装目录下,执行以下命令:
- ./ configure
- make
- make check
- make install
- protoc --version(注意命令中是两个-) 检查protoc是否安装成功。有版本号输出即为成功。
5.cmake的安装
- tar -zxvf cmake-2.8.12.2.tar.gz
- 进入cmake的解压目录。如:cd /opt/cmake-2.8.12.2/
- 在安装目录下,执行以下命令:
- ./ bootstrap
- make
- make install
- cmake -version 检查cmake是否安装成功。有版本号输出即为成功。
6.ant的安装
- 解压tar -zxvf apache-ant-1.9.6-bin.tar.gz
- 编辑环境变量,编辑/etc/profile
- export ANT_HOME=/opt/apache-ant-1.9.6
- export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin:$ANT_HOME/bin
- source /etc/profile 刷新修改的环境变量
- ant -version检查ant是否安装成功。有以下版本号输出即为成功。
7.安装必要的包
- 安装 autotool
- 执行命令:yum install autoconf automake libtool
- 安装 openssl-devel
- 执行命令:yum install openssl-devel
四、编译hadoop2.6.1
- 在Apache官网上,下载hadoop-2.6.1的源码包hadoop-2.6.1-src.tar.gz。
- 解压源码包tar -zxvf hadoop-2.6.1-src.tar.gz
- 进入hadoop-2.6.1-src解压目录。cd /opt/hadoop-2.6.1-src/
- 执行命令mvn clean package -Pdist,native -DskipTests -Dtar 进行编译。
- 编译过程中,需要下载很多包,等待时间比较长。当看到hadoop各个项目都编译成功,即出现一系列的SUCCESS之后,即为编译成功。
- 编译好的安装包hadoop-2.6.1.tar.gz,可以在文件目录hadoop-2.6.1-src/hadoop-dist/target/下找到。
五、注意事项
编译过程中需要下载安装包,有时候可能由于网络的原因,导致安装包下载不完整,而出现编译错误。
错误1:
Remote host closed connection during handshake: SSL peer shut down incorrectly.......
解决方案:需要重新新多编译几次即可通过。
错误2:
A required class was missing while executing XXXXXX,
[ERROR] strategy = org.codehaus.plexus.classworlds.strategy.SelfFirstStrategy
[ERROR]urls[0] =file:/root/.m2/repository/org/codehaus/mojo/jspc/jspc-maven-plugin/2.0-alpha-3/jspc-maven-plugin-2.0-alpha-3.jar
[ERROR]urls[1]=file:/root/.m2/repository/org/codehaus/mojo/jspc/jspc-compiler-tomcat5/2.0-alpha-3/jspc-compiler-tomcat5-2.0-alpha-3.jar [ERROR]urls[2]=file:/root/.m2/repository/tomcat/jasper-compiler/5.5.15/jasper-compiler-5.5.15.jar
[ERROR]urls[3]=file:/root/.m2/repository/javax/servlet/jsp-api/2.0/jsp-api-2.0.jar
[ERROR]urls[4]=file:/root/.m2/repository/ant/ant/1.6.5/ant-1.6.5.jar
[ERROR]urls[5]=file:/root/.m2/repository/tomcat/jasper-compiler-jdt/5.5.15/jasper-compiler-jdt-5.5.15.jar
........................
解决方案:则需要根据错误的提示,到相应目录下找到包,把包删除,然后再次重新编译。
linux下hadoop2.6.1源码64位的编译的更多相关文章
- linux下MySQL 5.6源码安装
linux下MySQL 5.6源码安装 1.下载:当前mysql版本到了5.6.20 http://dev.mysql.com/downloads/mysql 选择Source Code 2.必要软件 ...
- Linux下USB suspend/resume源码分析【转】
转自:http://blog.csdn.net/aaronychen/article/details/3928479 Linux下USB suspend/resume源码分析 Author:aaron ...
- 如何找到Linux下常用命令的源码
Linux系统,常用命令的来源很多,有些命令是shell自带的,比如cd,通过执行help命令,可以查看当前系统所有的内置命令. 用type <cmd_name>来查看一个命令是否为内置命 ...
- linux下PostgreSQL数据库的源码安装
实验环境>>>>>>>>>>>>>>>>>>操作系统:CentOS release 6.3 ...
- 【SystemTap】 Linux下安装使用SystemTap源码安装SystemTap
转自 http://blog.csdn.net/zklth/article/details/6248558 文章 http://blog.csdn.net/zklth/archive/2010/09/ ...
- linux下cmake安装mysql 源码
1.假设已经有mysql-5.6.21.tar.gz以及cmake-2.8.4.tar.gz两个源文件 (1)先安装cmake(mysql5.5以后是通过cmake来编译的) [root@ rhel5 ...
- 自己动手编译hadoop-2.5.2源码
搭建环境:Centos x 6.5 64bit (后来:我才知道原来官网上发布的就是64位的,不过这个对我来说是个学习过程,对以后进行其他平台编译的时候有帮助!) 1.安装JDK 我这里用的是64位 ...
- 使用Maven将Hadoop2.2.0源码编译成Eclipse项目
编译环境: OS:RHEL 6.3 x64 Maven:3.2.1 Eclipse:Juno SR2 Linux x64 libprotoc:2.5.0 JDK:1.7.0_51 x64 步骤: 1. ...
- Android拓展系列(11)--打造Windows下便携的Android源码阅读环境
因为EXT和NTFS格式的差异,我一直对于windows下阅读Android源码感到不满. 前几天,想把最新的android5.0的源码下下来研究一下,而平时日常使用的又是windows环境,于是专门 ...
随机推荐
- 解决sublime代码不提示的问题
如果想让sublime在你输入标签的过程中给你提示,需要按要求开启以下功能. 1.开启代码自动提示功能
- 接口里的default,static方法
我们都知道接口里的变量默认隐含类型是public static final,也是就是说是常量.而方法默认类型是public abstract,所以接口的方法都是抽象方法,但是事实真的是这样吗? 我的P ...
- cell重用
少数几个cell可不重用 NSString *CellIdentifier = [NSString stringWithFormat:@"MyCellID_%d",indexPat ...
- Shell数组以及排序算法(冒泡、直接选择、反转)
Shell数组以及排序算法(冒泡.直接选择.反转) 目录 Shell数组以及排序算法(冒泡.直接选择.反转) 一.数组概述 1. 数组的定义 2. 下标的定义 3. 数组的特点 4. 数组定义的方法 ...
- Spring系列12: `@Value` `@Resource` `@PostConstruct` `@PreDestroy` 详解
本文内容 @Resource实现依赖注入 @Value详细使用 @PostConstruct @PreDestroy的使用 @Resource实现依赖注入 前面章节介绍了使用@Autowired注入依 ...
- python内置模块之re模块
内容概要 re模块常用方法 findall search match re模块其他方法 split sub subn compile finditer findall 对无名分组优先展示 re实战之爬 ...
- 布尔值与比较运算符"=="
$man = "男";$flag = $man == "男"; //双等号是比较运算符,返回布尔值,成立则返1赋给$flag 不成立返回0,0即为nullech ...
- 使用docker部署awx-1.7.1.0(ansible图形化界面)
文章目录 关于环境 下载awx 下载安装所需依赖 安装docker-compose 配置inventory文件 出现的报错 TASK [local_docker : Run migrations in ...
- 打造一款属于自己的CentOS操作系统
文章目录 声明 关闭selinux以及firewalld 修改终端前缀显示 修改默认网卡名称为eth0 替换yum源 安装常用工具 优化history 配置回收站 迎宾显示 优化vim 清空yum缓存 ...
- MyBatis功能点一应用:二级缓存整合redis
Mybatis提供了默认的cache实现PerpetualCache,那为什么还要整合第三方的框架redis?因为Mybatis提供的cache实现为单机版,无法实现分布式存储(即本机存储的数据,其他 ...