Hadoop2.4.0  重新编译 64  位本地库 原创作者:大鹏鸟 时间:2014-07-28 环境:虚拟机 VirtualBox,操作系统 64 位 CentOS 6.4 下载重新编译需要的软件包 apache-ant-1.9.4-bin.tar.gz findbugs-3.0.0.tar.gz protobuf-2.5.0.tar.gz apache-maven-3.0.5-bin.tar.gz 下载 hadoop2.4.0 的源码包 hadoop-2.4.0-src.tar.gz 压解…

问题1  protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: 'protoc --version' did not return a version 这个问题是因为protoc配置不太对,在网上看了很多都说Protobuf没安装,但是我安装了,protoc --version 可以显示版本2.5.0,但是还是包这个错,试着重新按下,之后这个错不报了 1…

最近在学习搭建Hadoop, 我们从Apache官方网站直接下载最新版本Hadoop2.2.官方目前是提供了linux32位系统可执行文件,结果运行时发现提示 “libhadoop.so.1.0.0 which might have disabled stack guard” 的警告. Google了一下发现是因为 hadoop 2.2.0提供的是libhadoop.so库是32位的,而我们的机器是64位. 解决的办法就是重新在64位的机器上编译hadoop. 编译环境 OS: Ubuntu 1…

附录A.10 LZOP LZOP是一种压缩解码器,在MapReduce中可以支持可分块的压缩.第5章中有一节介绍了如何应用LZOP.在这一节中,将介绍如何编译LZOP,在集群做相应配置. A.10.1 获得更多的信息 表A.12 有用的资源 描述 URL地址 Twitter有关于LZOP的博客文章,包括一些统计信息和安装指南 http://bit.ly/dfEvGn Todd Lipcon的LZO GitHub库.  https://github.com/toddlipcon/hadoop-lz…

花了一个晚上的时间弄了下hadoop的编译环境,碰到些错误,这里保存下. 需要编译Hadoop,不但需要安装Maven,还需要安装protobuf 安装Maven 下载:apache-maven-3.0.5-bin.tar.gz 解压:tar -zxvf apache-maven-3.0.5-bin.tar.gz 设置环境变量,打开/etc/profile文件,添加 export MAVEN_HOME=/opt/apache-maven-3.0.5 export PATH=$PATH:$MAVE…

下载了Hadoop预编译好的二进制包,hadoop-2.2.0.tar.gz,启动起来后.总是出现这样的警告: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因是apache官网提供的二进制包,里面的native库.是32位的,坑跌啊,如今server谁还有32位的啊. $ file…

这里仅介绍一种Hadoop3.0.x版本的源码编译方式 编译过程 1. 下载源码 2. 安装依赖环境 3. 源码编译 ============================================= 一.下载源码 直接从apache的归档网站中下载对应版本的源码,比如需要下载的hadoop-3.0.0-alpha2的地址为http://archive.apache.org/dist/hadoop/core/hadoop-3.0.0-alpha2/; 直接下载源码包:hadoop-3.0…

伪分布式: hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml 1.在hadoop官网下载hadoop的源码(同步跟踪最新源代码) mvn checkout http://svn.apache.org/repos/asf/hadoop/common/trunk/ hadoop-trunk hadoop-trunk目录下即就是下载的源码 2. 源码版本和安装的版本应该会不一样,因此先使用默认的hadoop单机配置下.因此引进的是jav…

准备工作 下载 Hadoop 源码 Source (当前最新 2.9.2) https://hadoop.apache.org/releases.html 打开压缩包会看到 BUILDING.txt 文件,这是官方提供的编译说明,参看 Linux 部分 Requirements: * Unix System * JDK 1.7 or 1.8 * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs) * ProtocolBuffer 2…

安装hadoop启动之后总有警告:Unable to load native-hadoop library for your platform... using builtin-Javaclasses where applicable 原因:Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题,因此需要自己编译64位的版本. 解决方法: 一. 去网站:http://dl.bintray.com/sequenceiq/sequenceiq-bin/  下载对应的编译版本,…

1. 前言 Hadoop-2.4.0的源码目录下有个BUILDING.txt文件,它介绍了如何在Linux和Windows下编译源代码,本文基本是遵照BUILDING.txt指示来操作的,这里再做一下简单的提炼.第一次编译要求能够访问互联网,Hadoop的编译依赖非常多的东西,一定要保证机器可访问互联网,否则难逐一解决所有的编译问题,但第一次之后的编译则不用再下载了.如不能上网可以参考:虚拟机三种网络模式该如何上网指导2. 安装依赖在编译Hadoop 2.4.0源码之前,需要将下列几个依赖的东西…

Hadoop 3.2.1 win10 64位系统 vs2015 编译 1        环境配置 1.1   JDK下载安装 1.1.1         下载 JDK 1.8    (jdk1.8.0_102)    下载地址    : http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html(按照电脑版本下载安装) 1.1.2         安装 解压到指定文件夹 (1) 安装JDK…

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 hadoop的编译和安装是直接在一台机器上搞得,姑且nn1机器. 全程切换到root用户下操作 1.hadoop的一些资源在这里:https://www.lanzous.com/b849710/   密码:9vui [hadoop@nn1 zk_op]$ su - roo…

原文:http://www.cnblogs.com/qigang/p/4194728.html 一.准备的资料 64位linux系统.我使用的是 CentOS JDK 1.7+.注:使用1.7即可,如果是1.8则会编译失败,1.6没有试过,看网上大牛的帖子说也能过 maven-3.2.5. 这是apache的一个产品,hadoop的编译要就是3.0以上 protobuf 注:谷歌的产品,最好是提前百度准备一下这个文件 hadoop-2.5.2-src 这个可以到Apache的官网上去下载 ant…

1)安装Ubuntu或其他Linux系统: a)为减少错误,集群中的主机最好安装同一版本的Linux系统,我的是Ubuntu12.04. b)每个主机的登陆用户名也最好都一样,比如都是hadoop,不然到最后启动hadoop时会出现不管你密码是否输入正确,都会提示权限不够的错误,如果你之前装系统时没注意到这个问题,可以之后在每个主机上都新建一个用户hadoop来实现,命令如下:    增加hadoop用户:sudo  adduser hadoop 把新加的hadoop用户,添加到admin组中,…

在eclipse下编译hadoop2.0源码 http://www.cnblogs.com/meibenjin/archive/2013/07/05/3172889.html hadoop cdh4编译 http://mopishv0.blog.163.com/blog/static/5445593220131253813806/  为eclipse安装maven插件 http://www.huqiwen.com/2012/04/26/eclipse-install-maven-plugin/ …

以下是进行单节点Hadoop配置的内容,多节点也类似 1. 进行Hadoop的安装 1.1 上文进行了Hadoop的编译,将编译结果目录 hadoop-2.2.0 拷贝为 /usr/hadoop 目录 1.2 编辑/etc/profile 文件,增加如下的内容 export HADOOP_PREFIX=/usr/hadoop export PATH=$PATH:$HADOOP_PREFIX/bin export PATH=$PATH:$HADOOP_PREFIX/sbin export HADO…

在 Windows 上安装 Hadoop 教程 一见 2010.1.6 www.hadoopor.com/hadoopor@foxmail.com 1. 安装 JDK 不建议只安装 JRE,而是建议直接安装 JDK,因为安装 JDK 时,可以同时安装 JRE. MapReduce 程序的编写和 Hadoop 的编译都依赖于 JDK,光 JRE 是不够的. JRE 下载地址:http://www.java.com/zh_CN/download/manual.jsp JDK 下载地址:http://…

http://blog.csdn.net/pipisorry/article/details/51623195 因为lz的linux系统已经安装好了很多开发环境,可能下面的步骤有遗漏. 之前是在docker中配置的hadoop单机伪分布式[Hadoop:Hadoop单机伪分布式的安装和配置 ],并且在docker只有root用户,所有没有权限问题存在. 这里直接在linux下配置,主要是为了能用netbeans ide调试hadoop程序,并且使用的用户就是开机时登录的用户pika. 本教程配置…

Linux环境下Hadoop集群搭建 前言: 最近来到了武汉大学,在这里开始了我的研究生生涯.昨天通过学长们的耐心培训,了解了Hadoop,Hdfs,Hive,Hbase,MangoDB等等相关的知识.虽然只是简单的介绍了相关的概念,但对于我来说像是打开了一个新的大门.当然,巧妇难为无米之炊,要想能够使用这些技术,首先要能够把相应的环境搭建起来.因此,在这里我将自己搭建Hadoop集群环境的步骤记录下来,以防止自己以后会忘记. 搭建前所需要的准备: 1.JDK(在这里我使用的是jdk1.8.0_…

问题导读: 1.编译源码前需要安装哪些软件? 2.安装之后该如何设置环境变量? 3.为什么不要使用JDK1.8? 4.mvn package -Pdist -DskipTests -Dtar的作用是什么? 1. 前言 Hadoop-2.4.0的源码目录下有个BUILDING.txt文件,它介绍了如何在Linux和Windows下编译源代码,本文基本是遵照BUILDING.txt指示来操作的,这里再做一下简单的提炼. 第一次编译要求能够访问互联网,Hadoop的编译依赖非常多的东西,一定要保证机器…

前言:由于官网提供的64位hadoop是没有编译的,所以当我们用到64位的hadoop时,需要在自己的64位linux系统上编译hadoop源码.另外,要想在eclipse里查看hadoop源码,修改源码等,也要进行编译.现在把两者编译的方法列在下面,其中准备阶段是共同的,都必须做. 环境:Ubuntu12.0464位系统,hadoop-2.5.2-src.tar.gz,JDK1.7(1.8的JDK不行) 准备: 1.安装G++,CMake和zlib1g-dev,其中G++是必安装的,而CMak…

原文连接 http://xiguada.org/carbondata_compile/ CarbonData是啥? CarbonData is a fully indexed columnar and Hadoop native data-store for processing heavy analytical workloads and detailed queries on big data. In customer benchmarks, CarbonData has proven to…

目录 目录 1 1. 前言 1 2. 安装依赖 1 2.1. 安装ProtocolBuffer 2 2.2. 安装CMake 2 2.3. 安装JDK 2 2.4. 安装Maven 3 3. 编译Hadoop源代码 3 附1:无联网环境编译 5 附2编译环境 6 附3:版本信息 6 附4:常见错误 6 1) unexpected end tag: </ul> 6 附5:相关文档 7 1. 前言 Hadoop-2.4.0的源码目录下有个BUILDING.txt文件,它介绍了如何在Linux和Wi…

本文主要以个人工作学习总结为主,同时也为了方便更多的兴趣爱好者参与学习交流,现将具体的搭建步骤分享如下: 一.基础环境 1.1 jdk的安装与配置 Hadoop是用Java开发的,Hadoop的编译及MapReduce的运行都需要使用JDK. ①上传jdk压缩包:这里使用的是WinScp工具 上传jdk-7u76-linux-x64.tar.gz压缩包,默认选择 /home/mysoft下 ②解压包: tar -zxvf jdk-7u76-linux-x64.tar.gz ③更名: (为方便后续…

什么是hadoop? Hadoop 是 Apache 旗下的一个用 java 语言实现开源软件框架,是一个开发和运行处理大规模数据的软件平台.允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理. hadoop提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理. 狭义上来说hadoop 指 Apache 这款开源框架,它的核心组件有: hdfs(分布式文件系统)(负责文件读写) yarn(运算资源调度系统)(负责为MapReduce程序分配运算硬件资源)…

hadoop官网 我以Hadoop 2.7.3为例. hadoop 2.7.3 官网  . 用的操作系统是64bit Ubuntu14.04. 其中我们还可以学习 Apache Maven Project , 它是用来编译 hadoop 源代码的. 还要了解 Apache Log4j , 它用来调试 hadoop 源代码. 1. Hadoop环境准备 1.1 准备学习环境 1.1.1 基础软件下载 (hadoop 2.7.3 最好用jdk1.7版本,否则mvn源码时会出现各种错误; 而jdk1.…

实验环境基本配置 硬件:硬盘单节点50GB,1G内存,单核. 操作系统:CentOS6.4 64bit Hadoop:2.20 64bit(已编译) JDK:jdk1.7 磁盘分区: / 5GB /boot 100MB /usr 5GB /tmp 500MB swap 2GB /var 1GB /home 剩余空间 Linux系统安装配置 无桌面(Minimal) Base SystemàBase, Compatibility libraries, Performance Tools, Perl…

一.设置Eclipse运行用户     如果以与Hadoop运行用户名(比如grid)不同的用户运行Eclipse,则无法对Hadoop运行用户所属的文件进行管理,运行Map/Reduce程序也会报"org.apache.hadoop.security.AccessControlException:Permission denied"错误.   1.新建Windows用户grid,密码是grid 在Powershell中运行: #Windows命令提示符下创建用户,并设置密码永不过期…

从小白在安装hadoop困难和错误时遇到说起,同时,我们也希望能得到上帝的指示. 首先hadoop更新速度非常快,最新的是hadoop2.5.1,因此就介绍下在安装2.5.1时遇到的各种困难. 假设直接准备在系统上安装binary版本号的,能够參考http://www.cnblogs.com/kinglau/p/3270160.html. 在下载好hadoop文件时.一定要注意下载的hadoop版本号是否与本机的系统版本号相相应,如32bit的还是64bit的,否则在运行start-all.sh…