由于现在hadoop2.0还处于beta版本,在apache官方网站上发布的beta版本中只有编译好的32bit可用,如果你直接下载安装在64bit的linux系统的机器上,运行会报一个INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable的错误,但在实际测试中是可以正常安装并可以运行自带的w…

由于现在hadoop2.0还处于beta版本,在apache官方网站上发布的beta版本中只有编译好的32bit可用,如果你直接下载安装在64bit的linux系统的机器上,运行会报一个INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable的错误,但在实际测试中是可以正常安装并可以运行自带的w…

这几天一直在搭建hadoop环境,由于2.5以及2.6的版本需要在64位环境下重新编译,所以中间走了不少弯路.现在总结一下,由于手头资源紧张,只能在pc上模拟环境,具体环境如下: 宿主机:联想的笔记本,win8.1系统,4g内存(刚好后安装3太linux的虚拟机) 虚拟机:Ubuntu 宿主与虚拟机会话工具:sercureCRT 1.从ubuntu上wget jdk 刚开始下载的是最新的jdk1.8,可能是新版本的原因,所以直接在虚拟机上wget,速度比较快,顺利下载安装以及配置环境变量,但是编…

搭建环境:单机64位CentOS6.5 .jdk1.6.0_45.Hadoop2.2.0 1.准备编译环境 从http://www.apache.org/dyn/closer.cgi/hadoop/common/上下载的编译好的tar包是32位的,不能用, 否则启动Hadoop时会警告不能加载本地库,导致nodemanager启动不了,必须自己编译Hadoop源码. 在CentOS6.5环境下编译源代码之前,需进行以下准备工作: 1.1 必要的包 yum install svn yum inst…

前言:       毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了.对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环境跑起来,然后在能用的基础上在多想想为什么.       通过这三个礼拜(基本上就是周六周日,其他时间都在加班啊T T)的探索,我目前主要完成的是: 1.在Linux环境中伪分布式部署hadoop(SSH免登陆),运行WordCount实例成功. http://www.cnblogs.com/Pur…

软件包: apache-ant-1.9.9-bin.tar.gz apache-maven-3.3.9-bin.tar.gz apache-tomcat-6.0.44.tar.gz CentOS-6.9-x86_64-minimal.iso findbugs-3.0.1.tar.gz hadoop-2.7.3-src.tar.gz jdk-8u121-linux-x64.tar.gz protobuf-2.5.0.tar.gz scala-2.11.11.tgz snappy-1.1.3.tar…

具体情况比较曲折:hadoop2.6.0编译不过 错误如下: 这个kms模块始终编译不过,最后得出结论国内的aliyun maven仓库有问题, 在编译hadoop2.2.0 可以通过,因为这个版本的hadoop没有kms这个模块, 要想编译2.6.0的hadoop  必须使用国外的maven地址. 2.2.0基本步骤和网上大概相同 可编译成功,同时安装snappy 成功: 同时记录下这篇文章: http://blog.sina.com.cn/s/blog_6baac06c0101gvxr.ht…

搭建环境:Centos x 6.5  64bit (后来:我才知道原来官网上发布的就是64位的,不过这个对我来说是个学习过程,对以后进行其他平台编译的时候有帮助!) 1.安装JDK 我这里用的是64位机,要下载对应的64位的JDK,下载地址:http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html, 选择对应的JDK版本,解压JDK,然后配置环境变量, vi /etc/pr…

  本文Blog地址:http://www.cnblogs.com/fesh/p/3766656.html   本文对Hadoop-2.2.0源码进行重新编译(64位操作系统下不重新编译会有版本问题),并构建Hadoop-2.2.0集群,生成在Eclipse环境上的Hadoop-2.2.0插件,并通过了测试运行. 1 . 安装maven .libssl-dev .cmake 和JDK 安装本机库http://wiki.apache.org/hadoop/HowToContribute sudo…

一.hadoop集群环境配置  参见:<Hadoop2.6集群环境搭建(HDFS HA+YARN)原来4G内存也能任性一次.> Win7环境: 登录用户名:hadoop , 与Hadoop集群中的Linux环境用户统一. a.在SY-0130节点上修改hdfs-site.xml加上以下内容 ,并同步修改到其他节点.<property> <name>dfs.permissions</name> <value>false</value> …