一.环境准备 1.安装jdk.maven等 2.下载hadoop源代码,并解压 3.将tools.jar复制到Classes中,具体原因见http://wiki.apache.org/hadoop/HowToSetupYourDevelopmentEnvironment cd $JAVA_HOME mkdir Classes   cp lib/tools.jar Classes/classes.jar 否则会出现以下异常:  Missing tools.jar at: /Library/Java…

一.环境准备 1.安装jdk.maven等 2.下载hadoop源代码,并解压 3.将tools.jar复制到Classes中,具体原因见http://wiki.apache.org/hadoop/HowToSetupYourDevelopmentEnvironment cd $JAVA_HOME mkdir Classes   cp lib/tools.jar Classes/classes.jar 否则会出现以下异常:  Missing tools.jar at: /Library/Java…

如何编译Apache Hadoop2.6.0源代码 1．安装CentOS 我使用的是CentOS6.5,下载地址是http://mirror.neu.edu.cn/centos/6.5/isos/x86_64/,选择CentOS-6.5-x86_64-bin-DVD1.iso 下载,注意是64位的,大小是4GB,需要下载一段时间的.其实6.x的版本都可以,不一定是6.5. 我使用的是VMWare虚拟机,分配了2GB内存,20GB磁盘空间.内存太小,会比较慢:磁盘太小,编译时可能会出现空间不足的情…

1 eclipse中hadoop环境部署概览 eclipse 中部署hadoop包括两大部分:hdfs环境部署和mapreduce任务执行环境部署.一般hdfs环境部署比较简单,部署后就 可以在eclipse中像操作windows目录一样操作hdfs文件.而mapreduce任务执行环境的部署就比较复杂一点,不同版本对环境的要求度 高低不同就导致部署的复杂度大相径庭.例如hadoop1包括以前的版本部署就比较简单,可在windows和Linux执行部署运行,而hadoop2 及以上版本对环境要求…

一.在Eclipse中导入JDK类库的源代码 操作步骤: 打开eclipse->“window”-> “Preferences” -> “Java” -> “Installed JRES”->选择你的JRE->”Edit”->”展开……xx\lib\rt.jar”->双击”Source Attachment:(none)”->”External location”->External File->选择你的JDK安装目录下的src.zip-&…

1.安装依赖的包: yum install gcc-c++ g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev 2. 安装protobuf 2.5.0, 首先去google的网站上下载protobuf源代码,解压并切换到root用户执行如下命令: ./configure 如果中间发生错误,说明有些依赖包并为安装, an error occured because dependency is not met th…

最近在导入别人用的源代码问题时,出现两个问题: 问题一:提示无法解析导入,如下图: 解决方法:删除项目下的module-info.java文件即可,或者在创建项目时将创建module-info.java的复选框去掉.  问题二: 解决问题一后运行程序后,出现如下报错: Error occurred during initialization of boot layer java.lang.module.FindException: Unable to derive module descript…

1. 环境信息如下: ubuntu:14.10 jdk:openjdk-1.7.0 hadoop:2.6.0 2. 下载hadoop2.6.0, http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz 本文的$HADOOP_HOME为:/media/GoldenResources/localSoft/hadoop-2.6.0. 在 ~/.bashrc文件中添加环境变量,如下: export HADOOP_HOM…

Hadoop2的学习资料很少,只有官网的少数文档.如果想更深入的研究hadoop2,除了仅看官网的文档外,还要学习如何看源码,通过不断的调试跟踪源码,学习hadoop的运行机制. 1.安装CentOS 我使用的是CentOS6.5,下载地址是,选择CentOS-6.5-i386.iso 下载,大小是4GB,需要下载一段时间的.其实6.x的版本都可以,不一定是6.5. 我使用的是VMWare虚拟机,分配了2GB内存,20GB磁盘空间.内存太小,会比较慢:磁盘太小,编译时可能会出现空间不足的情况.上…

转自(原文图片已丢失,本文修复图片,重新排版,并更正部分原文错误):http://www.superwu.cn/2013/12/26/913 欢迎和大家交流技术相关问题: 邮箱: jiangxinnju@163.com 博客园地址: http://www.cnblogs.com/jiangxinnju GitHub地址: https://github.com/jiangxincode 知乎地址: https://www.zhihu.com/people/jiangxinnju Hadoop2的学…