近期准备開始学习Hadoop1.2.1的源码,感觉最好的方法还是能够在运行Hadoop及hadoop作业时跟踪调试代码的实际运行情况.因为选择的IDE为eclipse,所以准备编译一下hadoop的eclipse插件,以下就直接进入正题.Hadoop的eclipse插件源码位于hadoop-1.2.1/src/contrib/eclipse-plugin/中,直接进入该文件夹,在不做不论什么改动的情况下,在命令行输入ant,运行效果例如以下: [hadoop@hadoop eclipse-plu…

hadoop-1.2.1 eclipse插件编译       在ubuntu上进行hadoop相关的开发,需要在eclipse上安装hadoop开发插件.最新释放出的hadoop包含源码的包,以hadoop-1.1.1为例,包含相关的eclipse插件的源码,因此可以针对自己的eclipse版本来编译一个hadoop的eclipse插件,我的eclipse的版本代号为indigo,以此为例,下面详细介绍插件的编译安装过程. 一. 下载hadoop-1.2.1     我的下载地址为:(http:…

使用的hadoop版本为hadoop-1.2.1(对应的含源码的安装包为hadoop-1.2.1.tar.gz) 将hadoop和eclipse都解压在home中的用户目录下 /home/chen/hadoop-1.2.1 /home/chen/eclipse 进入eclipse插件的编译目录 cd /home/chen/hadoop-1.2.1/src/contrib/eclipse-plugin/ 修改build.xml,有两处需要修改 1.在classpath中添加hadoop相关jar包…

https://github.com/winghc/hadoop2x-eclipse-plugin 官网 http://kangfoo.github.io/article/2013/12/build-hadoop2x-eclipse-plugin/ 私人整理 hadoop 2.x eclipse 开发环境的相关配置(图解)http://blog.csdn.net/zythy/article/details/17397153…

构建完毕Hadoop项目后,接下来就应该跟踪Hadoop的运行情况,比方在命令行运行hadoop namenode–format时运行了Hadoop的那些代码.当然也能够直接通过阅读源码的方式来做到这一点,但跟踪代码的运行情况更加直观,更easy理解. 动手配置Eclipse调试Hadoop之前,先大概学习一下JPDA(Java Platform Debugger Architecture,Java平台调试结构).JPDA是一个多层的调试架构,使工具开发人员能够easy地创建跨平台的,跨VM实现…

Eclipse同maven进口hadoop源代码 1)  安装和配置maven环境变量 M2_HOME: D:\profession\hadoop\apache-maven-3.3.3 PATH: %M2_HOME%\bin; 2)  验证:mvn –version 3)  下载protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip 4)  将protoc-2.5.0-win32中的protoc.exe复制到c:\windows\system32中 5) …

permission denied user 1.修改配置文件在conf/hdfs-site.xml文件中添加如下内容: <property> <name>dfs.permissions</name> <value>false</value> </property> 注意是所有节点 2.修改eclipse中配置的参数,将dfs.permissions 的值修改为false 3.重启hadoop后,升效…

开篇:Hadoop是一个强大的并行软件开发框架,它可以让任务在分布式集群上并行处理,从而提高执行效率.但是,它也有一些缺点,如编码.调试Hadoop程序的难度较大,这样的缺点直接导致开发人员入门门槛高,开发难度大.因此,Hadop的开发者为了降低Hadoop的难度,开发出了Hadoop Eclipse插件,它可以直接嵌入到Hadoop开发环境中,从而实现了开发环境的图形界面化,降低了编程的难度. 一.天降神器插件-Hadoop Eclipse Hadoop Eclipse是Hadoop开发环境的…

hadoop-0.20.2自带的eclipse插件是不支持eclipse-3.5以上的,要想让它支持3.5以上就必须重新编译eclipse插件. 首先先修改  hadoop-0.20.2\src\contrib\eclipse-plugin\src\java\org\apache\hadoop\eclipse\launch\HadoopApplicationLaunchShortcut.java //import org.eclipse.jdt.internal.debug.ui.launche…

通常我们可以用Eclipse作为Hadoop程序的开发平台. 1)  下载Eclipse 下载地址:http://www.eclipse.org/downloads/ 根据操作系统类型,选择合适的版本下载并安装. 2)  下载并编译Hadoop的Eclipse插件 网上可直接下载到Hadoop 1.x 的Eclipse插件,但是该插件和Hadoop2.2 不兼容,所以无法使用. Hadoop 2.2 的Eclipse插件正处于开发过程中,你可以直接下载源代码并编译.本人在编译过程中碰到了一些an…