个人谈谈阅读hadoop源代码的经验. 首先,不得不说,hadoop发展到现在这个阶段,代码已经变得非常庞大臃肿,如果你直接阅读最新版本的源代码,难度比较大,需要足够的耐心和时间,所以,如果你觉得认真一次,认真阅读一次hadoop源代码,一定要有足够的心理准备和时间预期. 其次,需要注意,阅读Hadoop源代码的效率,因人而异,如果你有足够的分布式系统知识储备,看过类似的系统,则能够很快地读它的源代码进行通读,并快速切入你最关注的局部细节,比如你之前看过某个分布式数据库的源代码,对分布式系统的网…

本文将介绍在 Eclipse 下阅读 Hadoop 源代码的一些技巧, 比如如何查看一个基类有哪些派生类. 一个方法被其他哪些方法调用等. 本文地址:http://www.cnblogs.com/archimedes/p/study-hadoop-sourcecode.html,转载请注明源地址. 欢迎关注我的个人博客:www.wuyudong.com, 更多云计算与大数据的精彩文章 1 . 查看一个基类或接口的派生类或实现类 在 Eclipse 中, 选中 某个基类或接口名称,右击,在弹出 的…

环境是 64bit Ubuntu 14.04 系统, jdk 1.7 以及 Eclipse Mars (4.5) 这里介绍两种调试 Hadoop 源代码的方法: 利用 Eclipse 远程调试工具和打印调试日志. 这两种方法均可以调试伪分布式工作模式和完全分布式工作模式下的 Hadoop. 最后介绍我自己的方法, 可以打印你想查看的信息( 针对单个文件内部 ). (1) 利用 Eclipse 进行远程调试 参考 http://andilyliao.iteye.com/blog/2151688 …

以hadoop 2.7.3为例, jdk1.7.0_80 , Eclipse Mars(4.5), Apache Maven 3.0.5   mvn时需要使用root权限,即县切换到root用户,用命令su root. 本节将介绍如何创建一个Hadoop源代码工程以方便阅读源代码.    Hadoop源代码hadoop-2.7.3-src不能直接导入Eclipse,会报很多错,因为该源代码工程没有包含它所需的所有JAR包等, 需要Maven编译引入. 首先,介绍一下我自己成功的办法.  ( 后面…

1. 安装JDK,eclipse,下载hadoop源代码并解压到某一个目录. 2. 安装maven,将bin目录添加到PATH环境变量中. 3. 安装protobuf2.5.0,将protoc-2.5.0-win32中的protoc.exe拷贝到c:\windows\system32中,将proto.exe文件拷贝到解压后的XXX\protobuf-2.5.0\src目录中.进入XXX\protobuf-2.5.0\java 目录,执行maven package命令编辑该包,生成protobuf…

hadoop是一个分布式存储和分布式计算的框架.在日常使用hadoop时,我们会发现hadoop不能完全满足我们的需要,我们可能需要修改hadoop的源代码并重新编译.打包. 下面将详细描述如何从svn上导入并对hadoop进行eclipse下编译. 因项目使用的hadoop版本是0.20.2,所以我们基于hadoop-0.20.2来进行二次开发. (1)首先从svn上签出源代码,svn地址: http://svn.apache.org/repos/asf/hadoop/common/tags/…

http://wenku.baidu.com/link?url=R-QoZXhc918qoO0BX6eXI9_uPU75whF62vFFUBIR-7c5XAYUVxDRX5Rs6QZR9hrBnUdMdVHNSHdjYtv7i28lCSng1iuWO620ML_wqJZYFge Hadoop源代码分析(一) 关键字: 分布式云计算 Google的核心竞争技术是它的计算平台.Google的大牛们用了下面5篇文章,介绍了它们的计算设施. GoogleCluster:http://research.g…

打造阅读Linux源代码利器 在Linux里阅读/编写代码一般用vi 但是碰到较大的项目时阅读源代码还是比较费力,一直用find  和 grep命令. 其实,我们自己可以打造一个阅读源代码的vim,这样大大提高工作效率. 阅读源码利器组合:Vi + Ctags + taglist 以下为最终实现的效果图:   安装Ctags Ctags可以到http://ctags.sourceforge.net下载.目前我下载的是ctags-5.8.tar.gz tar  -xvzf ctags-5.8.ta…

点击browserFilesystem,和命令查看结果一样 当我们查看hadoop源代码时,我们看到hdfs下的hdfs-default.xml文件信息 我们查找${hadoop.tmp.dir}这是引用变量,肯定在其它文件有定义,在core-default.xml中查看到,这两个配置文件有个共同点: 就是不要改动此文件.但能够复制信息到core-site.xml和hdfs-site.xml中改动 usr/local/hadoop 是我存放hadoop目录的地方 几个关于namenode的关键文…

须要进一步学习hadoop.须要看看内部源代码实现.因此须要将hadoop源代码导入都eclipse中,简单总结一下,详细过程例如以下: 首先确保已经安装了git.maven3.protobuf2.5.假设没有安装须要提前安装一下 1.下载hadoop源代码 git clone git://git.apache.org/hadoop-common.git 2.进入hadoop-common文件夹,用maven生成eclipseproject mvn install -DskipTests mvn…