1. 为什么需要单元测试 一旦MapReduce项目提交到集群之后,若是出现问题是很难定位和修改的,只能通过打印日志的方式进行筛选.又如果数据和项目较大时,修改起来则更加麻烦.所以,在将MapReduce项目提交到集群上之前,我们需要先对其进行单元测试. 2. 使用什么框架进行单元测试 MRUnit是Cloudera公司专为Hadoop MapReduce写的单元测试框架,其API非常简洁实用.该框架对不同的测试对象使用不同的Driver,因此分为了:MapDriver.ReduceDriver…

本章主要内容: 1.利用MRUnit创建MapReduce的单元测试. 2.MapReduce应用的本地实例. 3.理解MapReduce的调试. 4.利用MapReduce防御式程序设计. 在WOX.COM下载本章源代码 本章在wox.com网站的源码可以在www.wiley.com/go/prohadoopsolutions的源码下载标签找到.第五章的源码根据本章的内容各自分别命名放在了第五章下载目录中. 到目前为止,你应该对MapReduce体系结构,应用程序设计,和定制MapReduce…

上一章的 MapReduce 应用中,我们使用了自定义配置,并用 GenericOptionsParser 处理命令行输入的配置,这种方式简单粗暴.但不是 MapReduce 应用常见的写法,本章第一部分将介绍 MapReduce 应用常见的写法,并详细介绍自定义配置以及命令行选项,通过自定义配置我们可以灵活的控制 MapReduce 应用而不需要修改代码并打包.第二部分将介绍开发 MapReduce 应用的单元测试,单元测试的重要性不言而喻,是每个程序员必备技能. 带有自定义配置的 MapRe…

body{ font-family: "Microsoft YaHei UI","Microsoft YaHei",SimSun,"Segoe UI",Tahoma,Helvetica,Sans-Serif,"Microsoft YaHei", Georgia,Helvetica,Arial,sans-serif,宋体, PMingLiU,serif; font-size: 10.5pt; line-height: 1.5;}…

前言 本文是Hadoop最佳实践系列第二篇,上一篇为<Hadoop管理员的十个最佳实践>. MapRuduce开发对于大多数程序员都会觉得略显复杂,运行一个WordCount(Hadoop中hello word程序)不仅要熟悉MapRuduce模型,还要了解Linux命令(尽管有Cygwin,但在Windows下运行MapRuduce仍然很麻烦),此外还要学习程序的打包.部署.提交job.调试等技能,这足以让很多学习者望而退步. 所以如何提高MapReduce开发效率便成了大家很关注的问题.但…

apache基金会开源项目简介   项目名称 描述 HTTP Server 互联网上首屈一指的HTTP服务器 Abdera Apache  Abdera项目的目标是建立一个功能完备,高效能的IETF Atom联合格式(RFC4287)和Atom发布协议(RFC5023)规范的实现. Accumulo Apache  Accumulo 是一个可靠的.可伸缩的.高性能的排序分布式的 Key-Value 存储解决方案,基于单元访问控制以及可定制的服务器端处理.使用  Google BigTable 设…

一.招募启事 招募贴:Hadoop专业解决方案招募义务翻译人员,英文原著名称:<Wrox.Professional.Hadoop.Solutions>.愿意参与到此项工作中来的请加群:313702010 欢迎大家踊跃报名. 二.图书大纲 中文部分: chapter1:大数据和Hadoop生态圈 1.1 当大数据遇到Hadoop 1.2 Hadoop生态圈 1.3 Hadoop核心组件 1.4 Hadoop版本分发 1.5 基于Hadoop开发企业级应用 chapter2:数据存储之Hadoop…

前言:最近有朋友给推荐一本书,英文原版<Wrox.Professional.Hadoop.Solutions>,感觉很好打算翻译成中文,共享给朋友,时间关系,不知能否成行,先干着吧.以下部分是本书的目录,算是一个开始,至于何时能够成稿,且干着吧,毕竟最近不是一般的忙. 关于中文名称,英文直译<专业的Hadoop解决方案>,个人更倾向于使用<Hadoop专业解决方案>至于选择哪个最终还没有确定,也想听一听大家的意见.敬请留言. 图书大纲: 中文部分: chapter1:大…

0.preliminary 环境搭建 Setup development environment Download the latest version of MRUnit jar from Apache website: https://repository.apache.org/content/repositories/releases/org/apache/mrunit/mrunit/. For example if you are using the Hadoop version 1.0…

1.1  MRUnit写单元测试 作用:一旦MapReduce项目提交到集群之后,若是出现问题是很难定位和修改的,只能通过打印日志的方式进行筛选.又如果数据和项目较大时,修改起来则更加麻烦.所以,在将MapReduce项目提交到集群上之前,我们需要先对其进行单元测试.单元测试需要用到mrunit库,这个库中包含MapDriver.ReduceDriver.MapReduceDriver,可以通过三个类,输入简单的数据进行测试map和reduce的逻辑是否正确. 1.1.1         Map…