之前在写MR job的时候,由于要在云梯,或者一淘的开发集群上运行:所以处理方法是,在本地打成jar包,然后scp到客户端网关机上,然后在提交job运行.这样的问题时,有时候如果遇到一些逻辑上的问题,job跑挂了.必须在本地修改程序,然后重新打包,scp,再运行,这样比较麻烦:询问了一圈,觉得采用MRUnit在本地做好一些逻辑测试.这样可以在一定程度上提高开发效率,避免重复劳动,并且写好的testcase可以用作回归之用: MRUnit 基本原理是JUnit和EasyMock,其核心的单元测试依…

引言 hadoop的调试真心让人灰常恼火,而且从企业实际出发,集群的资源是有限的,不可能在集群上跑一遍又一遍根据log去调试代码,那么使用MRUnit编写测试单元,显得尤为重要.MRUnit中的MapReduce Driver可以测试一组Map/Reduce或者Combiner. PipelineMapReduceDriver可以测试Map/Reduce作业工作流.目前,MRUnit还没有Partitioner对应的驱动. MRUnit使开发人员在面对Hadoop特殊的架构的时候也能进行TDD和…

在HADOOP中使用MRUNIT进行单元测试 前提 1. 了解JUnit4.x的使用. 2. 了解Mock的概念在单元测试中的应用. 3. 了解Hadoop中MapReduce的编程模型. 如果您对Junit和Mock不了解,可以先阅读[翻译]Unit testing with JUnit 4.x and EasyMock in Eclipse - Tutorial. 如果您对Hadoop中MapReduce的编程模型不了解,可以先阅读Map/Reduce Tutorial. 介绍 MRUnit…

引用地址:http://www.cnblogs.com/lucius/p/3442381.html examples: Overview This document explains how to write unit tests for your map reduce code, and testing your mapper and reducer logic on your desktop without having any Hadoop environment setup. Let's…

小笔记: Mavon是一种项目管理工具,通过xml配置来设置项目信息. Mavon POM(project of model). Steps: 1. set up and configure the development environment. 2. writing your map and reduce functions and run them in local (standalone) mode from the command line or within your IDE. 3.…

import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mrunit.mapreduce.MapDriver; i…

继承关系1 1. java.lang.Object |__ org.apache.hadoop.mapreduce.JobContext |__org.apache.hadoop.mapreduce.TaskAttemptContext |__ org.apache.hadoop.mapreduce.TaskInputOutputContext<KEYIN,VALUEIN,KEYOUT,VALUEOUT> |__org.apache.hadoop.mapreduce.MapContext<…

examples: Overview This document explains how to write unit tests for your map reduce code, and testing your mapper and reducer logic on your desktop without having any Hadoop environment setup. Let's look at some code For testing your map and reduce…

Hadoop权威指南:MapReduce应用开发 [TOC] 一般流程 编写map函数和reduce函数 编写驱动程序运行作业 用于配置的API Hadoop中的组件是通过Hadoop自己的配置API来配置的 一个Configuration类的实例代表配置属性及其取值的一个集合 Configuration从资源(XML文件)中读取属性值,一个简单的配置文件(configuration-1.xml)如下 <?xml version="1.0"?> <configurat…

1. 为什么需要单元测试 一旦MapReduce项目提交到集群之后,若是出现问题是很难定位和修改的,只能通过打印日志的方式进行筛选.又如果数据和项目较大时,修改起来则更加麻烦.所以,在将MapReduce项目提交到集群上之前,我们需要先对其进行单元测试. 2. 使用什么框架进行单元测试 MRUnit是Cloudera公司专为Hadoop MapReduce写的单元测试框架,其API非常简洁实用.该框架对不同的测试对象使用不同的Driver,因此分为了:MapDriver.ReduceDriver…