MRUnit测试

hadoop之计数器和管道的mrunit测试

引言 hadoop的调试真心让人灰常恼火,而且从企业实际出发,集群的资源是有限的,不可能在集群上跑一遍又一遍根据log去调试代码,那么使用MRUnit编写测试单元,显得尤为重要.MRUnit中的MapReduce Driver可以测试一组Map/Reduce或者Combiner. PipelineMapReduceDriver可以测试Map/Reduce作业工作流.目前,MRUnit还没有Partitioner对应的驱动. MRUnit使开发人员在面对Hadoop特殊的架构的时候也能进行TDD和…

hadoop2.2编程：MRUnit测试

引用地址:http://www.cnblogs.com/lucius/p/3442381.html examples: Overview This document explains how to write unit tests for your map reduce code, and testing your mapper and reducer logic on your desktop without having any Hadoop environment setup. Let's…

新建一个专门的测试类,代码如下: wordcount的map函数输入string line, 输出<单词 , 1> 右键-> run as junit 出错了,因为输出不是期望的值,错误如下: 少一个输出,也会出错: 正确的结果:…

Mock方法介绍

1 现有的单元测试框架单元测试是保证程序正确性的一种有效的测试手段,对于不同的开发语言,通常都能找到相应的单元框架. 借助于这些单测框架的帮助,能够使得我们编写单元测试用例的过程变得便捷而优雅.框架帮我们提供了case的管理,执行,断言集,运行参数,全局事件工作,所有的这些使得我们只需关注:于对于特定的输入,被测对象的返回是否正常.那么,这些xUnit系列的单元测试框架是如何做到这些的了?分析这些框架,发现所有的单元测试框架都是基于以下的一种体系结构设计的. 如上图所示,单测框架中通常包括Tes…

Hadoop专业解决方案-第5章开发可靠的MapReduce应用

本章主要内容: 1.利用MRUnit创建MapReduce的单元测试. 2.MapReduce应用的本地实例. 3.理解MapReduce的调试. 4.利用MapReduce防御式程序设计. 在WOX.COM下载本章源代码本章在wox.com网站的源码可以在www.wiley.com/go/prohadoopsolutions的源码下载标签找到.第五章的源码根据本章的内容各自分别命名放在了第五章下载目录中. 到目前为止,你应该对MapReduce体系结构,应用程序设计,和定制MapReduce…

【转】MOCK方法介绍

原创作品,允许转载,转载时请务必以超链接形式标明文章原始出处 .作者信息和本声明.否则将追究法律责任.http://baidutech.blog.51cto.com/4114344/743740 1 现有的单元测试框架单元测试是保证程序正确性的一种有效的测试手段,对于不同的开发语言,通常都能找到相应的单元框架. 借助于这些单测框架的帮助,能够使得我们编写单元测试用例的过程变得便捷而优雅.框架帮我们提供了case的管理,执行,断言集,运行参数,全局事件工作,所有的这些使得我们只需关注:于对于特…

mrunit for wordcount demo

import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mrunit.mapreduce.MapDriver; i…

Hadoop MRUnit使用（一）

之前在写MR job的时候,由于要在云梯,或者一淘的开发集群上运行:所以处理方法是,在本地打成jar包,然后scp到客户端网关机上,然后在提交job运行.这样的问题时,有时候如果遇到一些逻辑上的问题,job跑挂了.必须在本地修改程序,然后重新打包,scp,再运行,这样比较麻烦:询问了一圈,觉得采用MRUnit在本地做好一些逻辑测试.这样可以在一定程度上提高开发效率,避免重复劳动,并且写好的testcase可以用作回归之用: MRUnit 基本原理是JUnit和EasyMock,其核心的单元测试依…

使用MRUnit，Mockito和PowerMock进行Hadoop MapReduce作业的单元测试

0.preliminary 环境搭建 Setup development environment Download the latest version of MRUnit jar from Apache website: https://repository.apache.org/content/repositories/releases/org/apache/mrunit/mrunit/. For example if you are using the Hadoop version 1.0…

Hadoop on Mac with IntelliJ IDEA - 3 解决MRUnit - No applicable class implementing Serialization问题

本文讲述在IntelliJ IDEA中使用MRUnit 1.0.0测试Mapper派生类时因MapDriver.withInput(final K1 key, final V1 val)的key参数被错误设置成空字符串""导致No applicable class implementing Serialization的解决过程. 环境:Mac OS X 10.9.5, IntelliJ IDEA 13.1.4, Hadoop 1.2.1, MRUnit 1.0.0 Hadoop放在虚拟…

使用MRUnit对MapReduce进行单元测试

1. 为什么需要单元测试一旦MapReduce项目提交到集群之后,若是出现问题是很难定位和修改的,只能通过打印日志的方式进行筛选.又如果数据和项目较大时,修改起来则更加麻烦.所以,在将MapReduce项目提交到集群上之前,我们需要先对其进行单元测试. 2. 使用什么框架进行单元测试 MRUnit是Cloudera公司专为Hadoop MapReduce写的单元测试框架,其API非常简洁实用.该框架对不同的测试对象使用不同的Driver,因此分为了:MapDriver.ReduceDriver…

6.3 MRUnit写Mapper和Reduce的单元测试

1.1 MRUnit写单元测试作用:一旦MapReduce项目提交到集群之后,若是出现问题是很难定位和修改的,只能通过打印日志的方式进行筛选.又如果数据和项目较大时,修改起来则更加麻烦.所以,在将MapReduce项目提交到集群上之前,我们需要先对其进行单元测试.单元测试需要用到mrunit库,这个库中包含MapDriver.ReduceDriver.MapReduceDriver,可以通过三个类,输入简单的数据进行测试map和reduce的逻辑是否正确. 1.1.1 Map…

大数据笔记（十二）——使用MRUnit进行单元测试

package demo.wc; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mrunit.mapreduce.MapDriver; import org.a…

在HADOOP中使用MRUNIT进行单元测试

在HADOOP中使用MRUNIT进行单元测试前提 1. 了解JUnit4.x的使用. 2. 了解Mock的概念在单元测试中的应用. 3. 了解Hadoop中MapReduce的编程模型. 如果您对Junit和Mock不了解,可以先阅读[翻译]Unit testing with JUnit 4.x and EasyMock in Eclipse - Tutorial. 如果您对Hadoop中MapReduce的编程模型不了解,可以先阅读Map/Reduce Tutorial. 介绍 MRUnit…

SignalR系列续集[系列8:SignalR的性能监测与服务器的负载测试]

目录 SignalR系列目录前言也是好久没写博客了,近期确实很忙,嗯..几个项目..头要炸..今天忙里偷闲.继续我们的小系列.. 先谢谢大家的支持.. 我们来聊聊SignalR的性能监测与服务器的负载测试我们开发任何一个应用,他的性能监测是很重要的参考数据,关系着我们后期优化,更新,改动..等等... SignalR作为一个及时通讯的框架,稳定性,及时性,延迟这些,更是需要全方位的监测 (就不多废话了,大家都懂) 负载测试... 装个大点的B.. 人家淘宝爸爸双十一这么大的访问压力,就是…

Apache Ignite之集群应用测试

集群发现机制在Ignite中的集群号称是无中心的,而且支持命令行启动和嵌入应用启动,所以按理说很简单.而且集群有自动发现机制感觉对于懒人开发来说太好了,抱着试一试的心态测试一下吧. 在Apache Ignite中有三种自有的发现机制:组播.静态IP.组播+静态IP.下面就这几种来试一试吧. 测试方法简述测试的方法主要是通过搭建2台tomcat服务器,使用nginx来代理这2台tomcat,tomcat服务器里有一个web应用,此应用内通过Apache Ignite webSession cl…

测试一下StringBuffer和StringBuilder及字面常量拼接三种字符串的效率

之前一篇里写过字符串常用类的三种方式<java中的字符串相关知识整理>,只不过这个只是分析并不知道他们之间会有多大的区别,或者所谓的StringBuffer能提升多少拼接效率呢?为此写个简单的测试吧: public static void main(String[] args) { testStringJoin(); } static void testStringJoin() { long beg = System.currentTimeMillis(); String s = null;…

TechEmpower 13轮测试中的ASP.NET Core性能测试

应用性能直接影响到托管服务的成本,因此公司在开发应用时需要格外注意应用所使用的Web框架,初创公司尤其如此.此外,糟糕的应用性能也会影响到用户体验,甚至会因此受到相关搜索引擎的降级处罚.在选择框架时,又有许多因素需要考量,但原始性能无疑是其中最容易测评的.不同的框架性能差异极大,即使你充分利用了硬件的性能,错误的框架依然可能带来十倍的性能损耗,虽然不是每个人都会遇到如此极端的情况,但在某些情况下确实如此,因此你有必要了解各框架之间的性能差异. TechEmpower 测试有源代码,硬件配置全部公…

.NET Core系列：4 测试

2016.6.27 微软已经正式发布了.NET Core 1.0 RTM,但是工具链还是预览版,同样的大量的开源测试库也都是至少发布了Alpha测试版支持.NET Core, 这篇文章 The State of .Net Core Testing Today 就将各个开源测试库的目前进展进行了汇总.本文我们的目的是在我们构建我们应用程序的时候能够进行测试,如何使用XUnit结合你可以通过为你的项目添加不同的测试用例NSubstitute进行单元测试,同时对整个项目进行集成测试.这次我们使用Vis…

渗透测试工具BurpSuite做网站的安全测试（基础版）

渗透测试工具BurpSuite做网站的安全测试(基础版) 版权声明:本文为博主原创文章,未经博主允许不得转载. 学习网址: https://t0data.gitbooks.io/burpsuite/content/chapter4.html 用命令打开burpsuite工具:jar /your_burpsuite_path/burpSuite.jar <<BurpSuite_pro_v1.6.27.zip>> BurpSuite 如何扫描web漏洞: http://www.myha…

在ubuntu16.10 PHP测试连接MySQL中出现Call to undefined function: mysql_connect()

1.问题: 测试php7.0 链接mysql数据库的时候发生错误: Fatal error: Uncaught Error: Call to undefined function mysqli_connect() 即使把 /etc/php/7.0/apache2/php.ini 中的行: ;extension=php_mysql.dll 修改成(即:取消行前面的分号";"): extension=php_mysql.dll 问题依然没解决. 测试文件: require_once __D…

【初学python】使用python调用monkey测试

目前公司主要开发安卓平台的APP,平时测试经常需要使用monkey测试,所以尝试了下用python调用monkey,代码如下: import os apk = {'j': 'com.***.test1', 'h': 'com.***.test2'} print 'enter \'j\' to test test1' print 'enter \'h\' to test test2' #choose apk while True: test_apk = raw_input('which apk d…

【MRUnit测试】的更多相关文章