Hadoop集群基准测试
hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar TestDFSIO -write -nrFiles 10 -size 100MB
- 14/07/21 21:29:42 INFO mapreduce.Job: Counters: 45
- File System Counters
- FILE: Number of bytes read=856
- FILE: Number of bytes written=872121
- FILE: Number of read operations=0
- FILE: Number of large read operations=0
- FILE: Number of write operations=0
- HDFS: Number of bytes read=2320
- HDFS: Number of bytes written=1048576079
- HDFS: Number of read operations=43
- HDFS: Number of large read operations=0
- HDFS: Number of write operations=12
- Job Counters
- Killed map tasks=3
- Launched map tasks=13
- Launched reduce tasks=1
- Data-local map tasks=6
- Rack-local map tasks=7
- Total time spent by all maps in occupied slots (ms)=1109317
- Total time spent by all reduces in occupied slots (ms)=91582
- Map-Reduce Framework
- Map input records=10
- Map output records=50
- Map output bytes=750
- Map output materialized bytes=910
- Input split bytes=1200
- Combine input records=0
- Combine output records=0
- Reduce input groups=5
- Reduce shuffle bytes=910
- Reduce input records=50
- Reduce output records=5
- Spilled Records=100
- Shuffled Maps =10
- Failed Shuffles=0
- Merged Map outputs=10
- GC time elapsed (ms)=7691
- CPU time spent (ms)=30730
- Physical memory (bytes) snapshot=2555801600
- Virtual memory (bytes) snapshot=11073003520
- Total committed heap usage (bytes)=1874329600
- Shuffle Errors
- BAD_ID=0
- CONNECTION=0
- IO_ERROR=0
- WRONG_LENGTH=0
- WRONG_MAP=0
- WRONG_REDUCE=0
- File Input Format Counters
- Bytes Read=1120
- File Output Format Counters
- Bytes Written=79
- 14/07/21 21:29:42 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
- 14/07/21 21:29:42 INFO fs.TestDFSIO: Date & time: Mon Jul 21 21:29:42 CST 2014
- 14/07/21 21:29:42 INFO fs.TestDFSIO: Number of files: 10
- 14/07/21 21:29:42 INFO fs.TestDFSIO: Total MBytes processed: 1000.0
- 14/07/21 21:29:42 INFO fs.TestDFSIO: Throughput mb/sec: 3.403479036270876
- 14/07/21 21:29:42 INFO fs.TestDFSIO: Average IO rate mb/sec: 4.484561443328857
- 14/07/21 21:29:42 INFO fs.TestDFSIO: IO rate std deviation: 1.7674698292439088
- 14/07/21 21:29:42 INFO fs.TestDFSIO: Test exec time sec: 190.944
hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar TestDFSIO -write -nrFiles 10 -size 1GB
- 14/07/21 22:09:57 INFO mapreduce.Job: Counters: 47
- File System Counters
- FILE: Number of bytes read=875
- FILE: Number of bytes written=872159
- FILE: Number of read operations=0
- FILE: Number of large read operations=0
- FILE: Number of write operations=0
- HDFS: Number of bytes read=2320
- HDFS: Number of bytes written=10737418320
- HDFS: Number of read operations=43
- HDFS: Number of large read operations=0
- HDFS: Number of write operations=12
- Job Counters
- Failed map tasks=7
- Killed map tasks=1
- Launched map tasks=18
- Launched reduce tasks=1
- Other local map tasks=8
- Data-local map tasks=6
- Rack-local map tasks=4
- Total time spent by all maps in occupied slots (ms)=4322906
- Total time spent by all reduces in occupied slots (ms)=155182
- Map-Reduce Framework
- Map input records=10
- Map output records=50
- Map output bytes=769
- Map output materialized bytes=929
- Input split bytes=1200
- Combine input records=0
- Combine output records=0
- Reduce input groups=5
- Reduce shuffle bytes=929
- Reduce input records=50
- Reduce output records=5
- Spilled Records=100
- Shuffled Maps =10
- Failed Shuffles=0
- Merged Map outputs=10
- GC time elapsed (ms)=26386
- CPU time spent (ms)=119850
- Physical memory (bytes) snapshot=2830766080
- Virtual memory (bytes) snapshot=11052699648
- Total committed heap usage (bytes)=2014642176
- Shuffle Errors
- BAD_ID=0
- CONNECTION=0
- IO_ERROR=0
- WRONG_LENGTH=0
- WRONG_MAP=0
- WRONG_REDUCE=0
- File Input Format Counters
- Bytes Read=1120
- File Output Format Counters
- Bytes Written=80
- 14/07/21 22:09:59 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
- 14/07/21 22:10:00 INFO fs.TestDFSIO: Date & time: Mon Jul 21 22:09:59 CST 2014
- 14/07/21 22:10:00 INFO fs.TestDFSIO: Number of files: 10
- 14/07/21 22:10:00 INFO fs.TestDFSIO: Total MBytes processed: 10240.0
- 14/07/21 22:10:00 INFO fs.TestDFSIO: Throughput mb/sec: 6.388915232072354
- 14/07/21 22:10:00 INFO fs.TestDFSIO: Average IO rate mb/sec: 11.30741024017334
- 14/07/21 22:10:00 INFO fs.TestDFSIO: IO rate std deviation: 7.81592713288423
- 14/07/21 22:10:00 INFO fs.TestDFSIO: Test exec time sec: 556.575
环境信息:
x220, i5-2430M, 4G*2, 320G
Windows 7 Ultimate, Vmware 8
Virtual Workstation: 2 cores, 2G, 40G
Hadoop 2.2.0
Hadoop集群基准测试的更多相关文章
- 【Hadoop 分布式部署 六:环境问题解决和集群基准测试】
环境问题: 出现Temporary failure in name resolutionp-senior-zuoyan.com 的原因有很多,主要就是主机没有解析到, 那就在hadoop的sl ...
- [转]大数据hadoop集群硬件选择
问题导读 1.哪些情况会遇到io受限制? 2.哪些情况会遇到cpu受限制? 3.如何选择机器配置类型? 4.为数据节点/任务追踪器提供的推荐哪些规格? 随着Apache Hadoop的起步,云客户 ...
- 为你的 Hadoop 集群选择合适的硬件
随着Apache Hadoop的起步,云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件. 尽管Hadoop被设计为运行在行业标准的硬件上,提出一个理想的集群配置不想提供硬件 ...
- 为Hadoop集群选择合适的硬件配置
随着Apache Hadoop的起步,云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件. 尽管Hadoop被设计为运行在行业标准的硬件上,提出一个理想的集群配置不想提供硬件 ...
- 【Big Data】HADOOP集群的配置(一)
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
- Hadoop4 利用VMware搭建自己的hadoop集群
前言: 前段时间自己学习如何部署伪分布式模式的hadoop环境,之前由于工作比较忙,学习的进度停滞了一段时间,所以今天抽出时间把最近学习的成果和大家分享一下. 本文要介绍的是如 ...
- 【Big Data】HADOOP集群的配置(二)
Hadoop集群的配置(二) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
- docker搭建Hadoop集群
一个分布式系统基础架构,由Apache基金会所开发. 用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力高速运算和存储. 首先搭建Docker环境,Docker版本大于1.3. ...
- 基于Docker快速搭建多节点Hadoop集群--已验证
Docker最核心的特性之一,就是能够将任何应用包括Hadoop打包到Docker镜像中.这篇教程介绍了利用Docker在单机上快速搭建多节点 Hadoop集群的详细步骤.作者在发现目前的Hadoop ...
随机推荐
- log4j配置文件详细解释
web.xml中配置启动log4j的配置 <!-- webAppRootKey进行配置,这里主要是让log能将日志写到对应项目根目录下 --> <!-- 定义以后,在Web Cont ...
- Phonegap中用ajax读取PHP服务器的数据
直接上代码: HTML: var URL="网站地址&callback=?"; $.ajax({ type : 'GET', url : URL, dataType : ' ...
- mysql数据库中查询汉字的拼音首字母
本人提供的方法有如下特点: 1.代码精简,使用简单,只要会基本的SQL语句就行2.不用建立mysql 函数等复杂的东西3.汉字库最全,可查询20902个汉字 方法如下: 1.建立拼音首字母资料表Sql ...
- linux 开机自动启动脚本方法
通过现场对这次天津iptv demo项目的调测.对iptv这套系统有了更好的认识和理解.由于iptv本身需要安装许多服务.而现场实施中有没有把这些需要启动服务的脚本加入到开 机自动运行中.如果服务器重 ...
- N人报数第M人出列游戏问题(约瑟夫问题)
这是一道华为的机试题,后来才知道也叫约瑟夫问题,题目是这样的:有n个人围成一圈,玩一个游戏,规则为将该n个人编号为1,2,......n, 从编号为1的人开始依次循环报数,报道第m的时候将第m个人从队 ...
- iOS 复选框风格转换 Switchery 开关效果
Switchery 是个简单的 JavaScript 组件,只要几个简单的步骤就可以帮助用户把默认的 HTML 复选框转换成漂亮 iOS 7 样式风格.用户可以很方便的自定义这种转换,所以可以很好的配 ...
- 【转】Linux下创建、销毁、使用 SWAP
转自:http://blog.csdn.net/wxqee/article/details/7970110 创建swap文件方法 1) 创建一个足够大的文件 dd if=/dev/zero of=/l ...
- 【转】linux之e2label命令
转自:http://www.th7.cn/system/lin/201311/46743.shtml 前言 e2label命令,用于获取或设置ext2.ext3文件系统对应的分区的卷标. 卷标:简单来 ...
- [转]inux之touch命令
转自:http://www.2cto.com/os/201309/242518.html Linux学习之touch命令 Linux的touch命令一般用来更改文档或目录的日期时间,包括存取时间和 ...
- [转]对Android开发者有益的40条优化建议
下面是开始Android编程的好方法: 找一些与你想做事情类似的代码 调整它,尝试让它做你像做的事情 经历问题 使用StackOverflow解决问题 对每个你像添加的特征重复上述过程.这种方法能够激 ...