hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar TestDFSIO -write -nrFiles 10 -size 100MB

  1. 14/07/21 21:29:42 INFO mapreduce.Job: Counters: 45
  2. File System Counters
  3. FILE: Number of bytes read=856
  4. FILE: Number of bytes written=872121
  5. FILE: Number of read operations=0
  6. FILE: Number of large read operations=0
  7. FILE: Number of write operations=0
  8. HDFS: Number of bytes read=2320
  9. HDFS: Number of bytes written=1048576079
  10. HDFS: Number of read operations=43
  11. HDFS: Number of large read operations=0
  12. HDFS: Number of write operations=12
  13. Job Counters
  14. Killed map tasks=3
  15. Launched map tasks=13
  16. Launched reduce tasks=1
  17. Data-local map tasks=6
  18. Rack-local map tasks=7
  19. Total time spent by all maps in occupied slots (ms)=1109317
  20. Total time spent by all reduces in occupied slots (ms)=91582
  21. Map-Reduce Framework
  22. Map input records=10
  23. Map output records=50
  24. Map output bytes=750
  25. Map output materialized bytes=910
  26. Input split bytes=1200
  27. Combine input records=0
  28. Combine output records=0
  29. Reduce input groups=5
  30. Reduce shuffle bytes=910
  31. Reduce input records=50
  32. Reduce output records=5
  33. Spilled Records=100
  34. Shuffled Maps =10
  35. Failed Shuffles=0
  36. Merged Map outputs=10
  37. GC time elapsed (ms)=7691
  38. CPU time spent (ms)=30730
  39. Physical memory (bytes) snapshot=2555801600
  40. Virtual memory (bytes) snapshot=11073003520
  41. Total committed heap usage (bytes)=1874329600
  42. Shuffle Errors
  43. BAD_ID=0
  44. CONNECTION=0
  45. IO_ERROR=0
  46. WRONG_LENGTH=0
  47. WRONG_MAP=0
  48. WRONG_REDUCE=0
  49. File Input Format Counters
  50. Bytes Read=1120
  51. File Output Format Counters
  52. Bytes Written=79
  53. 14/07/21 21:29:42 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
  54. 14/07/21 21:29:42 INFO fs.TestDFSIO: Date & time: Mon Jul 21 21:29:42 CST 2014
  55. 14/07/21 21:29:42 INFO fs.TestDFSIO: Number of files: 10
  56. 14/07/21 21:29:42 INFO fs.TestDFSIO: Total MBytes processed: 1000.0
  57. 14/07/21 21:29:42 INFO fs.TestDFSIO: Throughput mb/sec: 3.403479036270876
  58. 14/07/21 21:29:42 INFO fs.TestDFSIO: Average IO rate mb/sec: 4.484561443328857
  59. 14/07/21 21:29:42 INFO fs.TestDFSIO: IO rate std deviation: 1.7674698292439088
  60. 14/07/21 21:29:42 INFO fs.TestDFSIO: Test exec time sec: 190.944

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar TestDFSIO -write -nrFiles 10 -size 1GB

  1. 14/07/21 22:09:57 INFO mapreduce.Job: Counters: 47
  2. File System Counters
  3. FILE: Number of bytes read=875
  4. FILE: Number of bytes written=872159
  5. FILE: Number of read operations=0
  6. FILE: Number of large read operations=0
  7. FILE: Number of write operations=0
  8. HDFS: Number of bytes read=2320
  9. HDFS: Number of bytes written=10737418320
  10. HDFS: Number of read operations=43
  11. HDFS: Number of large read operations=0
  12. HDFS: Number of write operations=12
  13. Job Counters
  14. Failed map tasks=7
  15. Killed map tasks=1
  16. Launched map tasks=18
  17. Launched reduce tasks=1
  18. Other local map tasks=8
  19. Data-local map tasks=6
  20. Rack-local map tasks=4
  21. Total time spent by all maps in occupied slots (ms)=4322906
  22. Total time spent by all reduces in occupied slots (ms)=155182
  23. Map-Reduce Framework
  24. Map input records=10
  25. Map output records=50
  26. Map output bytes=769
  27. Map output materialized bytes=929
  28. Input split bytes=1200
  29. Combine input records=0
  30. Combine output records=0
  31. Reduce input groups=5
  32. Reduce shuffle bytes=929
  33. Reduce input records=50
  34. Reduce output records=5
  35. Spilled Records=100
  36. Shuffled Maps =10
  37. Failed Shuffles=0
  38. Merged Map outputs=10
  39. GC time elapsed (ms)=26386
  40. CPU time spent (ms)=119850
  41. Physical memory (bytes) snapshot=2830766080
  42. Virtual memory (bytes) snapshot=11052699648
  43. Total committed heap usage (bytes)=2014642176
  44. Shuffle Errors
  45. BAD_ID=0
  46. CONNECTION=0
  47. IO_ERROR=0
  48. WRONG_LENGTH=0
  49. WRONG_MAP=0
  50. WRONG_REDUCE=0
  51. File Input Format Counters
  52. Bytes Read=1120
  53. File Output Format Counters
  54. Bytes Written=80
  55. 14/07/21 22:09:59 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
  56. 14/07/21 22:10:00 INFO fs.TestDFSIO: Date & time: Mon Jul 21 22:09:59 CST 2014
  57. 14/07/21 22:10:00 INFO fs.TestDFSIO: Number of files: 10
  58. 14/07/21 22:10:00 INFO fs.TestDFSIO: Total MBytes processed: 10240.0
  59. 14/07/21 22:10:00 INFO fs.TestDFSIO: Throughput mb/sec: 6.388915232072354
  60. 14/07/21 22:10:00 INFO fs.TestDFSIO: Average IO rate mb/sec: 11.30741024017334
  61. 14/07/21 22:10:00 INFO fs.TestDFSIO: IO rate std deviation: 7.81592713288423
  62. 14/07/21 22:10:00 INFO fs.TestDFSIO: Test exec time sec: 556.575

  

环境信息:

x220, i5-2430M, 4G*2, 320G

Windows 7 Ultimate, Vmware 8

Virtual Workstation: 2 cores, 2G, 40G

Hadoop 2.2.0

Hadoop集群基准测试的更多相关文章

  1. 【Hadoop 分布式部署 六:环境问题解决和集群基准测试】

    环境问题: 出现Temporary  failure  in  name  resolutionp-senior-zuoyan.com 的原因有很多,主要就是主机没有解析到, 那就在hadoop的sl ...

  2. [转]大数据hadoop集群硬件选择

      问题导读 1.哪些情况会遇到io受限制? 2.哪些情况会遇到cpu受限制? 3.如何选择机器配置类型? 4.为数据节点/任务追踪器提供的推荐哪些规格? 随着Apache Hadoop的起步,云客户 ...

  3. 为你的 Hadoop 集群选择合适的硬件

    随着Apache Hadoop的起步,云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件. 尽管Hadoop被设计为运行在行业标准的硬件上,提出一个理想的集群配置不想提供硬件 ...

  4. 为Hadoop集群选择合适的硬件配置

    随着Apache Hadoop的起步,云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件. 尽管Hadoop被设计为运行在行业标准的硬件上,提出一个理想的集群配置不想提供硬件 ...

  5. 【Big Data】HADOOP集群的配置(一)

    Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...

  6. Hadoop4 利用VMware搭建自己的hadoop集群

    前言:       前段时间自己学习如何部署伪分布式模式的hadoop环境,之前由于工作比较忙,学习的进度停滞了一段时间,所以今天抽出时间把最近学习的成果和大家分享一下.       本文要介绍的是如 ...

  7. 【Big Data】HADOOP集群的配置(二)

    Hadoop集群的配置(二) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...

  8. docker搭建Hadoop集群

    一个分布式系统基础架构,由Apache基金会所开发. 用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力高速运算和存储. 首先搭建Docker环境,Docker版本大于1.3. ...

  9. 基于Docker快速搭建多节点Hadoop集群--已验证

    Docker最核心的特性之一,就是能够将任何应用包括Hadoop打包到Docker镜像中.这篇教程介绍了利用Docker在单机上快速搭建多节点 Hadoop集群的详细步骤.作者在发现目前的Hadoop ...

随机推荐

  1. log4j配置文件详细解释

    web.xml中配置启动log4j的配置 <!-- webAppRootKey进行配置,这里主要是让log能将日志写到对应项目根目录下 --> <!-- 定义以后,在Web Cont ...

  2. Phonegap中用ajax读取PHP服务器的数据

    直接上代码: HTML: var URL="网站地址&callback=?"; $.ajax({ type : 'GET', url : URL, dataType : ' ...

  3. mysql数据库中查询汉字的拼音首字母

    本人提供的方法有如下特点: 1.代码精简,使用简单,只要会基本的SQL语句就行2.不用建立mysql 函数等复杂的东西3.汉字库最全,可查询20902个汉字 方法如下: 1.建立拼音首字母资料表Sql ...

  4. linux 开机自动启动脚本方法

    通过现场对这次天津iptv demo项目的调测.对iptv这套系统有了更好的认识和理解.由于iptv本身需要安装许多服务.而现场实施中有没有把这些需要启动服务的脚本加入到开 机自动运行中.如果服务器重 ...

  5. N人报数第M人出列游戏问题(约瑟夫问题)

    这是一道华为的机试题,后来才知道也叫约瑟夫问题,题目是这样的:有n个人围成一圈,玩一个游戏,规则为将该n个人编号为1,2,......n, 从编号为1的人开始依次循环报数,报道第m的时候将第m个人从队 ...

  6. iOS 复选框风格转换 Switchery 开关效果

    Switchery 是个简单的 JavaScript 组件,只要几个简单的步骤就可以帮助用户把默认的 HTML 复选框转换成漂亮 iOS 7 样式风格.用户可以很方便的自定义这种转换,所以可以很好的配 ...

  7. 【转】Linux下创建、销毁、使用 SWAP

    转自:http://blog.csdn.net/wxqee/article/details/7970110 创建swap文件方法 1) 创建一个足够大的文件 dd if=/dev/zero of=/l ...

  8. 【转】linux之e2label命令

    转自:http://www.th7.cn/system/lin/201311/46743.shtml 前言 e2label命令,用于获取或设置ext2.ext3文件系统对应的分区的卷标. 卷标:简单来 ...

  9. [转]inux之touch命令

    转自:http://www.2cto.com/os/201309/242518.html Linux学习之touch命令   Linux的touch命令一般用来更改文档或目录的日期时间,包括存取时间和 ...

  10. [转]对Android开发者有益的40条优化建议

    下面是开始Android编程的好方法: 找一些与你想做事情类似的代码 调整它,尝试让它做你像做的事情 经历问题 使用StackOverflow解决问题 对每个你像添加的特征重复上述过程.这种方法能够激 ...