最近给hadoop集群升级了RHEL6,发现性能比之前的差了不少。发现淘宝内核组发现并解决了这个问题

原文链接:http://blog.donghao.org/2013/03/20/hadoop%E9%9B%86%E7%BE%A4%E4%B8%8A%E6%8D%89%E5%88%B0kernel-bug%E4%B8%80%E4%B8%AA/

于是在测试机器上面跑了一下对比,收货很大:

环境介绍:

测试机型:IBM X3630 M3 48G 12X2TSAS

集群:master 1台,salve3台

测试方式:官方terasort

测试数据:100G  (10亿条,每条100字节)

Map个数:736

Reduce个数:30

测试结果:

  1. 1.   Job用时对比:

 

1

2

3

4

5

6

7

平均用时

自带内核用时

7m30s

8m10s

8m7s

8m15s

8m6s

8m3s

8m16s

8m8s

打patch后用时

6m40s

6m45s

6m44s

6m45s

6m49s

6m53s

7m1s

6m48s

七次平均用时对比(去掉最大最小取平均),打patch后用时少了16%。

  1. 2.    BenchMark数据对比

BenchMark

自带内核

patch

对比

ReduceShufferTime

2804003

1950012

下降30%

ReduceSortTime

122149

113363

下降7%

MapNextKeyTime

3503416

3629686

上升4%

ReduceNextKeyTime

56035

57081

上升2%

ReduceUserTime

2319175

1881118

下降19%

MapUserTime

6621552

5504168

下降17%

CPU time spent (ms)

20498470

16503790

下降19%

Total committed heap usage (byte)

595103383552

594591481856

持平

Physical memorg (bytes)

363650875392

353246367744

持平

Virtual memory (bytes)

1561136439296

1560911613952

持平

  1. 3.      系统状况

没有使用ganglia等工具,大体数据如下:

 

cpu峰值

load峰值

内存使用

自带内核用时

92%

40

8%

打patch后用时

90%

32

10%

  1. 4.      结论

从测试数据看,无论是直观的job用时,还是benchmark数据,打patch后性能均有明显的提升。

BenchMark的耗时在shuffle阶段提升最明显,shuffle阶段也正是IO最密集的时候,跟原文对IO的改进基本吻合。

RHEL6 kernel bug在hadoop上的测试的更多相关文章

  1. 线上centos6出现软死锁 kernel:BUG: soft lockup

    线上centos6出现软死锁 kernel:BUG: soft lockup 今天线上一台centos6机器用xshell一直连接不上,然后在xshell上显示 Message from syslog ...

  2. 让python在hadoop上跑起来

    duang~好久没有更新博客啦,原因很简单,实习啦-好吧,我过来这边上班表示觉得自己简直弱爆了.第一周,配置环境:第二周,将数据可视化,包括学习了excel2013的一些高大上的技能,例如数据透视表和 ...

  3. 在Hadoop上运行基于RMM中文分词算法的MapReduce程序

    原文:http://xiaoxia.org/2011/12/18/map-reduce-program-of-rmm-word-count-on-hadoop/ 在Hadoop上运行基于RMM中文分词 ...

  4. I.MX6 Kernel BUG at include/linux/netdevice.h:520!

    /*************************************************************************** * I.MX6 Kernel BUG at i ...

  5. 在Hadoop上用Python实现WordCount

    一.简单说明 本例中我们用Python写一个简单的运行在Hadoop上的MapReduce程序,即WordCount(读取文本文件并统计单词的词频).这里我们将要输入的单词文本input.txt和Py ...

  6. 【技术博客】Postman接口测试教程 - 环境、附加验证、文件上传测试

    Postman接口测试教程 - 环境.附加验证.文件上传测试 v1.0 作者:ZBW 前言 继利用Postman和Jmeter进行接口性能测试之后,我们发现Postman作为一款入门容易的工具,其内置 ...

  7. [转帖]上云测试,这些关键点你get 到没有

    上云测试,这些关键点你get 到没有 https://www.cnblogs.com/mypm/p/10852656.html?tdsourcetag=s_pcqq_aiomsg sticky 还有s ...

  8. 分布式文件系统 - FastDFS 配置 Nginx 模块及上传测试

    也不说废话,直接干 上一篇 分布式文件系统 - FastDFS 在 CentOS 下配置安装部署 中安装了 FastDFS 后,并配置启动了 Tracker 和 Storage 服务,已经可以上传文件 ...

  9. 微软官方网站线上兼容测试平台-Browser screenshots

    前端开发时最不想做的就是在不同浏览器.平台和分辨率测试网页显示效果,通常这会浮现许多问题,尤其浏览器版本就可能让显示成效完全不同,也只好尽力维持让每一种设备都能正常浏览网页.修改到完全没有问题必须投入 ...

随机推荐

  1. P2505 [HAOI2012]道路

    传送门 统计每条边被最短路经过几次,点数不大,考虑计算以每个点为起点时对其他边的贡献 对于某个点 $S$ 为起点的贡献,首先跑一遍最短路,建出最短路的 $DAG$ 考虑 $DAG$ 上的某条边被以 $ ...

  2. react随笔

    对React children 的深入理解     https://www.jianshu.com/p/d1975493b5ea [react]利用prop-types第三方库对组件的props中的变 ...

  3. Mysql 服务器管理程序 mysqladmin

    mysqladmin [oprions] command 选项                                      说明 create db_name               ...

  4. intel RDT技术管理cache和memory_bandwidth

    主页:https://www.intel.com/content/www/us/en/architecture-and-technology/resource-director-technology. ...

  5. MongoDB与python 交互

    一.安装pymongo 注意 :当同时安装了python2和python3,为区分两者的pip,分别取名为pip2和pip3. 推荐:https://www.cnblogs.com/thunderLL ...

  6. fhq_treap || BZOJ 3224: Tyvj 1728 普通平衡树 || Luogu P3369 【模板】普通平衡树

    题面:[模板]普通平衡树 代码: #include<cstdio> #include<cstring> #include<iostream> #include< ...

  7. vue2.0 之 生命周期

     一.vue1.x与vue2.x生命周期的变化区别及含义表(图表摘自网络)   二.vue2.x生命周期图和各阶段具体含义 beforecreated:el 和 data 并未初始化 created: ...

  8. java Byte源码分析

    源码: public static int toUnsignedInt(byte x) { return ((int) x) & 0xff; } 原理: -128(byte) 原码:10000 ...

  9. postman(三):详解postman动态变量使用

    参考: Variables Dynamic variables

  10. ThinkPHP生成静态页buildHtml方法

    原来ThinkPHP自带了生成静态页的函数buildHtml,使用起来很方便!最新的手册里没写这个方法,向大家介绍一下. PHP 1 2 3 4 5 6 7 8 9 10 11     protect ...