RHEL6 kernel bug在hadoop上的测试
最近给hadoop集群升级了RHEL6,发现性能比之前的差了不少。发现淘宝内核组发现并解决了这个问题
于是在测试机器上面跑了一下对比,收货很大:
环境介绍:
测试机型:IBM X3630 M3 48G 12X2TSAS
集群:master 1台,salve3台
测试方式:官方terasort
测试数据:100G (10亿条,每条100字节)
Map个数:736
Reduce个数:30
测试结果:
- 1. Job用时对比:
|
1 |
2 |
3 |
4 |
5 |
6 |
7 |
平均用时 |
自带内核用时 |
7m30s |
8m10s |
8m7s |
8m15s |
8m6s |
8m3s |
8m16s |
8m8s |
打patch后用时 |
6m40s |
6m45s |
6m44s |
6m45s |
6m49s |
6m53s |
7m1s |
6m48s |
七次平均用时对比(去掉最大最小取平均),打patch后用时少了16%。
- 2. BenchMark数据对比
BenchMark |
自带内核 |
打patch后 |
对比 |
ReduceShufferTime |
2804003 |
1950012 |
下降30% |
ReduceSortTime |
122149 |
113363 |
下降7% |
MapNextKeyTime |
3503416 |
3629686 |
上升4% |
ReduceNextKeyTime |
56035 |
57081 |
上升2% |
ReduceUserTime |
2319175 |
1881118 |
下降19% |
MapUserTime |
6621552 |
5504168 |
下降17% |
CPU time spent (ms) |
20498470 |
16503790 |
下降19% |
Total committed heap usage (byte) |
595103383552 |
594591481856 |
持平 |
Physical memorg (bytes) |
363650875392 |
353246367744 |
持平 |
Virtual memory (bytes) |
1561136439296 |
1560911613952 |
持平 |
- 3. 系统状况
没有使用ganglia等工具,大体数据如下:
|
cpu峰值 |
load峰值 |
内存使用 |
自带内核用时 |
92% |
40 |
8% |
打patch后用时 |
90% |
32 |
10% |
- 4. 结论
从测试数据看,无论是直观的job用时,还是benchmark数据,打patch后性能均有明显的提升。
BenchMark的耗时在shuffle阶段提升最明显,shuffle阶段也正是IO最密集的时候,跟原文对IO的改进基本吻合。
RHEL6 kernel bug在hadoop上的测试的更多相关文章
- 线上centos6出现软死锁 kernel:BUG: soft lockup
线上centos6出现软死锁 kernel:BUG: soft lockup 今天线上一台centos6机器用xshell一直连接不上,然后在xshell上显示 Message from syslog ...
- 让python在hadoop上跑起来
duang~好久没有更新博客啦,原因很简单,实习啦-好吧,我过来这边上班表示觉得自己简直弱爆了.第一周,配置环境:第二周,将数据可视化,包括学习了excel2013的一些高大上的技能,例如数据透视表和 ...
- 在Hadoop上运行基于RMM中文分词算法的MapReduce程序
原文:http://xiaoxia.org/2011/12/18/map-reduce-program-of-rmm-word-count-on-hadoop/ 在Hadoop上运行基于RMM中文分词 ...
- I.MX6 Kernel BUG at include/linux/netdevice.h:520!
/*************************************************************************** * I.MX6 Kernel BUG at i ...
- 在Hadoop上用Python实现WordCount
一.简单说明 本例中我们用Python写一个简单的运行在Hadoop上的MapReduce程序,即WordCount(读取文本文件并统计单词的词频).这里我们将要输入的单词文本input.txt和Py ...
- 【技术博客】Postman接口测试教程 - 环境、附加验证、文件上传测试
Postman接口测试教程 - 环境.附加验证.文件上传测试 v1.0 作者:ZBW 前言 继利用Postman和Jmeter进行接口性能测试之后,我们发现Postman作为一款入门容易的工具,其内置 ...
- [转帖]上云测试,这些关键点你get 到没有
上云测试,这些关键点你get 到没有 https://www.cnblogs.com/mypm/p/10852656.html?tdsourcetag=s_pcqq_aiomsg sticky 还有s ...
- 分布式文件系统 - FastDFS 配置 Nginx 模块及上传测试
也不说废话,直接干 上一篇 分布式文件系统 - FastDFS 在 CentOS 下配置安装部署 中安装了 FastDFS 后,并配置启动了 Tracker 和 Storage 服务,已经可以上传文件 ...
- 微软官方网站线上兼容测试平台-Browser screenshots
前端开发时最不想做的就是在不同浏览器.平台和分辨率测试网页显示效果,通常这会浮现许多问题,尤其浏览器版本就可能让显示成效完全不同,也只好尽力维持让每一种设备都能正常浏览网页.修改到完全没有问题必须投入 ...
随机推荐
- P2505 [HAOI2012]道路
传送门 统计每条边被最短路经过几次,点数不大,考虑计算以每个点为起点时对其他边的贡献 对于某个点 $S$ 为起点的贡献,首先跑一遍最短路,建出最短路的 $DAG$ 考虑 $DAG$ 上的某条边被以 $ ...
- react随笔
对React children 的深入理解 https://www.jianshu.com/p/d1975493b5ea [react]利用prop-types第三方库对组件的props中的变 ...
- Mysql 服务器管理程序 mysqladmin
mysqladmin [oprions] command 选项 说明 create db_name ...
- intel RDT技术管理cache和memory_bandwidth
主页:https://www.intel.com/content/www/us/en/architecture-and-technology/resource-director-technology. ...
- MongoDB与python 交互
一.安装pymongo 注意 :当同时安装了python2和python3,为区分两者的pip,分别取名为pip2和pip3. 推荐:https://www.cnblogs.com/thunderLL ...
- fhq_treap || BZOJ 3224: Tyvj 1728 普通平衡树 || Luogu P3369 【模板】普通平衡树
题面:[模板]普通平衡树 代码: #include<cstdio> #include<cstring> #include<iostream> #include< ...
- vue2.0 之 生命周期
一.vue1.x与vue2.x生命周期的变化区别及含义表(图表摘自网络) 二.vue2.x生命周期图和各阶段具体含义 beforecreated:el 和 data 并未初始化 created: ...
- java Byte源码分析
源码: public static int toUnsignedInt(byte x) { return ((int) x) & 0xff; } 原理: -128(byte) 原码:10000 ...
- postman(三):详解postman动态变量使用
参考: Variables Dynamic variables
- ThinkPHP生成静态页buildHtml方法
原来ThinkPHP自带了生成静态页的函数buildHtml,使用起来很方便!最新的手册里没写这个方法,向大家介绍一下. PHP 1 2 3 4 5 6 7 8 9 10 11 protect ...