Kioskcached(2) 之 使用tcmalloc 替换 ptmalloc
前言
我在 Kioskcached(1)之 Memcached & Redis & Kioskcached 性能测试对比 中找到的一个问题是 malloc
,对于一个内存型数据库,很容易理解,当数据量不断增大的过程中,我们势必需要大量的malloc
内存,但是如果malloc
不给力,性能就会受到影响。glibc
中使用ptmalloc
作为默认的内存分配器,但是还有一些性能更好的第三方工具,例如 TCMalloc, jemalloc ,本篇博客就是我使用TCMalloc
替换掉ptmalloc
之后做的一些测试(同样:本文不具有实际环境的参考性)。
一、为什么要使用TCMalloc?
我直接翻译gperftools
的文档如下 :
TCMalloc is faster than the glibc 2.3 malloc (available as a separate library called ptmalloc2) and other mallocs that I have tested. ptmalloc2 takes approximately 300 nanoseconds to execute a malloc/free pair on a 2.8 GHz P4 (for small objects). The TCMalloc implementation takes approximately 50 nanoseconds for the same operation pair. Speed is important for a malloc implementation because if malloc is not fast enough, application writers are inclined to write their own custom free lists on top of malloc. This can lead to extra complexity, and more memory usage unless the application writer is very careful to appropriately size the free lists and scavenge idle objects out of the free list
TCMalloc
比glibc 2.3 malloc
(又名ptmalloc2
)以及我测试过的其他mallocs
都快。ptmalloc
大概花费300ns
完成一次malloc/free
对在一个2.8GHz 4核
的机器上(对于小对象),但是TCMalloc
只花费大概50ns
的时间,malloc
的速度是非常重要的,程序员倾向于在malloc
上自定义内存分配算法,这可能导致额外的复杂性和更多的内存使用,除非程序员非常小心的调整空闲链表的大小并清除空闲链表的空闲对象。
注意: 对于小对象
有关tcmalloc
的介绍和与其它内存分配器的对比:
http://blog.csdn.net/chosen0ne/article/details/9338591
http://www.360doc.com/content/13/0915/09/8363527_314549128.shtml
二、如何使用
1: 安装方法
$ sudo yum install gperftools-* //RHEL
$ sudo apt-get install gperftools-* //Ubuntu
如果不能安装成功,centos
用户去更换下源:
http://blog.csdn.net/yangbodong22011/article/details/54175193
2:使用方法
非常简单,直接在编译的时候-ltcmalloc
就会自动替换掉ptmalloc
$ gcc xxx.c xxx.c -ltcmalloc
之后可以使用ldd
命令查看可执行文件需要动态链接的库
$ ldd a.out
第三行,可以看到libtcmalloc.so.4
被链接。
三、测试对比
(1):当value为100字节时
使用ptmalloc
1:测试得到的 QPS=365797
2:使用gperftools
测试CPU使用效率:
发现果然_int_malloc
是CPU利用率最高的函数,我们看替换成tcmalloc
之后会有什么效果?
使用tcmalloc
1:测试得到的 QPS=384126
2:使用gperftools
测试CPU使用效率:
可以看到QPS提升了 %5,此时_int_malloc
已经不是影响性能的主要因素,而是Hash函数查找定位的问题。
(2):当value为1000字节时
使用ptmalloc
1:测试得到的 QPS=212892
2:使用gperftools
测试CPU使用效率:
目前read成为了CPU利用率最高的,接着是malloc
。
使用tcmalloc
1:测试得到的 QPS=231351
2:使用gperftools
测试CPU使用效率:
虽然消耗CPU前三位的函数是一样的,但是QPS提升了8 %.
(3):当value为5000字节时
使用ptmalloc
1:测试得到的 QPS=101878
2:使用gperftools
测试CPU使用效率:
使用CPU的前三位的函数已经没有变化了。
使用tcmalloc
1:测试得到的 QPS=105017
2:使用gperftools
测试CPU使用效率:
这时候消耗CPU的前三个函数已经是一样的了,而且QPS也没有多大提升了。
四、总结
使用tcmalloc
替换掉ptmalloc
之后,对于小字节,key
为100
字节的时候,消耗CPU最多的函数已经不是_int_malloc
,说明还是非常有效果的。
当然,我的测试只是插入了100万条数据,效果不太明显,我还测试插入1000万条数据,性能提升了%16
ptmalloc:
tcmalloc:
[完]
Kioskcached(2) 之 使用tcmalloc 替换 ptmalloc的更多相关文章
- 使用tcmalloc替换系统的malloc
https://blog.csdn.net/educast/article/details/79166553?utm_source=blogxgwz0 今天对服务器进行压测,模拟的请求量到4万次/分的 ...
- tcmalloc jemalloc 和ptmalloc 对比
ptmalloc 是glibc的内存分配管理 tcmalloc 是google的内存分配管理模块 jemalloc 是BSD的提供的内存分配管理 三者的性能对比参考从网上的一个图如下: 自己测试了一下 ...
- php Allocator Jemalloc TCMalloc那个内存分配器比较好?
php Allocator Jemalloc TCMalloc那个内存分配器比较好? php一键安装脚本可以选择是否安装内存优化 You have 3 options for your Memory ...
- Redis安装与调试
Redis安装与调试 Redis安装与调试linux版本:64位CentOS 6.5 Redis版本:2.8.17 (更新到2014年10月31日) Redis官网:http://redis.io/ ...
- 如何节省 1TB 图片带宽?解密极致图像压缩
欢迎大家前往云+社区,获取更多腾讯海量技术实践干货哦~ 作者:Gophery 本文由 腾讯技术工程官方号 发布在云+社区 图像已经发展成人类沟通的视觉语言.无论传统互联网还是移动互联网,图像一直占据着 ...
- Linux的虚拟内存管理-如何分配和释放内存,以提高服务器在高并发情况下的性能,从而降低了系统的负载
Linux的虚拟内存管理有几个关键概念: Linux 虚拟地址空间如何分布?malloc和free是如何分配和释放内存?如何查看堆内内存的碎片情况?既然堆内内存brk和sbrk不能直接释放,为什么不全 ...
- 内存优化总结:ptmalloc、tcmalloc和jemalloc(转)
转载于:http://www.cnhalo.net/2016/06/13/memory-optimize/ 概述 需求 系统的物理内存是有限的,而对内存的需求是变化的, 程序的动态性越强,内存管理就越 ...
- 【原创】MySQL5.7.18(ptmalloc VS tcmalloc VS jemalloc)性能测试
ptmalloc(glibc的malloc)是Linux提供的内存分配管理模块,目前我们MySQL默认使用的内存分配模块. tcmalloc是Google提供的内存分配管理模块. jemalloc是F ...
- ptmalloc、tcmalloc和jemalloc
内存优化总结:ptmalloc.tcmalloc和jemalloc 转载 2017年09月05日 18:57:12 3674 转载于:http://www.cnhalo.net/2016/06/13/ ...
随机推荐
- 【原创】linux mint 17.3 kvm 安装windows7虚拟机
一.安装windows7虚拟机 linux mint 17.3是一个不错的桌面发行版本,我下载了 linux mint 17.3 for xfce 桌面版本,运行速度没得说,而且安装设置都挺简单,非常 ...
- 鸿蒙内核源码分析(编译环境篇) | 编译鸿蒙看这篇或许真的够了 | 百篇博客分析OpenHarmony源码 | v50.06
百篇博客系列篇.本篇为: v50.xx 鸿蒙内核源码分析(编译环境篇) | 编译鸿蒙防掉坑指南 | 51.c.h.o 编译构建相关篇为: v50.xx 鸿蒙内核源码分析(编译环境篇) | 编译鸿蒙防掉 ...
- 测试用例 setup 和 和 teardown
前言 学过unittest的都知道里面用前置和后置setup呾teardown非常好用,在每次用例开始前呾结束后都去执行一次.当然迓有更高级一点的 setupClass 呾 teardownClass ...
- Redis之品鉴之旅(一)
Redis之品鉴之旅(一) 好知识就如好酒,需要我们坐下来,静静的慢慢的去品鉴.Redis作为主流nosql数据库,在提升性能的方面是不可或缺的.下面就拿好小板凳,我们慢慢的来一一品鉴. 1)redi ...
- 定制个机器人帮你和Ta聊天
自动聊天示例 这是基于200万聊天记录训练出来的,你可以用自己和女朋友的记录训练了试试效果 至于微信机器人怎么用,你可以 GitHub 搜搜看哈 聊天1: user: 在吗? bot: 在 user: ...
- 深入剖析 Spring WebFlux
一.WebFlux 简介 WebFlux 是 Spring Framework5.0 中引入的一种新的反应式Web框架.通过Reactor项目实现Reactive Streams规范,完全异步和非阻塞 ...
- 极简SpringBoot指南-Chapter02-Spring依赖注入的方式
仓库地址 w4ngzhen/springboot-simple-guide: This is a project that guides SpringBoot users to get started ...
- 树上DFS序在换根时的变化规律
其中\(12324215\)为循环链表,可用双倍空间存(如图)
- CAD网页Web端显示开发为什么要以WebGIS的思路来开发?
背景 在之前的博文CAD图DWG解析WebGIS可视化技术分析总结中讲解了如何把CAD的DWG格式的图纸Web可视化的方案.博文发布后,受到不少同行们的关注,也有不少咨询一些专业问题,其中大家可能疑惑 ...
- TCC分布式事务的实现原理
目录 一.写在前面 二.业务场景介绍 三.进一步思考 四.落地实现TCC分布式事务 (1)TCC实现阶段一:Try (2)TCC实现阶段二:Confirm (3)TCC实现阶段三:Cancel 五.总 ...