性能分析 | Linux 内存占用分析

这篇博客主要介绍 linux 环境下,查看内存占用的两种方式:使用 ps,top等命令:查看/proc/[pid]/下的文件.文章简要介绍了命令的使用方法与一些参数意义,同时对/proc/[pid]/下的文件内容进行了一些详细的介绍.文章内容来自google和自我总结,如有不当之处,欢迎批评指正. 查看Linux内存的方法 linux 下面查看内存有多种渠道,比如通过命令 ps ,top,free, pmap 等,或者通过/proc系统.一般情况下,ps,top,pmap,free可以满足要求,…

linux内存占用分析

概述想必在linux上写过程序的同学都有分析进程占用多少内存的经历,或者被问到这样的问题——你的程序在运行时占用了多少内存(物理内存)?通常我们可以通过top命令查看进程占用了多少内存.这里我们可以看到VIRT.RES和SHR三个重要的指标,他们分别代表什么意思呢?这是本文需要跟大家一起探讨的问题.当然如果更加深入一点,你可能会问进程所占用的那些物理内存都用在了哪些地方?这时候top命令可能不能给到你你所想要的答案了,不过我们可以分析proc文件系统提供的smaps文件,这个文件详尽地列出了当…

Linux内存技术分析（上）

Linux内存技术分析(上) 一．Linux存储器限于存储介质的存取速率和成本,现代计算机的存储结构呈现为金字塔型.越往塔顶,存取效率越高.但成本也越高,所以容量也就越小.得益于程序访问的局部性原理,这种节省成本的做法也能取得不俗的运行效率.从存储器的层次结构以及计算机对数据的处理方式来看,上层一般作为下层的Cache层来使用(广义上的Cache). 比如寄存器缓存CPU Cache的数据,CPU Cache L1~L3层视具体实现彼此缓存或直接缓存内存的数据,而内存往往缓存来自本地磁盘的数据…

Linux内存技术分析（下）

Linux内存技术分析(下) 五.内存使用场景 out of memory 的时代过去了吗?no,内存再充足也不可任性使用. 1.内存的使用场景 page 管理 slab(kmalloc.内存池) 用户态内存使用(malloc.relloc 文件映射.共享内存) 程序的内存 map(栈.堆.code.data) 内核和用户态的数据传递(copy_from_user.copy_to_user) 内存映射(硬件寄存器.保留内存) DMA 内存 2.用户态内存分配函数 alloca 是向栈申请内存,因…

Unity3D–Texture图片空间和内存占用分析（转载）

原地址:http://www.unity蛮牛.com/home.php?mod=space&uid=1801&do=blog&id=756 Texture图片空间和内存占用分析.由于U3D并没有很好的诠释对于图片的处理方式,所以很多人一直对于图集的大小和内存的占用情况都不了解.在此对于U3D的图片问题做一个实际数据的分析.此前的项目都会存在这样或者那样的打包后包大小与内存占用情况的问题,所以这次所以彻彻底底得分析下U3D对于Texture的处理方式.程序里的内存优化请参考<U…

Unity3D–Texture图片空间和内存占用分析

Texture图片空间和内存占用分析.由于U3D并没有很好的诠释对于图片的处理方式,所以很多人一直对于图集的大小和内存的占用情况都不了解.在此对于U3D的图片问题做一个实际数据的分析.此前的项目都会存在这样或者那样的打包后包大小与内存占用情况的问题,所以这次所以彻彻底底得分析下U3D对于Texture的处理方式.程序里的内存优化请参考<Unity3d优化之路>.减少U3D包大小请参考<unity3d之如何将包大小减少到极致>. 我打包多种类型的项目,空项目和10张放在Resourc…

Linux 内存占用较高问题排查

Linux 内存占用较高问题排查 niuhao307523005 2019-04-24 14:31:55 11087 收藏 11展开一查看内存情况#按 k 查看 free #按兆M查看 free -m total:总计物理内存的大小.used:已使用多大.free:可用有多少.Shared:多个进程共享的内存总额.Buffers/cached:磁盘缓存的大小.#所以空闲内存=free+buffers+cached=total-used内存的使用情况cat /proc/meminfo 查看进程…

linux内存负载分析

衡量内存负载的一个很重要的指标就是页面置换的频率.当linux系统频繁的对页进行换进换出的时候,说明物理内存不过,不得不进行频繁的置换页面. 使用vmstat(virtual memory statistics)进行内存负载分析 [oracle@zeng ~]$ vmstat 2 3 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu----- r b swpd free buf…

Windbg分析高内存占用问题

1. 问题简介最近产品发布大版本补丁更新,一商超客户升级后,反馈系统经常奔溃,导致超市的收银系统无法正常收银,现场排队付款的顾客更是抱怨声声.为了缓解现场的情况, 客户都是手动回收IIS应用程序池才能解决. 这样的后果是很严重的,接到反馈,第一时间想到的是加内存吧,这样最快.但是客户从8G-->16G-->32G,只是延长了每次奔溃的时间,但是并没有解决系统卡顿的问题.到这里,也基本猜测了问题所在了,肯定是什么东西一直在吃内存且得不到释放.这种问题,也就只能打Dump分析了. 2. 打Dum…

PHP查询MySQL大量数据的内存占用分析

这篇文章主要是从原理, 手册和源码分析在PHP中查询MySQL返回大量结果时, 内存占用的问题, 同时对使用MySQL C API也有涉及. 昨天, 有同事在PHP讨论群里提到, 他做的一个项目由于MySQL查询返回的结果太多(达10万条), 从而导致PHP内存不够用. 所以, 他问, 在执行下面的代码遍历返回的MySQL结果之前, 数据是否已经在内存中了? - while ($row = mysql_fetch_assoc($result)) { // ... } 当然, 这种问题有许多优化的…

使用heap profiler进行内存占用分析

最近在项目中用到了google的heap profiler工具来分析内存占用,效果非常显著,因此在这里写一篇博客记录一下使用过程中遇到的一些问题. heap profiler依赖于tcmalloc,所以先要在本机安装tcmalloc,安装过程非常的简单.然后开始使用tcmalloc进行编译自己写的程序. 生成堆栈快照先写一段申请大量内存的代码: heap_profiler.cpp #include <iostream> #include <unistd.h> int* creat…

利用Volatility对Linux内存取证分析-常用命令翻译

命令翻译 linux_apihooks - 检查用户名apihooks linux_arp - 打印ARP表 linux_aslr_shift - 自动检测Linux aslr改变 linux_banner - 打印Linux Banner信息 linux_bash - 从bash进程内存中恢复bash历史记录 linux_bash_env - 恢复一个进程的动态环境变量 linux_bash_hash - 从bash进程内存中恢复bash哈希表 linux_check_afinfo - 验证网…

WPF 属性系统依赖属性之内存占用分析

关于WPF的属性系统园子内有不少这方面的文章.里面大都提到了WPF依赖属性的在内存方面的优化.但是里面大都一笔带过.那么WPF到底是怎么样节约内存的.我们通过WPF属性和普通的CLR属性对比来看一下WPF属性在节约内存方面的优势在哪里. 普通的CLR属性 public partial class WindowMemory : Window { Student0 stu; public WindowMemory() { InitializeComponent(); List<Student0>…

Ubuntu free以及Linux内存占用大的解释

-bash-3.00$ free total used free shared buffers cached Mem: 514020 465932 48088 0 15864 348844 -/ buffers/cache: 101224 412796 Swap: 2096440 94916 2001524 总物理内存:512mb 已用了455MB shard:多个进程共享的内存为0,磁盘缓存的大小为340MB 第二行(mem)的used/free与第三行(-/ buffers/cache)…

Spark BlockManager的通信及内存占用分析(源码阅读九）

之前阅读也有总结过Block的RPC服务是通过NettyBlockRpcServer提供打开,即下载Block文件的功能.然后在启动jbo的时候由Driver上的BlockManagerMaster对存在于Executor上的BlockManager统一管理,注册Executor的BlockManager.更新Executor上Block的最新信息.询问所需要Block目前所在的位置以及当Executor运行结束时,将Executor移除等等.那么Driver与Executor之间是怎么交互的呢…

linux 内存使用分析

查看当前内存使用情况,最常用的指令就是 [root@t ~]# free -m total used free shared buffers cached Mem: -/+ buffers/cache: Swap: 其中的相关说明: Mem:表示物理内存统计-/+ buffers/cached:表示物理内存的缓存统计Swap:表示硬盘上交换分区的使用情况 ,它仅代表未被分配的内存,真正有参考意义的是第二行的23386,后面会详细说明.我们使用total1.used1.free1.used2.…

linux 内核源代码情景分析——linux 内存管理的基本框架

386 CPU中的页式存管的基本思路是:通过页面目录和页面表分两个层次实现从线性地址到物理地址的映射.这种映射模式在大多数情况下可以节省页面表所占用的空间.因为大多数进程不会用到整个虚存空间,在虚存空间中通常都留有很大的"空洞".采用两层的方式,只要一个目录项所对应的的那部分空间是个空洞,就可以把该目录项设置为空,从而剩下了与之对应的页面表.当地址的宽度是32时,两层映射机制比较有效也比较合理,但是,当地址的宽度大于32位时就不够有效了. 因此,linux 内核的映射机制设计成3层,在…

Java性能优化权威指南-读书笔记（三）-JVM性能调优-内存占用

新生代.老年代.永久代的概念不多说,这三个空间中任何一个不能满足内存分配请求时,就会发生垃圾收集. 新生代不满足内存分配请求时,发生Minor GC,老年代.永久代不满足内存分配请求时,发生Full GC,Minor GC比Full GC持续的时间要短很多. 所以内存空间设置的不合理就会频繁引起垃圾收集,以及OutOfMemoryError错误,严重影响程序性能. Java堆大小计算法则若你的应用部署在单独的服务器,且该服务器上只有这一个应用,那Java堆肯定是越大越好,但这种情况比较少. J…

Linux 内存占用大排查

用命令 top 查看发现内存使用很高,可用内存很少,导致有些服务无法正常启动. 这时,可以用下面的命令查看占用内存前10的进程,改变 10 的数字,可以调整前几的个数. ps -aux | sort -k4nr | head -n 10 下图解释: 第二行中,第一个红框是进程的名称,第二个红框是占用内存的大小,单位是 KB,其他行以此类推.…

linux内存占用查看

查看内存使用情况 free free -m //显示单位为:兆查看占用内存最高的5个进程ps aux | sort -k4nr | head -n 5 查看占用CPU最高的5个进程ps aux | sort -k3nr | head -n 5…

linux内存占用查看命令

ps -e -o 'pid,comm,args,pcpu,rsz,vsz,stime,user,uid' | grep tomcat | sort -nrk5 其中rsz为实际内存,上例实现按内存排序,由大到小…

项目中Map端内存占用的分析

最近在项目中开展重构活动,对Map端内存尽量要省一些,当前的系统中Map端内存最高占用大概3G左右(设置成2G时会导致Java Heap OOM).虽然个人觉得占用不算多,但是显然这样的结果想要试图去说服一些对内存占用非常挑剔的C++程序员们理由还是不够,于是便通过一定的方式对内存的占用进行了分析,刨根问底. 关于运行时内存占用可以参考文章:http://brandnewuser.iteye.com/blog/2113828, 这里采用的是简单的方式,通过反射将内存MemoryCount…

使用MAT分析Java内存

Overview MAT(Memory Analyzer Tool) 是一个JAVA Heaper分析器,可以用来分析内存泄露和减少内存消耗.分析Process showmap中的/dev/ashmem/dalvik-heap(deleted)一项所占用的Memory.可以参考我写的使用showmap分析系统内存占用情况一文. 下面就将一下如何使用Eclipse MAT分析Android应用程序内存的消耗.所需要的是已经安装ADT和SDK的Eclipse.然后可以在http://www.ecli…

利用MAT分析JVM内存问题，从入门到精通（二）

上一篇文章MAT入门到精通(一)介绍了MAT的使用场景和基本概念,这篇文章开始介绍MAT的基本功能,后面还有两篇,一篇是MAT的高级功能,另一篇是MAT实战案例分析. 三.欢迎页使用MAT打开一个heap dump文件,解析完成后,默认会进入欢迎页,欢迎页里包含了一些常见的分析:最大内存占用分析.常见的分析动作.常用的分析报告.MAT使用教程等等. 我们看下下面这张图,可以看出MAT的主要结构和功能: inspector:透视图,用于展示一个对象的详细信息,例如内存地址.加载器名称.包名.对象…

Linux内存管理 - slab分配器和kmalloc

本文目的在于分析Linux内存管理机制的slab分配器.内核版本为2.6.31.1. SLAB分配器内核需要经常分配内存,我们在内核中最常用的分配内存的方式就是kmalloc了.前面讲过的伙伴系统只支持按页分配内存,但这个单位太大了,有时候我们并不需要这么大的内存,比如我想申请128字节的空间,如果直接使用伙伴系统则需分配4KB的一整页,这显然是浪费. slab分配器将页拆分为更小的单位来管理,来满足小于一页的内存需求.它将连续的几个页划分出更小的部分拿来分配相同类型的内存对象,对象的位置尽量…

java线上应用故障排查之二：高内存占用【转】

前一篇介绍了线上应用故障排查之一:高CPU占用,这篇主要分析高内存占用故障的排查. 搞Java开发的,经常会碰到下面两种异常: 1.java.lang.OutOfMemoryError: PermGen space 2.java.lang.OutOfMemoryError: Java heap space 要详细解释这两种异常,需要简单重提下Java内存模型. (友情提示:本博文章欢迎转载,但请注明出处:hankchen,http://www.blogjava.net/hankchen) Jav…