本章主要介绍计算机的一些基础资源以及操作系统处理后的一些基础资源。

主要包括

  • cpu
  • 内存
  • 磁盘
  • 网络
  • 线程

本章会介绍这些资源的一些原理,介绍如何查看资源的数量,使用情况,对性能和整体计算机执行的一些影响。
本章很多内容都基于linux,不是特殊说明,就是针对linux的情况。可能在其它操作系统不一定适用。

另外还会对jvm之上的一些内容做特殊说明,因为大家很大的一些积累都在jvm之上,内部的系统基本也建立在jvm上。

  • jvm 指令
  • jvm 内存使用

cpu

cpu是计算机里最重要的资源,没有之一,并且在性能优化领域,也是最需要理解的内容。

在代码执行方面,cpu执行代码的最终指令,调度资源,操作内存,对完成一个任务的各个方面都有较大影响。

首先,在linux中查看cpu信息的基础指令是看cpu的硬件信息

cat /proc/cpuinfoo

可以看到cpu的核数,单核的频率,以及cpu支持的一些特性。

另外一个最多接触到的内容是 load average 三联组,在很多命令中都会体现,w,top,uptime等等。

分别表示最近1,5,15分钟的cpu使用压力。

关于cpu的使用%比,和cpu load,是两个相似又有不同的概念,在linux里,cpu%也有不同的解释,具体不同,见下方解释。

cpu使用%

  • top的最上面的部分
  • us 总体用户态cpu的使用%
  • sy 核心态
  • wa cpu等待,这里主要是等待io
    • iowait的产生是因为cpu处理的请求除了iowait之外就没有其它事情可以做了,或者说所有的线程,如果runable状态的都在做io操作
  • id 空闲
  • top中线程上看到的cpu%,是1个cpu对应100%,上面说的几个值是所有cpu对应100%,所以在多cpu的时候,会看到线程已经大于200%了,而上面的数据还很正常

load

  • 主要关注的是等待执行的队列的长度
  • 因为等待的队列长,造成的上下文切换也较多
    • 上下文切换可以看vmstat的cs部分

      •  一般vmstat工具的使用是通过两个数字参数来完成的,第一个参数是采样的时间间隔数,单位是秒,第二个参数是采样的次数,如:
      • 具体vmstat参数请自行google,或者度娘详情,这儿不做介绍
  • 另外如果cpu使用和load不同步,需要注意任务大大小。
    • 如果任务太小,会造成load》cpu%
    • 任务很大,cpu%》load
  • 关于load的值,也是要看cpu的核数,如果load数<=cpu数,表明某个时间段,没有任何任务是需要等待cpu资源才能开始处理的

内存

内存管理

这里主要介绍java虚拟机内部的内存管理。

jvm相关的内存主要分为以下几个部分

  • 方法栈 & 本地方法栈

    • 放大调用堆栈
  • 方法区
    • perm区,类信息元数据,静态对象等
    • 各种对象,new出来的东西
  • Native Memory(C Heap)
    • NIO的DirectBuffer
    • JNI
    • Compile  jit的结果

关键部分堆,按照现在的流行用法又分为

  • 新生代

    • Eden
    • S0
    • S1
  • 老年代

通过java参数,-Xmn可以调整新生代和老年代的大小
-XX:SurvivorRatio 可以调整Eden和S0S1的大小  S1=S0=mn/(SurvivorRatio+2)
-XX:MaxTenuringThreshold 对象在新生代存活的次数

-XX:MaxPermSize 可以调整perm区的大小
-Xss 可以调整方法栈的大小
-XX:MaxDirectMemorySize 可以调整Native Memory的大小

对象在Eden和s0以及老年代的存活一般策略,有例外。

  • new的时候在Eden,Eden满了,做一次YGC
  • 剩余对象放在在S0,清空Eden
  • 继续new,在Eden,Eden满了的时候,做YGC和S0一起做
  • 剩余对象在S1,这个时候,如果有对象在S0或者S1的次数大于MaxTenuringThreshold,这种对象放到Old区
  • 如果S1满了,所有对象到Old区
  • 如果Old区满了,则做fullgc
  • 依次循环

从使用上来说,最满意的方式是,经过几轮往old区晋升后,old区趋于不变。old区可以存放一些类似于缓存对象等等,容器相关对象等需要长期生存的对象。
Eden区和S0区够大,对象在新生代的存活时间不超过MaxTenuringThreshold。

基本做法,从开始就把对象往2个方向设计,是长期存活,或者短期存活。
合理设计新老生代大小。

对内存的优化,其实主要也体现在对cpu时间使用上,包含对象创建,老对象地址查找,对象垃圾收集,我们能做的是尽量少的创建对象,以及尽量少的垃圾收集,对于老对象地址的查找,暂时没有太多方法。

内存泄露

内存泄露,主要涉及到垃圾收集方法,现在流行的方法,是通过一些gcroot,来查找所有在用的对象,保存下来,其它对象都gc掉。

一般的gcroot有以下一些类型的对象

  • 当前存活的线程
  • 当前load的class
  • 存活的线程栈上的方法参数和本地参数
  • jni相关的global信息,以及相关栈上的方法参数,和本地参数
  • 同步的时候用的monitor对象
  • jvm的一些保留对象

如果有对象和这些相关的内容一直没有脱开关系,就有可能造成内存溢出。

一些典型的案例

  • 某个应用使用了一个类上的static map 做为缓存,key越来越多,最后就溢出了
  • 某个应用需要动态创建类型,如果这个对象创建一直使用同一个classloader,最后就会造成load的class越来越多,perm区溢出

需要区分对待内存溢出和内存使用过快,以及相关的转化过程

查看配置的主要方式

通过以下命令,可以看到你想要的配置,如果有其它参数在线上有配置的,直接加上参数。

java -server -Xmx128m -XX:+PrintFlagsFinal | grep MaxHeapSize

jvm 指令

java的代码在编译成class之后,就变成了jvm可以认识的特定格式了,具体格式,大家可以参考jvm虚拟机规范。

最近的几个版本,可以在这里拿到,这个地址上也包好java语言的规范,2者的区别是,一个是介绍如何编写java虚拟机的,一个是介绍如何编写java代码的。

http://docs.oracle.com/javase/specs/

抛开jit,java就是针对jvm指令,一步一步执行的。

jvm对编译前的语言没有任何要求,所有现在有很多基于jvm的其它语法的语言,如scala,groovy,jruby等等。

而asm就是一套认识jvm指令,或者说是class文件格式的工具。

jvm在加载class的时候,提供了某些功能,可以让人为修改class对象,或者说是修改class最终加载到jvm的字节流。

通过asm对class字节流的修改,修改了class实际执行的行为,而达到我们的目的。

一些简单的例子

  • 通过解析class,在特定的一些类的方法前后,加入代码,方法的开头记录一个当前时间,方法结束的时候,再做一个当前时间和之前记录的时间的比较,就是一个简单执行时间profiler
  • 通过对某个类的构造器方法的监控,可以找到所有这个类以及子类的创建数量
  • 通过对类方法的调用的参数和结果返回,可以记录方法的一些具体参数和结果,用于debug,或者确认方法是否被调用过
  • 通过对方法开头的拦截,直接返回自己想要的结果,就是一个调用mock框架

《~~~后续更精彩~~~》

性能优化之基础资源cpu&内存(JVM)的更多相关文章

  1. 【转】Spark性能优化指南——基础篇

    http://mp.weixin.qq.com/s?__biz=MjM5NDMwNjMzNA==&mid=2651805828&idx=1&sn=2f413828d1fdc6a ...

  2. Spark性能优化指南——基础篇

    本文转自:http://tech.meituan.com/spark-tuning-basic.html 感谢原作者 前言 在大数据计算领域,Spark已经成为了越来越流行.越来越受欢迎的计算平台之一 ...

  3. Spark性能优化指南——基础篇(转)

    [转]Spark性能优化指南——基础篇 http://mp.weixin.qq.com/s?__biz=MjM5NDMwNjMzNA==&mid=2651805828&idx=1&am ...

  4. 【转载】 Spark性能优化指南——基础篇

    转自:http://tech.meituan.com/spark-tuning-basic.html?from=timeline 前言 开发调优 调优概述 原则一:避免创建重复的RDD 原则二:尽可能 ...

  5. Spark性能优化指南——基础篇(转载)

    前言 在大数据计算领域,Spark已经成为了越来越流行.越来越受欢迎的计算平台之一.Spark的功能涵盖了大数据领域的离线批处理.SQL类处理.流式/实时计算.机器学习.图计算等各种不同类型的计算操作 ...

  6. Spark性能优化指南——基础篇转

    前言 在大数据计算领域,Spark已经成为了越来越流行.越来越受欢迎的计算平台之一.Spark的功能涵盖了大数据领域的离线批处理.SQL类处理.流式/实时计算.机器学习.图计算等各种不同类型的计算操作 ...

  7. Spark性能优化指南--基础篇

    前言 开发调优 调优概述 原则一:避免创建重复的RDD 原则二:尽可能复用同一个RDD 原则三:对多次使用的RDD进行持久化 原则四:尽量避免使用shuffle类算子 原则五:使用map-side预聚 ...

  8. Android性能优化之利用LeakCanary检测内存泄漏及解决办法

    前言: 最近公司C轮融资成功了,移动团队准备扩大一下,需要招聘Android开发工程师,陆陆续续面试了几位Android应聘者,面试过程中聊到性能优化中如何避免内存泄漏问题时,很少有人全面的回答上来. ...

  9. 有关javascript的性能优化(合理的管理内存)

    使用具备垃圾收集机制的语言编写程序,开发人员一般不必操心内存管理的问题.但是,Javascript在进行内存管理及收集时面临的问题是有点与众不同.其中最主要的一个问题是分配给Web浏览器的可用内存数量 ...

随机推荐

  1. atomic integer 实现

    public final int getAndAddInt(Object o, long offset, int delta) { int v; do { v = getIntVolatile(o, ...

  2. Eclipse安装使用

    1.访问https://www.eclipse.org/downloads/下载最新的Eclipse工具包或者百度通过其他路径下载需要的版本 2.下载完成后将压缩包进行解压的得到相应的文件 3.进入解 ...

  3. NGUI-UIProgressBar,UIScrollBar,UISlider

    UIProgressBar是UIScrollBar和UISlider的基类 1.先来看下UIProgressBar(进度条)的使用 层次: progressBar的Inspector视图: 而fore ...

  4. 孤荷凌寒自学python第三十五天python的文件操作之针对文件操作的os模块的相关内容

     孤荷凌寒自学python第三十五天python的文件操作之针对文件操作的os模块的相关内容 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 一.打开文件后,要务必记得关闭,所以一般的写法应当 ...

  5. 调整CodeIgniter错误报告级别

    修改位置:CI根目录 index.php 为开发环境与生产环境定义错误报告级别 if (defined('ENVIRONMENT')) { switch (ENVIRONMENT) { case 'd ...

  6. vue实现数据的增删改查

    在管理员的一些后台页面里,个人中心里的数据列表里,都会有对这些数据进行增删改查的操作.比如在管理员后台的用户列表里,我们可以录入新用户的信息,也可以对既有的用户信息进行修改.在vue中,我们更应该专注 ...

  7. ACM基础算法入门及题目列表

    对于刚进入大学的计算机类同学来说,算法与程序设计竞赛算是不错的选择,因为我们每天都在解决问题,锻炼着解决问题的能力. 这里以TZOJ题目为例,如果为其他平台题目我会标注出来,同时我的主页也欢迎大家去访 ...

  8. Pandas根据条件赋值

    我们有以下判断条件,我们想要更改B中的数, 而更改的位置是取决于 A 的. 对于A大于4的位置. 更改B在相应位置上的数为0. df.B[df.A>4] = 0

  9. [错误解决]pandas DataFrame中经常出现SettingWithCopyWarning

    先从原dataframe取出一个子dataframe,然后再对其中的元素赋值,例如 s = d[d['col_1'] == 0] s.loc[:, 'col_2'] = 1 就会出现报错: Setti ...

  10. 软工实践 - 第十九次作业 Alpha 冲刺 (10/10)

    队名:起床一起肝活队 组长博客:https://www.cnblogs.com/dawnduck/p/10046955.htmlz 作业博客:班级博客本次作业的链接 组员情况 组员1(队长):白晨曦 ...