KVM性能优化学习笔记

本学习笔记系列都是采用CentOS6.x操作系统，KVM虚拟机的管理也是采用virsh方式，网上的很多的文章都基于ubuntu高版本内核下，KVM的一些新的特性支持更好，本文只是记录了CentOS6.x系列操作系统下KVM优化的点，有很多都是默认支持开启了的，除了采用virtio方式的磁盘IO，与网络IO接口优化之外，其它真是无需太多优化。

1. CPU性能优化

(1) 服务器或宿主机主板BIOS中开启Intel Virtualization Technology(简称VT), 如果主板支持Intel VT-d,建议开启,一些高级的设备的直接分配功能，需要用到该功能。

[root@node01 ~]# egrep '(vmx|svm)' --color=always /proc/cpuinfo

(2) 将qemu进程绑定到特定的CPU node(CPU)或core(核)上——避免L2/L3 Cache miss

待进一步学习。

2. 内存的优化(CentOS6.5 默认开启）

1）EPT巡址优化(默认开启)，虚拟地址到物理地址的转换。

[root@node01 ~]# egrep '(ept|vpid)' --color=always /proc/cpuinfo   
fpu_exception   : yes    
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts mmx fxsr sse sse2 ss ht syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts xtopology tsc_reliable nonstop_tsc aperfmperf unfair_spinlock pni pclmulqdq vmx ssse3 cx16 pcid sse4_1 sse4_2 x2apic popcnt aes xsave avx f16c rdrand hypervisor lahf_lm ida arat epb xsaveopt pln pts dts tpr_shadow vnmi ept vpid fsgsbase smep    
fpu_exception   : yes    
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts mmx fxsr sse sse2 ss ht syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts xtopology tsc_reliable nonstop_tsc aperfmperf unfair_spinlock pni pclmulqdq vmx ssse3 cx16 pcid sse4_1 sse4_2 x2apic popcnt aes xsave avx f16c rdrand hypervisor lahf_lm ida arat epb xsaveopt pln pts dts tpr_shadow vnmi ept vpid fsgsbase smep

2）开启透明巨页支持

kernel进程khugepaged周期性扫描内存, 自动将地址连续可合并的普通4KB page合并为2MB Hugepage，减少page table.该功能针对KVM虚拟化可能有效果，对于一些特殊服务器，例如数据库等可能会起到相反的结果。

CentOS6.5 默认支持透明巨页,参数查看如下：

# cat /sys/kernel/mm/transparent_hugepage/enabled    
[always] madvise never

# cat /sys/kernel/mm/transparent_hugepage/defrag    
[always] madvise never

# 参数说明:    
never   : 关闭    
alway   : 尽量使用透明内存，扫描内存，有512个4k页面可以整合，就整合成一个2M的页面, 需要使用swap的时候，内存被分割为4k大小.    
madvise : 避免改变内存占用

# 建议宿主机、KVM虚拟机均开启THP、EPT ,性能有很大的提升。

其它: 临时关闭THP方式

echo never > /sys/kernel/mm/transparent_hugepage/enabled   
echo never > /sys/kernel/mm/transparent_hugepage/defrag

3) KSM (Kernel same-page merging) 如果虚拟机内存不会超配，可以禁用KSM。

CentOS系统中KSM默认是关闭的   
# cat /sys/kernel/mm/ksm/run    
0

开启KSM

# echo 1 > /sys/kernel/mm/ksm/run

关闭KSM    
# echo 0 > /sys/kernel/mm/ksm/run

3. 磁盘IO优化

virtio半虚拟化I/O设备框架，标准化guest与host之间数据交换接口，简化流程，减少内存拷贝，提升虚拟机I/O效率

1) virtio-blk  (PCI方式挂盘) virtio默认模式 /dev/vda

2) virtio-SCSI (SCSI方式挂盘)磁盘模式/dev/sda，与真实服务器环境一致，需要高版本内核才支持。等进一步测试。

3) 磁盘缓存模式

writeback    :性能好 （小IO不适用）   
none         :中    
writethrough :下（KVM默认）

4) Native aio: kernel AIO (2%-3%) threaded aio: user space AIO emulated by posix thread workers

5) 块设备IO调度器

CentOS6.5 系统中默认采用的是cfq

# cat /sys/block/sda/queue/scheduler   
noop anticipatory deadline [cfq]

参数说明，其它几种参数可以尝试。   
cfq          :perprocess IO queue  较好公平性，较低aggregate throughput    
deadline     :per-device IO queue  较好实时性，较好aggregate throughput, 不够公平，容易出现VM starvation

可以直接采用如下方式修改：   
# echo "noop" > /sys/block/sda/queue/scheduler    
# cat /sys/block/sda/queue/scheduler          
[noop] anticipatory deadline cfq

4. Network IO

参考学习：http://cloud.51cto.com/art/201412/459638_all.htm

参考学习：http://www.netfoucs.com/article/VICTOR1984/89055.html

1）virtio 本系列KVM虚拟机均是采用该模块，windows操作系统需要单独安装驱动kvm虚拟化学习笔记(五)之windows虚拟机性能调整

2) vhost-net 基于virtio框架的虚拟以太网设备。高版本内核才支持。

说明：上面只是列出优化点，有些还需要进一步的实验进行验证。