KVM虚拟机内存不足，调整参数
Dec :: vgfs001 kernel: tiotest_AMD_x86 invoked oom-killer: gfp_mask=0x200da, order=, oom_adj=, oom_score_adj=
Dec :: vgfs001 kernel: tiotest_AMD_x86 cpuset=/ mems_allowed=
Dec :: vgfs001 kernel: Pid: , comm: tiotest_AMD_x86 Not tainted 2.6.-431.29..lustre.el6.x86_64 #
Dec :: vgfs001 kernel: Call Trace:
Dec :: vgfs001 kernel: [<ffffffff810d07b1>] ? cpuset_print_task_mems_allowed+0x91/0xb0
Dec :: vgfs001 kernel: [<ffffffff81122b80>] ? dump_header+0x90/0x1b0
Dec :: vgfs001 kernel: [<ffffffff8122894c>] ? security_real_capable_noaudit+0x3c/0x70
Dec :: vgfs001 kernel: [<ffffffff81123002>] ? oom_kill_process+0x82/0x2a0
Dec :: vgfs001 kernel: [<ffffffff81122f41>] ? select_bad_process+0xe1/0x120
Dec :: vgfs001 kernel: [<ffffffff81123440>] ? out_of_memory+0x220/0x3c0
Dec :: vgfs001 kernel: [<ffffffff8112fd5f>] ? __alloc_pages_nodemask+0x89f/0x8d0
Dec :: vgfs001 kernel: [<ffffffff81167cea>] ? alloc_pages_current+0xaa/0x110
Dec :: vgfs001 kernel: [<ffffffff8111ff77>] ? __page_cache_alloc+0x87/0x90
Dec :: vgfs001 kernel: [<ffffffff81120c8e>] ? grab_cache_page_write_begin+0x8e/0xc0
Dec :: vgfs001 kernel: [<ffffffffa0a8f228>] ? ll_write_begin+0x58/0x1a0 [lustre]
Dec :: vgfs001 kernel: [<ffffffff811204f3>] ? generic_file_buffered_write+0x123/0x2e0
Dec :: vgfs001 kernel: [<ffffffff81078fd7>] ? current_fs_time+0x27/0x30
Dec :: vgfs001 kernel: [<ffffffff81121f50>] ? __generic_file_aio_write+0x260/0x490
Dec :: vgfs001 kernel: [<ffffffffa05211a5>] ? cl_env_info+0x15/0x20 [obdclass]
Dec :: vgfs001 kernel: [<ffffffff81122208>] ? generic_file_aio_write+0x88/0x100
Dec :: vgfs001 kernel: [<ffffffffa0aa3907>] ? vvp_io_write_start+0x137/0x2a0 [lustre]
Dec :: vgfs001 kernel: [<ffffffffa05301da>] ? cl_io_start+0x6a/0x140 [obdclass]
Dec :: vgfs001 kernel: [<ffffffffa05348e4>] ? cl_io_loop+0xb4/0x1b0 [obdclass]
Dec :: vgfs001 kernel: [<ffffffffa0a46306>] ? ll_file_io_generic+0x2a6/0x610 [lustre]
Dec :: vgfs001 kernel: [<ffffffffa0a47192>] ? ll_file_aio_write+0x142/0x2c0 [lustre]
Dec :: vgfs001 kernel: [<ffffffffa0a4747c>] ? ll_file_write+0x16c/0x2a0 [lustre]
Dec :: vgfs001 kernel: [<ffffffff81189298>] ? vfs_write+0xb8/0x1a0
Dec :: vgfs001 kernel: [<ffffffff81189c61>] ? sys_write+0x51/0x90
Dec :: vgfs001 kernel: [<ffffffff810e204e>] ? __audit_syscall_exit+0x25e/0x290
Dec :: vgfs001 kernel: [<ffffffff8100b072>] ? system_call_fastpath+0x16/0x1b
Dec :: vgfs001 kernel: Mem-Info:
Dec :: vgfs001 kernel: Node DMA per-cpu:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: Node DMA32 per-cpu:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: Node Normal per-cpu:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: CPU : hi: , btch: usd:
Dec :: vgfs001 kernel: active_anon: inactive_anon: isolated_anon:
Dec :: vgfs001 kernel: active_file: inactive_file: isolated_file:
Dec :: vgfs001 kernel: unevictable: dirty: writeback: unstable:
Dec :: vgfs001 kernel: free: slab_reclaimable: slab_unreclaimable:
Dec :: vgfs001 kernel: mapped: shmem: pagetables: bounce:
Dec :: vgfs001 kernel: Node DMA free:15708kB min:80kB low:100kB high:120kB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15320kB mlocked:0kB dirty:0kB writeback:0kB mapped:0kB shmem:0kB slab_reclaimable:0kB slab_unreclaimable:0kB kernel_stack:0kB pagetables:0kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned: all_unreclaimable? yes
Dec :: vgfs001 kernel: lowmem_reserve[]:
Dec :: vgfs001 kernel: Node DMA32 free:53892kB min:19596kB low:24492kB high:29392kB active_anon:4kB inactive_anon:44kB active_file:1249260kB inactive_file:1249288kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:3596496kB mlocked:0kB dirty:3436kB writeback:4180kB mapped:0kB shmem:0kB slab_reclaimable:24608kB slab_unreclaimable:689432kB kernel_stack:8kB pagetables:196kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned: all_unreclaimable? no
Dec :: vgfs001 kernel: lowmem_reserve[]:
Dec :: vgfs001 kernel: Node Normal free:47588kB min:47900kB low:59872kB high:71848kB active_anon:4792020kB inactive_anon:685556kB active_file:943652kB inactive_file:944700kB unevictable:0kB isolated(anon):384kB isolated(file):0kB present:8791040kB mlocked:0kB dirty:160kB writeback:5188kB mapped:4128kB shmem:0kB slab_reclaimable:17948kB slab_unreclaimable:816972kB kernel_stack:5040kB pagetables:22256kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned: all_unreclaimable? no
Dec :: vgfs001 kernel: lowmem_reserve[]:
Dec :: vgfs001 kernel: Node DMA: *4kB *8kB *16kB *32kB *64kB *128kB *256kB *512kB *1024kB *2048kB *4096kB = 15708kB
Dec :: vgfs001 kernel: Node DMA32: *4kB *8kB *16kB *32kB *64kB *128kB *256kB *512kB *1024kB *2048kB *4096kB = 53892kB
Dec :: vgfs001 kernel: Node Normal: *4kB *8kB *16kB *32kB *64kB *128kB *256kB *512kB *1024kB *2048kB *4096kB = 47084kB
Dec :: vgfs001 kernel: total pagecache pages
Dec :: vgfs001 kernel: pages in swap cache
Dec :: vgfs001 kernel: Swap cache stats: add , delete , find /
Dec :: vgfs001 kernel: Free swap = 3377416kB
Dec :: vgfs001 kernel: Total swap = 4194300kB
Dec :: vgfs001 kernel: pages RAM
Dec :: vgfs001 kernel: pages reserved
Dec :: vgfs001 kernel: pages shared
Dec :: vgfs001 kernel: pages non-shared
Dec :: vgfs001 kernel: [ pid ] uid tgid total_vm rss cpu oom_adj oom_score_adj name
Dec :: vgfs001 kernel: [ ] - - udevd
Dec :: vgfs001 kernel: [ ] - - auditd
Dec :: vgfs001 kernel: [ ] rsyslogd
Dec :: vgfs001 kernel: [ ] irqbalance
Dec :: vgfs001 kernel: [ ] rpcbind
Dec :: vgfs001 kernel: [ ] dbus-daemon
Dec :: vgfs001 kernel: [ ] rpc.statd
Dec :: vgfs001 kernel: [ ] cupsd
Dec :: vgfs001 kernel: [ ] acpid
Dec :: vgfs001 kernel: [ ] hald
Dec :: vgfs001 kernel: [ ] hald-runner
Dec :: vgfs001 kernel: [ ] hald-addon-inpu
Dec :: vgfs001 kernel: [ ] hald-addon-acpi
Dec :: vgfs001 kernel: [ ] automount
Dec :: vgfs001 kernel: [ ] - - sshd
Dec :: vgfs001 kernel: [ ] master
Dec :: vgfs001 kernel: [ ] qmgr
Dec :: vgfs001 kernel: [ ] abrtd
Dec :: vgfs001 kernel: [ ] ksmtuned
Dec :: vgfs001 kernel: [ ] crond
Dec :: vgfs001 kernel: [ ] atd
Dec :: vgfs001 kernel: [ ] python
Dec :: vgfs001 kernel: [ ] libvirtd
Dec :: vgfs001 kernel: [ ] rhsmcertd
Dec :: vgfs001 kernel: [ ] dnsmasq
Dec :: vgfs001 kernel: [ ] certmonger
Dec :: vgfs001 kernel: [ ] gdm-binary
Dec :: vgfs001 kernel: [ ] mingetty
Dec :: vgfs001 kernel: [ ] mingetty
Dec :: vgfs001 kernel: [ ] mingetty
Dec :: vgfs001 kernel: [ ] mingetty
Dec :: vgfs001 kernel: [ ] mingetty
Dec :: vgfs001 kernel: [ ] - - udevd
Dec :: vgfs001 kernel: [ ] - - udevd
Dec :: vgfs001 kernel: [ ] gdm-simple-slav
Dec :: vgfs001 kernel: [ ] Xorg
Dec :: vgfs001 kernel: [ ] console-kit-dae
Dec :: vgfs001 kernel: [ ] dbus-launch
Dec :: vgfs001 kernel: [ ] dbus-daemon
Dec :: vgfs001 kernel: [ ] gnome-session
Dec :: vgfs001 kernel: [ ] devkit-power-da
Dec :: vgfs001 kernel: [ ] gconfd-
Dec :: vgfs001 kernel: [ ] gnome-settings-
Dec :: vgfs001 kernel: [ ] at-spi-registry
Dec :: vgfs001 kernel: [ ] bonobo-activati
Dec :: vgfs001 kernel: [ ] gvfsd
Dec :: vgfs001 kernel: [ ] metacity
Dec :: vgfs001 kernel: [ ] gnome-power-man
Dec :: vgfs001 kernel: [ ] polkit-gnome-au
Dec :: vgfs001 kernel: [ ] gdm-simple-gree
Dec :: vgfs001 kernel: [ ] polkitd
Dec :: vgfs001 kernel: [ ] pulseaudio
Dec :: vgfs001 kernel: [ ] rtkit-daemon
Dec :: vgfs001 kernel: [ ] gdm-session-wor
Dec :: vgfs001 kernel: [] sshd
Dec :: vgfs001 kernel: [] bash
Dec :: vgfs001 kernel: [ ] lwfsd
Dec :: vgfs001 kernel: [ ] pickup
Dec :: vgfs001 kernel: [ ] sleep
Dec :: vgfs001 kernel: [ ] tiotest_AMD_x86
Dec :: vgfs001 kernel: Out of memory: Kill process (lwfsd) score or sacrifice child
Dec :: vgfs001 kernel: Killed process , UID , (lwfsd) total-vm:6846436kB, anon-rss:4742528kB, file-rss:20040kB
这里是从Lustre的入口导致的oom，但实际上，其他入口例如KVM管理程序也可能引起oom，即任何分配内存的可能点都可能引起oom。
从分析过程来看，确实是Lustre的Cache占用了大量内存，导致内存分配不足。
三个措施。
1、增大内存
从12GB增大到16GB。
virsh setmaxmem vgfsxxx 16GB --config
运行启动后
virsh setmem vgfsxxx 16GB
这个没有用，跑了几次测试后，仍然掉服务。
2、调整lwfsd的服务优先级
设置lwfsd的服务优先级为“-17”
PID=`ps | grep lwfs | grep -v grep | awk '{print $1}'`
echo -17 > /proc/$PID/oom_adj
echo -17 > /proc/$PID/task/$PID/oom_adj
这个好像有用。
3、修改内存分配策略
并且echo "2" >/proc/sys/vm/overcommit_memory，使得分配内存时，必须存在足够的空间用于映射。
这个好像也有一定的用处。再跑跑试试。
KVM虚拟机内存不足，调整参数的更多相关文章
- CentOS7中KVM虚拟机内存、CPU调整
CentOS7中KVM虚拟机内存.CPU调整 1. 调小虚拟机内存 调小虚拟机内存可以动态实现,不用关机 1.1 查看当前内存大小 [root@kvm01 ~]# virsh dominfo vm1- ...
- CentOS7.6中 KVM虚拟机内存、CPU调整
CentOS7.6中 KVM虚拟机内存.CPU调整 一.调小虚拟机内存 调小虚拟机内存可以动态实现,不用关机 1.查看当前内存大小 [root@heyong kvm]# virsh dominfo t ...
- KVM虚拟机管理——资源调整
1. 概述2. 计算资源调整2.1 调整处理器配置2.2 调整内存配置3. 存储资源调整3.1 根分区扩展3.2 添加磁盘4. 网络资源调整 1. 概述 KVM在使用过程中,会涉及到计算(CPU,内存 ...
- Qemu创建KVM虚拟机内存初始化流程
转载请注明:[转载自博客xelatex KVM],并附本文链接.谢谢. [注]文章中采用的版本: Linux-3.11,https://www.kernel.org/pub/linux/kernel/ ...
- kvm基础 虚拟机内存、CPU调整
转自http://blog.csdn.net/hnhuangyiyang/article/details/50902223 一.调小虚拟机内存 调小虚拟机内存可以动态实现,不用关机1.查看当前内存大小 ...
- kvm虚拟机在线调整硬件配置
#centos5.x版本不支持动态调整内存,CPU,以下是在centos6.x上测试 1.查看虚拟机信息 shell> virsh dumpxml cos_v1 | head -n 10 < ...
- KVM在线扩展虚拟机内存
环境介绍 在KVM下有一台虚拟机内存不够需要扩展内存.宿主机地址是192.168.1.28.我需要扩展的虚拟机是centos1708vm03. 1.登陆上宿主机查看虚拟机配置 virsh dumpxm ...
- 阿里云下 centos7下启动程序总是被killed ,看内存占用情况以检查哪些服务存在问题并调整参数作调优
很久不搭理自己的网站了,几天突然发现启动程序总是被killed, 于是查看了系统日志 vi /var/log/messages 发现出现 kernel: Out of memory: Kill pro ...
- 调整KVM虚拟机硬盘大小
KVM虚拟机的硬盘映像默认存放在“/var/lib/libvirt/images/”中,先查看你的硬盘映像格式是不是RAW格式: qemu-img info /var/lib/libvirt/imag ...
随机推荐
- 关于AWR报告命中率指标的解释(转)
文章转自:http://blog.itpub.net/24558279/viewspace-762371/ 从Oracle 10g开始,Oracle给广大DBA提供了一个性能优化的利器,那便是Auto ...
- Linux操作系统PS命令详细解析
要对系统中进程进行监测控制,用 ps 命令满足你. /bin/ps ps 是显示瞬间行程的状态,并不动态连续:如果想对进程运行时间监控,应该用 top 工具. kill 用于杀死进程. ======= ...
- C#的Invoke和BeginInvoke
在Invoke或者BeginInvoke的使用中无一例外地使用了委托Delegate,至于委托的本质请参考我的另一随笔:对.net事件的看法. 一.为什么Control类提供了Invoke和Begin ...
- Android开发环境搭建中的一些小问题记录
1.由于市场上大多数教程是基于Eclipse,而AndroidStudio显然是大势所趋,所有我在电脑上同时搭建了两个IDE,直接在官网下载AndroidStudio比较好,因为SDK,AVD都集成了 ...
- PHP设计模式(三)
注册器模式 这种模式比较简单好理解,在PHP框架中会经常用到,在某些比较大的PHP框架中,会在初始化时将一些常用的类实例放在注册器中,实际是存在注册器类中的一个静态数组中,以后想去用它的话,直接根据名 ...
- vi编辑文件出现Can't open file for writing错误
可以用 ll 命令查看一下文件的权限,很有可能是没有权限,用chmod命令修改一下权限就可以了(当然是文件所有者或者root用户才能修改),或者切换成root用户(不推荐)
- OC冒泡排序
NSMutableArray *p = [[NSMutableArray alloc] initWithObjects:@"3",@"5",@"4&q ...
- Web Worker
写在前面 众所周知,JavaScript是单线程的,JS和UI更新共享同一个进程的部分原因是它们之间互访频繁,但由于共享同一个进程也就会造成js代码在运行的时候用户点击界面元素而没有任何响应这样的情况 ...
- Manacher算法
Manacher算法是求回文串最高效的算法,能在线性时间内求出以每一个字符为中心的最长回文串. 首先,我们都能想出$O(N^2)$求出每一个字符为中心的最长回文串的算法.那么我们考虑这样一种情况. ...
- sublime text3 --前端工程师必备神器
sublime text3 --前端工程师必备神器 导读目录: 下载与Emmet插件安装 sublime text3 中cssrem安装与使用 sublime Text 3的中文文件名显示为方框的问题 ...