linux 内核假死循环导致的问题
[445713.507663] Pid: , comm: -IFileSender Tainted: G B ENX 3.0.-0.47.-default # ZTE Grantley/S1008
[445713.507671] RIP: :[<ffffffff810fb2cb>] [<ffffffff810fb2cb>] find_get_pages_contig+0x5b/0x110
[445713.507678] RSP: :ffff883edfc2fab8 EFLAGS:
[445713.507679] RAX: ffff881f68ef68d0 RBX: RCX:
[445713.507681] RDX: RSI: ffffea000a9164e8 RDI: ffffea000a9164e0
[445713.507682] RBP: R08: R09: ffff883edfc2fa78
[445713.507683] R10: R11: 000000000000003f R12: ffffffff8146ffee
[445713.507684] R13: 000000000006cc46 R14: 00000000000007fe R15: ffffe8e001baa620
[445713.507686] FS: 00007f06f82a9700() GS:ffff88207fda0000() knlGS:
[445713.507688] CS: DS: ES: CR0:
[445713.507689] CR2: 00007fd39233d810 CR3: 0000003ec0289000 CR4: 00000000001407e0
[445713.507690] DR0: DR1: DR2:
[445713.507691] DR3: DR6: 00000000ffff0ff0 DR7:
[445713.507693] Process -IFileSender (pid: , threadinfo ffff883edfc2e000, task ffff883edfc2c480)
[445713.507694] Stack:
[445713.507700] 000000059715f240 ffff881f6a1bd2e8 0000000000003ffb
[445713.507704] ffff881dab7a5180 0000000000004c04
[445713.507706] ffff883edfc2fdf8 ffffffff811898f1 ffff881d69cf4c40 ffff881dab7a5180
[445713.507709] Call Trace:
[445713.507718] [<ffffffff811898f1>] __generic_file_splice_read+0x111/0x4c0
[445713.507722] [<ffffffff81189ceb>] generic_file_splice_read+0x4b/0x90
[445713.507767] [<ffffffffa05fec5a>] xfs_file_splice_read+0x14a/0x200 [xfs]
[445713.507832] [<ffffffff81188c6c>] splice_direct_to_actor+0xcc/0x1d0
[445713.507837] [<ffffffffa070a9ab>] do_sendfile+0x1db/0x270 [witdriver]
[445713.507844] [<ffffffffa0716b3a>] my_sendfile+0x2da/0x530 [witdriver]
[445713.507863] [<ffffffff8146f5f2>] system_call_fastpath+0x16/0x1b
[445713.507870] [<00007f07326683c9>] 0x7f07326683c8
获取页面超时，反汇编响应的代码，确定了是在进行page计数增加。
if (!page_cache_get_speculative(page))
goto repeat;
根据代码逻辑，page的计数不对，本来page的计数为0是一个瞬间状态，结果却一直在循环。
查看crash之前的打印，找到对应的日志为：
kernel: [111747.127259] BUG: Bad page state in process -IFileSender pfn:2375c8e
kernel: [111747.127259] BUG: Bad page state in process -IFileSender pfn:2375c8e
kernel: [111747.127263] page:ffffea007c1c3f10 count: mapcount: mapping:ffff882b63e766e0 index:0x3ffc
kernel: [111747.127263] page:ffffea007c1c3f10 count: mapcount: mapping:ffff882b63e766e0 index:0x3ffc
kernel: [111747.127265] page flags: 0x60000000080010(uptodate|mappedtodisk)
kernel: [111747.127265] page flags: 0x60000000080010(uptodate|mappedtodisk)
kernel: [111747.127269] Pid: , comm: -IFileSender Tainted: G ENX 3.0.-0.47.-default #
kernel: [111747.127269] Pid: , comm: -IFileSender Tainted: G ENX 3.0.-0.47.-default #
kernel: [111747.127271] Call Trace:
kernel: [111747.127271] Call Trace:
kernel: [111747.127284] [<ffffffff81004b95>] dump_trace+0x75/0x300
kernel: [111747.127284] [<ffffffff81004b95>] dump_trace+0x75/0x300
kernel: [111747.127290] [<ffffffff81464663>] dump_stack+0x69/0x6f
kernel: [111747.127290] [<ffffffff81464663>] dump_stack+0x69/0x6f
kernel: [111747.127296] [<ffffffff81100da1>] bad_page+0xb1/0x120
kernel: [111747.127296] [<ffffffff81100da1>] bad_page+0xb1/0x120
kernel: [111747.127300] [<ffffffff81101306>] free_pages_prepare+0xe6/0x110
kernel: [111747.127300] [<ffffffff81101306>] free_pages_prepare+0xe6/0x110
kernel: [111747.127304] [<ffffffff81104d69>] free_hot_cold_page+0x49/0x1f0
kernel: [111747.127304] [<ffffffff81104d69>] free_hot_cold_page+0x49/0x1f0
kernel: [111747.127311] [<ffffffffa0621224>] wit_free_shinfo_pages+0x34/0x50 [witdriver]
kernel: [111747.127311] [<ffffffffa0621224>] wit_free_shinfo_pages+0x34/0x50 [witdriver]
kernel: [111747.127331] [<ffffffffa0631306>] my_writev+0x2b6/0x6e0 [witdriver]
kernel: [111747.127331] [<ffffffffa0631306>] my_writev+0x2b6/0x6e0 [witdriver]
kernel: [111747.127341] [<ffffffff8146f5f2>] system_call_fastpath+0x16/0x1b
kernel: [111747.127341] [<ffffffff8146f5f2>] system_call_fastpath+0x16/0x1b
kernel: [111747.127361] [<00007f2018ce33c9>] 0x7f2018ce33c8
kernel: [111747.127361] [<00007f2018ce33c9>] 0x7f2018ce33c8
从这个打印，知道了我们当时流程释放页的时候，page的计数为0了，此时的mapping指针还在，说明了不该释放的页给释放了。
这种计数问题本来很头疼，偶然间看到page的index 为：
kernel: [111747.127263] page:ffffea007c1c3f10 count: mapcount: mapping:ffff882b63e766e0 index:0x3ffc------------这个index
查看了其他类似的打印发现这个index都靠近0x4000，而这个0x4000是我们一种业务文件的固定大小。
再查找对应的业务日志，发现当时sendfile调用失败，然后使用writev方式发送文件，而writev的时候，又出现了调用方传送的参数不对的情况，导致我们内核模块在释放内存的时候，
将发送失败那几页page释放多执行了一次。从而使得page计数被减成0了。
void put_page(struct page *page)
{
if (unlikely(PageCompound(page)))
put_compound_page(page);
else if (put_page_testzero(page))//原子计数减，然后判断是否为0，为0则继续释放
__put_single_page(page);
}
这个page因为还在被inode的radix树管理，所以那边读文件找page的时候，发现计数为0，则循环等待，否则加1，这样的话，导致了一个死循环，因为这个计数本来不应该长时间为0，是被
我们释放计数错了才导致为0的。
void free_hot_cold_page(struct page *page, int cold)
{
struct zone *zone = page_zone(page);
struct per_cpu_pages *pcp;
unsigned long flags;
int migratetype;
int wasMlocked = __TestClearPageMlocked(page); #ifdef CONFIG_XEN
WARN_ON(PageForeign(page) && wasMlocked);
#endif
if (!free_pages_prepare(page, ))
return;
最终由于mapping指针不为NULL而在bad_page 的流程中打印警告。
不过这种page会不会used after free呢？不会的，因为page的计数虽然为0，但是并没有放到管理单元中去，假设以后再也不访问这个page，则只会泄露。
这种循环，会因为定时器中断而中断，最终系统hung住：
kernel: [217186.608729] [<ffffffff8102735a>] arch_trigger_all_cpu_backtrace+0x5a/0xa0
kernel: [217186.608729] [<ffffffff8102735a>] arch_trigger_all_cpu_backtrace+0x5a/0xa0---------------等回调，
kernel: [217186.608734] [<ffffffff810d0021>] check_cpu_stall+0xe1/0x140
kernel: [217186.608734] [<ffffffff810d0021>] check_cpu_stall+0xe1/0x140
kernel: [217186.608738] [<ffffffff810d00a9>] __rcu_pending+0x29/0x180
kernel: [217186.608738] [<ffffffff810d00a9>] __rcu_pending+0x29/0x180
kernel: [217186.608742] [<ffffffff810d025f>] rcu_check_callbacks+0x5f/0x110
kernel: [217186.608742] [<ffffffff810d025f>] rcu_check_callbacks+0x5f/0x110
kernel: [217186.608748] [<ffffffff81071dff>] update_process_times+0x3f/0x80
kernel: [217186.608748] [<ffffffff81071dff>] update_process_times+0x3f/0x80--------------------------定时中断，更新进程时间等
kernel: [217186.608752] [<ffffffff8109615b>] tick_sched_timer+0x5b/0xc0
kernel: [217186.608752] [<ffffffff8109615b>] tick_sched_timer+0x5b/0xc0
kernel: [217186.608757] [<ffffffff81088a4e>] __run_hrtimer+0xbe/0x1a0
kernel: [217186.608757] [<ffffffff81088a4e>] __run_hrtimer+0xbe/0x1a0
kernel: [217186.608762] [<ffffffff81088d6d>] hrtimer_interrupt+0xed/0x2a0
kernel: [217186.608762] [<ffffffff81088d6d>] hrtimer_interrupt+0xed/0x2a0
kernel: [217186.608767] [<ffffffff81026da3>] smp_apic_timer_interrupt+0x63/0xa0
kernel: [217186.608767] [<ffffffff81026da3>] smp_apic_timer_interrupt+0x63/0xa0
kernel: [217186.608771] [<ffffffff8146fff3>] apic_timer_interrupt+0x13/0x20
kernel: [217186.608771] [<ffffffff8146fff3>] apic_timer_interrupt+0x13/0x20--------------被中断
kernel: [217186.608777] [<ffffffff810fb2c3>] find_get_pages_contig+0x53/0x110
kernel: [217186.608777] [<ffffffff810fb2c3>] find_get_pages_contig+0x53/0x110
kernel: [217186.608782] [<ffffffff811898f1>] __generic_file_splice_read+0x111/0x4c0
kernel: [217186.608782] [<ffffffff811898f1>] __generic_file_splice_read+0x111/0x4c0
kernel: [217186.608786] [<ffffffff81189ceb>] generic_file_splice_read+0x4b/0x90
kernel: [217186.608786] [<ffffffff81189ceb>] generic_file_splice_read+0x4b/0x90
kernel: [217186.608805] [<ffffffffa0be6c5a>] xfs_file_splice_read+0x14a/0x200 [xfs]
kernel: [217186.608805] [<ffffffffa0be6c5a>] xfs_file_splice_read+0x14a/0x200 [xfs]
kernel: [217186.608868] [<ffffffff81188c6c>] splice_direct_to_actor+0xcc/0x1d0
kernel: [217186.608868] [<ffffffff81188c6c>] splice_direct_to_actor+0xcc/0x1d0
kernel: [217186.608874] [<ffffffffa0620a8b>] do_sendfile+0x1db/0x270 [witdriver]
kernel: [217186.608874] [<ffffffffa0620a8b>] do_sendfile+0x1db/0x270 [witdriver]
kernel: [217186.608881] [<ffffffffa0630df0>] my_sendfile+0x2e0/0x540 [witdriver]
kernel: [217186.608881] [<ffffffffa0630df0>] my_sendfile+0x2e0/0x540 [witdriver]
kernel: [217186.608892] [<ffffffff8146f5f2>] system_call_fastpath+0x16/0x1b
kernel: [217186.608892] [<ffffffff8146f5f2>] system_call_fastpath+0x16/0x1b
kernel: [217186.608898] [<00007f2018ce33c9>] 0x7f2018ce33c8
kernel: [217186.608898] [<00007f2018ce33c9>] 0x7f2018ce33c8
linux 内核假死循环导致的问题的更多相关文章
- linux内核过高导致vm打开出错修复脚本
#!/bin/bashVMWARE_VERSION=workstation-15.1.0TMP_FOLDER=/tmp/patch-vmwarerm -fdr $TMP_FOLDERmkdir -p ...
- mysql 5.7.15 vs mysql 5.6.31性能测试以及不同linux内核性能比较
最近,将部分开发和测试环境的mysql升级到5.7之后,今天抽时间测试了下5.6和5.7 PK查询的性能,使用mysqlslap进行测试,测试结果发现在低配下,percona 5.6.31大约比5.7 ...
- Linux内核分析：页回收导致的cpu load瞬间飙高的问题分析与思考--------------蘑菇街技术博客
http://mogu.io/156-156 摘要 本文一是为了讨论在Linux系统出现问题时我们能够借助哪些工具去协助分析,二是讨论出现问题时大致的可能点以及思路,三是希望能给应用层开发团队介绍一些 ...
- Linux内核升级导致无法启动，Kernel panic - not syncing Unable to mount root fs on unknown block(0,0)
问题原因:内核的某次升级,导致系统无法启动. 首先进入recovery模式:引导界面选择-->Ubuntu高级-->出现的选项中选择能够启动的recovery模式(几个内核版本分别试一下) ...
- 一个linux内核编译时遇到的perl语法导致的编译问题解决
在编译linux内核时,遇到了一个比较诡异的问题.具体log如下: Can't locate strict.pm in @INC (you may need to install the strict ...
- 升级Linux内核导致vmware无法使用（vmnet模块无法编译）解决方式
近期将ubuntu升级到了14.04,出现了vmware无法启动的情况. 详细表现为:每次启动的时候都会弹出一个VMWare Kernel Module Updater的对话框,要求依据当前内核版本号 ...
- 【漏洞预警】Intel爆CPU设计问题，导致win和Linux内核重设计（附测试poc）
目前研究人员正抓紧检查 Linux 内核的安全问题,与此同时,微软也预计将在本月补丁日公开介绍 Windows 操作系统的相关变更. 而 Linux 和 Windows 系统的这些更新势必会对 Int ...
- Linux内核同步
Linux内核剖析 之 内核同步 主要内容 1.内核请求何时以交错(interleave)的方式执行以及交错程度如何. 2.内核所实现的基本同步机制. 3.通常情况下如何使用内核提供的同步机制. 内核 ...
- 浅析Linux内核同步机制
非常早之前就接触过同步这个概念了,可是一直都非常模糊.没有深入地学习了解过,最近有时间了,就花时间研习了一下<linux内核标准教程>和<深入linux设备驱动程序内核机制>这 ...
随机推荐
- [UE4]蓝图的颜色
一.蓝色:调用的函数或事件 二.绿色:纯函数 三.紫色:函数定义 四.灰色:宏 五.白色:执行线 六.事件的定义 另外还有数据类型的颜色: 执行线是白色,数据线颜色跟数据量类型一致.
- github webhook 实现代码自动部署 踩坑！！ 附加git&coding webhook部署代码
踩坑: 1.php程序执行linux命令是以webserver的user用户(如apache .www……)操作的,需要在/etc/sudoers添加用户免密码操作权限; %apache ALL=(A ...
- Blob下载文件 & 模拟滚动条实现
1.vue切换路由视图时,事件钩子顺序是 当前模块create-->上一个模块beforeDestroy-->当前模块mounted 因此注册全局事件(比如给window注册事件)应放在m ...
- UI相关教程：HUD、UMG和Widget
转自:http://aigo.iteye.com/blog/2258612 蓝图脚本来处理 ================================================== 用UM ...
- CRM 2016 一个IFrame页面，执行另一IFrame页面的函数
如果IFrame_A 想执行 IFrame_B 中 RefreshSelf() 函数,可以按以下方法写: 此js代码写在 IFrame_A 中 parent.Xrm.Page.getControl( ...
- servlet的执行过程简介（从tomcat服务器和web应用的角度）
该链接详解htttp请求和响应 http://www.cnblogs.com/goxcheer/p/8424175.html 1.web应用工程发布到tomcat服务器 2.客户端访问某个web资源, ...
- 思考-Status management and validation（状态管理与验证）
结合自己的项目,有这么一个模块,这个模块用来添加一个停车场,注册信息又分:基本信息,管理设置,管理员设置3部分组成,每部分都有input=text的输入框,点击保存按钮需要验证各个部分的输入框是否有合 ...
- Android手动控制软键盘的开启和关闭，判断软键盘是否显示；
工具类,拿走就能用: import android.annotation.TargetApi; import android.app.Activity; import android.content. ...
- C#的两种类据类型：值类型和引用类型
注:引用类型相等赋值是地址赋值,不是值赋值. 什么是值类型,什么是引用类型 概念:值类型直接存储其值,而引用类型存储对其值的引用.部署:托管堆上部署了所有引用类型. 引用类型:基类为Objcet 值类 ...
- linux：安装mysql管理工具phpmyadmin
1.下载phpmyadmin,下载地址:http://www.phpmyadmin.net/ 2.解压到/var/www/html/phpmyadmin/ 3.修改配置 cd /var/www/htm ...