Crash使用参考

整理自man 8 crash

1、简介

Crash工具可以用来分析一个正在运行的内核，也可以用来分析一个内核的crash dump文件，这里说的是内核代码异常产生的crash dump文件，不是应用层程序运行异常产生的core dump文件，它支持分析由netdump, diskdump, LKCD, kdump, xen‐dump 或者 kvmdump 工具产生的crash dump文件。它整合了SVR4 UNIX crash的工具和GDB调试器，因而具有源码级别调试能力。Crash工具可以用来分析内核的调用堆栈，内核源码的反汇编，内核数据结构和变量的格式化展示等等，另外Crash也可以传递一些GDB命令来执行。在初始化的过程中，

$HOME/.crashrc 文件中的命令和当前目录下的./.crashrc文件中的命令将会被执行。 Crash工具后向兼容，当内核版本变化导致Crash工具更新后后仍然会兼容以前的内核版本。

2、启动命令行

crash [OPTION]... NAMELIST MEMORY-IMAGE[@ADDRESS]    (用来分析dumpfile文件)

crash [OPTION]... [NAMELIST]                         (用来分析正在运行的系统)

NAMELIST：这个是未压缩的内核镜像文件(vmlinux)的路径，在用来分析dumpfile文件的时候也可以使用gzip或者bzip2压缩后的vmlinux文件。

MEMORY-IMAGE[@ADDRESS]：由netdump, diskdump, LKCD, kdump, xen‐dump 或者 kvmdump 工具产生的crash dump文件的路径，如果运行Crash工具没有输入这个参数的话，那么Crash工具将会用来分析正在运行的linux内核，分析正在运行的内核需要访问系统的RAM，一般是需要root权限的。分析live system的时候，默认情况下/dev/crash将会被使用，如果这个文件不存在，然后会使用/dev/mem，但是如果kernel被配置为CONFIG_STRICT_DEVMEM，那么/proc/kcore将会被使用，也可以显式的指定/dev/crash、/dev/mem 、 /proc/kcore。

分析live system的时候，不指定NAMELIST场景下，crash也会从一些默认目录查找对应的NAMELIST，如果找到的和正在运行的不匹配，没那么会提示如下错误crash: invalid kernel virtual address:

如果dumpfile里面没有描述文件内容的头信息，即原始RAM的dumpfile文件，那么对应块的物理起始地址需要通过@ADDRESS以16进制指定，这将会在/var/tmp目录下创建临时的ELF信息。这种场景下可以通过MEMORY-IMAGE@ADDRESS指定多个dumofile文件。

可以看到如果要用来分析内核的core dump文件，那么必须输入NAMELIST MEMORY-IMAGE这两个参数。而如果用来分析正在运行的linux系统的话，如果内核的vmlinux没有在固定的位置(如/boot)，那么NAMELIST参数也需要指定。

3、相关选项

mapfile：当分析正在运行的内核的时候，如果NAMELIST文件与当前正在运行的内核不一致，或者分析dumpfile的时候，NAMELIST与产生dumpfile的内核不一致，那么原始内核的System.map文件需要在命令行指定。

-h [option]/--help [option]：不带有option的时候，展示crash工具的帮助，如果option是carsh工具的命令名字，那么会展示对应的帮助。另外option也可以是"input"、"output"或者"all"。

-s：静默处理到"crash>" ，不会展示版本信息、初始化过程等。

-i file：在展示"crash>"之前，执行file文件中的命令

-d num：设置debug level，数值越高，crash在初始化和运行的时候就会展示越多的信息

-S：使用 /boot/System.map 作为mapfile

-t：展示系统crash的事件戳并推出

-c tty-device：使用tty-device作为调试信息的控制台

-p page-size：如果处理器的分页大小不能通过dumpfile判断出来，并且不能使用处理器的默认值，那么可以通过这个选项来指定

-o filename：使用MEMORY-IMAGE@ADDRESS形式的原始RAM的dumpfile时候，这个选项可以用来创建一个独立的ELF vmcore，以备将来使用

-x：自动的从一个指定目录加载扩展模块。环境变量CRASH_EXTENSIONS可以用来指定加载目录。

--active：仅跟踪每个cpu上正在运行的task。

--buildinfo：展示crash的build信息

--memory_module modname：使用modname作为crash.ko的替代模块来创建/dev/crash设备。

--memory_device device：使用device代替/dev/crash、/dev/mem或者/proc/kcore。

--smp：指定分析的系统是smp内核

-v：展示crash的版本信息

--cpus number：指定smp系统的cpu数目

--more/--less：指定输出工具

--hex/--dec：指定命令输出的进制

4、crash命令

crash命令分为符号展示、系统状态、实用函数和会话控制四部分。可以通过crash -h <command>来查看命令帮助，在crash会话中也可以通过help command来查看命令的帮助。

alias：创建命令的别名

bt：展示调用堆栈信息，-a选项可以显示所有cpu上的调用堆栈。foreach bt可以显示所有task的调用堆栈

dev：展示字符设备和块设备的分配、I/O端口使用和I/O内存使用情况，这个命令可以用来查看每个设备对应的fops。

dis：反汇编命令。-f可以从函数的开始处开始展示汇编命令到指定的地址，-f可以从指定地址展示到函数的结尾。-l可以展示源代码行。-s可以显示对应的源代码，count可以指定显示的行数。

eval：计算表达式并展示结果。

q/exit：退出crash

foreach：为指定的task重复一个指定的命令。

ipcs：展示System V IPC信息

irq：展示irq信息

kmem：展示内核内存使用

list：展示一个链表的内容

log：展示log_buf内容

mod：展示模块信息，mod -s tcp_debug [pathtofile]，命令可以用来加载tcp_debug模块的调试信息。mod -d可以用来删除模块的调试信息

mount：展示当前挂载的文件系统的命令

net：展示网络相关的信息

p：传递参数给gdb的print命令来展示相关信息。

gdb：传递参数给内嵌的GDB模块，当crash和gdb命令名字冲突的时候可以使用。

ps：展示进程状态

rd：读取并展示内存

repeat：无限重复一个命令，可以给定一个命令执行的间隔

runq：展示runq上的task

search：在一段内存范围内搜索给定值

set：设置或者获取上下文。可以根据pid、task_struct等来进行设置。

sig：展示task的signal-handling数据

struct：展示结构体的定义，或者从指定的地址开始解析一个结构体。使用-o参数可以显示结构体的详细偏移信息。

swap：展示swap信息

sys：展示系统信息

task：展示task_struct内容

tree：展示rb树或者radix树的信息

timer：展示定时器信息。

union：与struct类似，但是用于union的展示

whatis：展示结构体、联合体等定义

waitq：展示等待队列的内容

wr：修改一个正在运行的系统的内存，只有使用/dev/mem的时候才能修改。

1. root@Inspiron:/home/lybxin# crash /doc/ubuntu-compile/vmlinux /var/crash/201610291840/dump.201610291840
3. crash 7.1.4
4. Copyright(C)2002-2015  RedHat,Inc.
5. Copyright(C)2004,2005,2006,2010  IBM Corporation
6. Copyright(C)1999-2006  Hewlett-PackardCo
7. Copyright(C)2005,2006,2011,2012  FujitsuLimited
8. Copyright(C)2006,2007  VA LinuxSystemsJapan K.K.
9. Copyright(C)2005,2011  NEC Corporation
10. Copyright(C)1999,2002,2007  SiliconGraphics,Inc.
11. Copyright(C)1999,2000,2001,2002  MissionCriticalLinux,Inc.
12. This program is free software, covered by the GNU GeneralPublicLicense,
13. and you are welcome to change it and/or distribute copies of it under
14. certain conditions.  Enter"help copying" to see the conditions.
15. This program has absolutely no warranty.  Enter"help warranty"for details.
17. GNU gdb (GDB)7.6
18. Copyright(C)2013FreeSoftwareFoundation,Inc.
19. LicenseGPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
20. This is free software: you are free to change and redistribute it.
21. There is NO WARRANTY, to the extent permitted by law.  Type"show copying"
22. and "show warranty"for details.
23. This GDB was configured as "x86_64-unknown-linux-gnu"...
25.      KERNEL:/doc/ubuntu-compile/vmlinux      
26.    DUMPFILE:/var/crash/201610291840/dump.201610291840  [PARTIAL DUMP]
27.        CPUS:4
28.        DATE:SatOct2918:40:252016
29.      UPTIME:01:21:59
30. LOAD AVERAGE:0.39,0.50,0.50
31.       TASKS:643
32.    NODENAME:Inspiron
33.     RELEASE:4.4.13+
34.     VERSION:#35 SMP Fri Oct 28 23:13:30 CST 2016
35.     MACHINE: x86_64  (2526Mhz)
36.      MEMORY:3.9 GB
37.       PANIC:"general protection fault: 0000 [#1] SMP "
38.         PID:5792
39.     COMMAND:"server.out"
40.        TASK: ffff880013531900  [THREAD_INFO: ffff8800121ac000]
41.         CPU:3
42.       STATE:  (PANIC)
44. crash> bt
45. PID:5792   TASK: ffff880013531900  CPU:3   COMMAND:"server.out"
46. #0 [ffff880137d839b0] machine_kexec at ffffffff8105ae6b
47. #1 [ffff880137d83a10] crash_kexec at ffffffff8110cb12
48. #2 [ffff880137d83ae0] oops_end at ffffffff81030c29
49. #3 [ffff880137d83b08] die at ffffffff810310db
50. #4 [ffff880137d83b38] do_general_protection at ffffffff8102e5d9
51. #5 [ffff880137d83b60] general_protection at ffffffff81832118
52.    [exception RIP: tcp_v4_rcv+2735]
53.    RIP: ffffffff8178920f  RSP: ffff880137d83c18  RFLAGS:00010282
54.    RAX:6601a8c0647c770e  RBX: ffff880131d04ae8  RCX:0000000000000006
55.    RDX:0000000000000000  RSI: ffff880013531900  RDI: ffff880137d8dc78
56.    RBP: ffff880137d83c98   R8:000000000000000a   R9:0000000000000413
57.    R10:000000000000c5c0  R11:0000000000000413  R12: ffffffff81ef3e80
58.    R13: ffff8800ba0e4690  R14: ffff8800b7cde4fc  R15: ffff8800b7cde510
59.    ORIG_RAX: ffffffffffffffff  CS:0010  SS:0018
60. #6 [ffff880137d83c10] tcp_v4_rcv at ffffffff817892a9
61. #7 [ffff880137d83ca0] ip_local_deliver_finish at ffffffff8175fdc4
62. #8 [ffff880137d83cc8] ip_local_deliver at ffffffff817600cf
63. #9 [ffff880137d83d30] ip_rcv_finish at ffffffff8175faa2
64. #10 [ffff880137d83d60] ip_rcv at ffffffff817603d1
65. #11 [ffff880137d83dd8] __netif_receive_skb_core at ffffffff81721944
66. #12 [ffff880137d83e70] __netif_receive_skb at ffffffff81721cb8
67. #13 [ffff880137d83e90] process_backlog at ffffffff81722ab8
68. -- MORE --  forward:<SPACE>,<ENTER> or j  backward: b or k  quit: q...skipping...
69. PID:5792   TASK: ffff880013531900  CPU:3   COMMAND:"server.out"
70. #0 [ffff880137d839b0] machine_kexec at ffffffff8105ae6b
71. #1 [ffff880137d83a10] crash_kexec at ffffffff8110cb12
72. #2 [ffff880137d83ae0] oops_end at ffffffff81030c29
73. #3 [ffff880137d83b08] die at ffffffff810310db
74. #4 [ffff880137d83b38] do_general_protection at ffffffff8102e5d9
75. #5 [ffff880137d83b60] general_protection at ffffffff81832118
76.    [exception RIP: tcp_v4_rcv+2735]
77.    RIP: ffffffff8178920f  RSP: ffff880137d83c18  RFLAGS:00010282
78.    RAX:6601a8c0647c770e  RBX: ffff880131d04ae8  RCX:0000000000000006
79.    RDX:0000000000000000  RSI: ffff880013531900  RDI: ffff880137d8dc78
80.    RBP: ffff880137d83c98   R8:000000000000000a   R9:0000000000000413
81.    R10:000000000000c5c0  R11:0000000000000413  R12: ffffffff81ef3e80
82.    R13: ffff8800ba0e4690  R14: ffff8800b7cde4fc  R15: ffff8800b7cde510
83.    ORIG_RAX: ffffffffffffffff  CS:0010  SS:0018
84. #6 [ffff880137d83c10] tcp_v4_rcv at ffffffff817892a9
85. #7 [ffff880137d83ca0] ip_local_deliver_finish at ffffffff8175fdc4
86. #8 [ffff880137d83cc8] ip_local_deliver at ffffffff817600cf
87. #9 [ffff880137d83d30] ip_rcv_finish at ffffffff8175faa2
88. #10 [ffff880137d83d60] ip_rcv at ffffffff817603d1
89. #11 [ffff880137d83dd8] __netif_receive_skb_core at ffffffff81721944
90. #12 [ffff880137d83e70] __netif_receive_skb at ffffffff81721cb8
91. #13 [ffff880137d83e90] process_backlog at ffffffff81722ab8
92. #14 [ffff880137d83ed0] net_rx_action at ffffffff817221fe
93. -- MORE --  forward:<SPACE>,<ENTER> or j  backward: b or k  quit: q...skipping...
94. PID:5792   TASK: ffff880013531900  CPU:3   COMMAND:"server.out"
95. #0 [ffff880137d839b0] machine_kexec at ffffffff8105ae6b
96. #1 [ffff880137d83a10] crash_kexec at ffffffff8110cb12
97. #2 [ffff880137d83ae0] oops_end at ffffffff81030c29
98. #3 [ffff880137d83b08] die at ffffffff810310db
99. #4 [ffff880137d83b38] do_general_protection at ffffffff8102e5d9
100. #5 [ffff880137d83b60] general_protection at ffffffff81832118
101.    [exception RIP: tcp_v4_rcv+2735]
102.    RIP: ffffffff8178920f  RSP: ffff880137d83c18  RFLAGS:00010282
103.    RAX:6601a8c0647c770e  RBX: ffff880131d04ae8  RCX:0000000000000006
104.    RDX:0000000000000000  RSI: ffff880013531900  RDI: ffff880137d8dc78
105.    RBP: ffff880137d83c98   R8:000000000000000a   R9:0000000000000413
106.    R10:000000000000c5c0  R11:0000000000000413  R12: ffffffff81ef3e80
107.    R13: ffff8800ba0e4690  R14: ffff8800b7cde4fc  R15: ffff8800b7cde510
108.    ORIG_RAX: ffffffffffffffff  CS:0010  SS:0018
109. #6 [ffff880137d83c10] tcp_v4_rcv at ffffffff817892a9
110. #7 [ffff880137d83ca0] ip_local_deliver_finish at ffffffff8175fdc4
111. #8 [ffff880137d83cc8] ip_local_deliver at ffffffff817600cf
112. #9 [ffff880137d83d30] ip_rcv_finish at ffffffff8175faa2
113. #10 [ffff880137d83d60] ip_rcv at ffffffff817603d1
114. #11 [ffff880137d83dd8] __netif_receive_skb_core at ffffffff81721944
115. #12 [ffff880137d83e70] __netif_receive_skb at ffffffff81721cb8
116. #13 [ffff880137d83e90] process_backlog at ffffffff81722ab8
117. #14 [ffff880137d83ed0] net_rx_action at ffffffff817221fe
118. #15 [ffff880137d83f48] __do_softirq at ffffffff81084a41
119. -- MORE --  forward:<SPACE>,<ENTER> or j  backward: b or k  quit: q...skipping...
120. PID:5792   TASK: ffff880013531900  CPU:3   COMMAND:"server.out"
121. #0 [ffff880137d839b0] machine_kexec at ffffffff8105ae6b
122. #1 [ffff880137d83a10] crash_kexec at ffffffff8110cb12
123. #2 [ffff880137d83ae0] oops_end at ffffffff81030c29
124. #3 [ffff880137d83b08] die at ffffffff810310db
125. #4 [ffff880137d83b38] do_general_protection at ffffffff8102e5d9
126. #5 [ffff880137d83b60] general_protection at ffffffff81832118
127.    [exception RIP: tcp_v4_rcv+2735]
128.    RIP: ffffffff8178920f  RSP: ffff880137d83c18  RFLAGS:00010282
129.    RAX:6601a8c0647c770e  RBX: ffff880131d04ae8  RCX:0000000000000006
130.    RDX:0000000000000000  RSI: ffff880013531900  RDI: ffff880137d8dc78
131.    RBP: ffff880137d83c98   R8:000000000000000a   R9:0000000000000413
132.    R10:000000000000c5c0  R11:0000000000000413  R12: ffffffff81ef3e80
133.    R13: ffff8800ba0e4690  R14: ffff8800b7cde4fc  R15: ffff8800b7cde510
134.    ORIG_RAX: ffffffffffffffff  CS:0010  SS:0018
135. #6 [ffff880137d83c10] tcp_v4_rcv at ffffffff817892a9
136. #7 [ffff880137d83ca0] ip_local_deliver_finish at ffffffff8175fdc4
137. #8 [ffff880137d83cc8] ip_local_deliver at ffffffff817600cf
138. #9 [ffff880137d83d30] ip_rcv_finish at ffffffff8175faa2
139. #10 [ffff880137d83d60] ip_rcv at ffffffff817603d1
140. #11 [ffff880137d83dd8] __netif_receive_skb_core at ffffffff81721944
141. #12 [ffff880137d83e70] __netif_receive_skb at ffffffff81721cb8
142. #13 [ffff880137d83e90] process_backlog at ffffffff81722ab8
143. #14 [ffff880137d83ed0] net_rx_action at ffffffff817221fe
144. #15 [ffff880137d83f48] __do_softirq at ffffffff81084a41
145. #16 [ffff880137d83fb0] do_softirq_own_stack at ffffffff81831d0c
146. -- MORE --  forward:<SPACE>,<ENTER> or j  backward: b or k  quit: q...skipping...
147. PID:5792   TASK: ffff880013531900  CPU:3   COMMAND:"server.out"
148. #0 [ffff880137d839b0] machine_kexec at ffffffff8105ae6b
149. #1 [ffff880137d83a10] crash_kexec at ffffffff8110cb12
150. #2 [ffff880137d83ae0] oops_end at ffffffff81030c29
151. #3 [ffff880137d83b08] die at ffffffff810310db
152. #4 [ffff880137d83b38] do_general_protection at ffffffff8102e5d9
153. #5 [ffff880137d83b60] general_protection at ffffffff81832118
154.    [exception RIP: tcp_v4_rcv+2735]
155.    RIP: ffffffff8178920f  RSP: ffff880137d83c18  RFLAGS:00010282
156.    RAX:6601a8c0647c770e  RBX: ffff880131d04ae8  RCX:0000000000000006
157.    RDX:0000000000000000  RSI: ffff880013531900  RDI: ffff880137d8dc78
158.    RBP: ffff880137d83c98   R8:000000000000000a   R9:0000000000000413
159.    R10:000000000000c5c0  R11:0000000000000413  R12: ffffffff81ef3e80
160.    R13: ffff8800ba0e4690  R14: ffff8800b7cde4fc  R15: ffff8800b7cde510
161.    ORIG_RAX: ffffffffffffffff  CS:0010  SS:0018
162. #6 [ffff880137d83c10] tcp_v4_rcv at ffffffff817892a9
163. #7 [ffff880137d83ca0] ip_local_deliver_finish at ffffffff8175fdc4
164. #8 [ffff880137d83cc8] ip_local_deliver at ffffffff817600cf
165. #9 [ffff880137d83d30] ip_rcv_finish at ffffffff8175faa2
166. #10 [ffff880137d83d60] ip_rcv at ffffffff817603d1
167. #11 [ffff880137d83dd8] __netif_receive_skb_core at ffffffff81721944
168. #12 [ffff880137d83e70] __netif_receive_skb at ffffffff81721cb8
169. #13 [ffff880137d83e90] process_backlog at ffffffff81722ab8
170. #14 [ffff880137d83ed0] net_rx_action at ffffffff817221fe
171. #15 [ffff880137d83f48] __do_softirq at ffffffff81084a41
172. #16 [ffff880137d83fb0] do_softirq_own_stack at ffffffff81831d0c
173. ---<IRQ stack>---
174. -- MORE --  forward:<SPACE>,<ENTER> or j  backward: b or k  quit: q...skipping...
175. PID:5792   TASK: ffff880013531900  CPU:3   COMMAND:"server.out"
176. #0 [ffff880137d839b0] machine_kexec at ffffffff8105ae6b
177. #1 [ffff880137d83a10] crash_kexec at ffffffff8110cb12
178. #2 [ffff880137d83ae0] oops_end at ffffffff81030c29
179. #3 [ffff880137d83b08] die at ffffffff810310db
180. #4 [ffff880137d83b38] do_general_protection at ffffffff8102e5d9
181. #5 [ffff880137d83b60] general_protection at ffffffff81832118
182.    [exception RIP: tcp_v4_rcv+2735]
183.    RIP: ffffffff8178920f  RSP: ffff880137d83c18  RFLAGS:00010282
184.    RAX:6601a8c0647c770e  RBX: ffff880131d04ae8  RCX:0000000000000006
185.    RDX:0000000000000000  RSI: ffff880013531900  RDI: ffff880137d8dc78
186.    RBP: ffff880137d83c98   R8:000000000000000a   R9:0000000000000413
187.    R10:000000000000c5c0  R11:0000000000000413  R12: ffffffff81ef3e80
188.    R13: ffff8800ba0e4690  R14: ffff8800b7cde4fc  R15: ffff8800b7cde510
189.    ORIG_RAX: ffffffffffffffff  CS:0010  SS:0018
190. #6 [ffff880137d83c10] tcp_v4_rcv at ffffffff817892a9
191. #7 [ffff880137d83ca0] ip_local_deliver_finish at ffffffff8175fdc4
192. #8 [ffff880137d83cc8] ip_local_deliver at ffffffff817600cf
193. #9 [ffff880137d83d30] ip_rcv_finish at ffffffff8175faa2
194. #10 [ffff880137d83d60] ip_rcv at ffffffff817603d1
195. #11 [ffff880137d83dd8] __netif_receive_skb_core at ffffffff81721944
196. #12 [ffff880137d83e70] __netif_receive_skb at ffffffff81721cb8
197. #13 [ffff880137d83e90] process_backlog at ffffffff81722ab8
198. #14 [ffff880137d83ed0] net_rx_action at ffffffff817221fe
199. #15 [ffff880137d83f48] __do_softirq at ffffffff81084a41
200. #16 [ffff880137d83fb0] do_softirq_own_stack at ffffffff81831d0c
201. ---<IRQ stack>---
202. #17 [ffff8800121af888] do_softirq_own_stack at ffffffff81831d0c
203. -- MORE --  forward:<SPACE>,<ENTER> or j  backward: b or k  quit: q...skipping...
204. PID:5792   TASK: ffff880013531900  CPU:3   COMMAND:"server.out"
205. #0 [ffff880137d839b0] machine_kexec at ffffffff8105ae6b
206. #1 [ffff880137d83a10] crash_kexec at ffffffff8110cb12
207. #2 [ffff880137d83ae0] oops_end at ffffffff81030c29
208. #3 [ffff880137d83b08] die at ffffffff810310db
209. #4 [ffff880137d83b38] do_general_protection at ffffffff8102e5d9
210. #5 [ffff880137d83b60] general_protection at ffffffff81832118
211.    [exception RIP: tcp_v4_rcv+2735]
212.    RIP: ffffffff8178920f  RSP: ffff880137d83c18  RFLAGS:00010282
213.    RAX:6601a8c0647c770e  RBX: ffff880131d04ae8  RCX:0000000000000006
214.    RDX:0000000000000000  RSI: ffff880013531900  RDI: ffff880137d8dc78
215.    RBP: ffff880137d83c98   R8:000000000000000a   R9:0000000000000413
216.    R10:000000000000c5c0  R11:0000000000000413  R12: ffffffff81ef3e80
217.    R13: ffff8800ba0e4690  R14: ffff8800b7cde4fc  R15: ffff8800b7cde510
218.    ORIG_RAX: ffffffffffffffff  CS:0010  SS:0018
219. #6 [ffff880137d83c10] tcp_v4_rcv at ffffffff817892a9
220. #7 [ffff880137d83ca0] ip_local_deliver_finish at ffffffff8175fdc4
221. #8 [ffff880137d83cc8] ip_local_deliver at ffffffff817600cf
222. #9 [ffff880137d83d30] ip_rcv_finish at ffffffff8175faa2
223. #10 [ffff880137d83d60] ip_rcv at ffffffff817603d1
224. #11 [ffff880137d83dd8] __netif_receive_skb_core at ffffffff81721944
225. #12 [ffff880137d83e70] __netif_receive_skb at ffffffff81721cb8
226. #13 [ffff880137d83e90] process_backlog at ffffffff81722ab8
227. #14 [ffff880137d83ed0] net_rx_action at ffffffff817221fe
228. #15 [ffff880137d83f48] __do_softirq at ffffffff81084a41
229. #16 [ffff880137d83fb0] do_softirq_own_stack at ffffffff81831d0c
230. ---<IRQ stack>---
231. #17 [ffff8800121af888] do_softirq_own_stack at ffffffff81831d0c
232.    [exception RIP: unknown or invalid address]
233.    RIP:0000000088c26cce  RSP: ffffffff81ef3e80  RFLAGS: ffff880131d04ae8
234.    RAX:0000000000000000  RBX: ffff8800121af8c8  RCX: ffff8800121af940
235.    RDX: ffffffff81764479  RSI:0202020000000001  RDI:0000000000000246
236.    RBP: ffff880132960e00   R8: ffffffff8108450d   R9: ffff8800121af8e0
237.    R10:00000000fffffe01  R11: ffffffff81084488  R12:0000000088c26cce
238.    R13:0000000000000001  R14: ffffffff811ad08c  R15: ffffffff81724156
239.    ORIG_RAX:0100007f00000000  CS:2000200  SS: ffff8800b81b2d00
240. bt: WARNING: possibly bogus exception frame
241. #18 [ffff8800121af948] ip_finish_output at ffffffff81765406
242. #19 [ffff8800121af988] ip_output at ffffffff81765dfe
243. #20 [ffff8800121af9f8] ip_local_out at ffffffff817655c5
244. #21 [ffff8800121afa20] ip_queue_xmit at ffffffff817658e4
245. #22 [ffff8800121afa60] tcp_transmit_skb at ffffffff8177f25f
246. #23 [ffff8800121afaf8] tcp_write_xmit at ffffffff8177f925
247. #24 [ffff8800121afb78] __tcp_push_pending_frames at ffffffff81780c43
248. #25 [ffff8800121afba0] tcp_send_fin at ffffffff817827c8
249. #26 [ffff8800121afbd0] tcp_close at ffffffff817729e2
250. #27 [ffff8800121afc00] inet_release at ffffffff8179de0c
251. #28 [ffff8800121afc20] sock_release at ffffffff8170399f
252. #29 [ffff8800121afc40] sock_close at ffffffff81703a12
253. #30 [ffff8800121afc50] __fput at ffffffff8120da14
254. #31 [ffff8800121afc98] ____fput at ffffffff8120db8e
255. #32 [ffff8800121afca8] task_work_run at ffffffff8109da8f
256. #33 [ffff8800121afcd8] do_exit at ffffffff81082c37
257. #34 [ffff8800121afd48] do_group_exit at ffffffff810834c3
258. #35 [ffff8800121afd78] get_signal at ffffffff8108f672
259. #36 [ffff8800121afdf8] do_signal at ffffffff8102d537
260. #37 [ffff8800121afef8] exit_to_usermode_loop at ffffffff8100320c
261. #38 [ffff8800121aff30] syscall_return_slowpath at ffffffff81003c6e
262. #39 [ffff8800121aff50] int_ret_from_sys_call at ffffffff81830150
263.    RIP:00007f0aaf3f40fa  RSP:00007f0aaf2ddd40  RFLAGS:00000293
264.    RAX: fffffffffffffdfc  RBX:0000000000000000  RCX:00007f0aaf3f40fa
265.    RDX:00007f0aaf2ddd80  RSI:0000000000000000  RDI:0000000000000001
266.    RBP:00007f0aaf2ddd80   R8:0000000000000000   R9:0000000000000007
267.    R10:0000000000000000  R11:0000000000000293  R12:0000000000000000
268.    R13:00007ffeba0f765f  R14:00007f0aaf2de9c0  R15:0000000000000000
269.    ORIG_RAX:00000000000000e6  CS:0033  SS:002b
270. crash>
271. crash> dis -l tcp_v4_rcv+2735
272. /home/lybxin/MyRes/linux-source-4.4.0/net/ipv4/tcp_ipv4.c:1663
273. 0xffffffff8178920f<tcp_v4_rcv+2735>:   mov    0x5d0(%rax),%rdi

来自为知笔记(Wiz)