Linux 实例常用内核网络参数介绍与常见问题处理
本文总结了常见的 Linux 内核参数及相关问题。修改内核参数前,您需要:
- 从实际需要出发,最好有相关数据的支撑,不建议随意调整内核参数。
- 了解参数的具体作用,且注意同类型或版本环境的内核参数可能有所不同。
- 备份 ECS 实例中的重要数据。参阅文档创建快照。
查看和修改 Linux 实例内核参数
方法一、通过 /proc/sys/
目录
查看内核参数:使用 cat
查看对应文件的内容,例如执行命令 cat /proc/sys/net/ipv4/tcp_tw_recycle
查看 net.ipv4.tcp_tw_recycle
的值。
修改内核参数:使用 echo
修改内核参数对应的文件,例如执行命令 echo "0" > /proc/sys/net/ipv4/tcp_tw_recycle
将 net.ipv4.tcp_tw_recycle
的值修改为 0。
注意:
方法二、通过 sysctl.conf
文件
查看内核参数:执行命令 sysctl -a
查看当前系统中生效的所有参数,如下所示:
net.ipv4.tcp_app_win = 31
net.ipv4.tcp_adv_win_scale = 2
net.ipv4.tcp_tw_reuse = 0
net.ipv4.tcp_frto = 2
net.ipv4.tcp_frto_response = 0
net.ipv4.tcp_low_latency = 0
net.ipv4.tcp_no_metrics_save = 0
net.ipv4.tcp_moderate_rcvbuf = 1
net.ipv4.tcp_tso_win_divisor = 3
net.ipv4.tcp_congestion_control = cubic
net.ipv4.tcp_abc = 0
net.ipv4.tcp_mtu_probing = 0
net.ipv4.tcp_base_mss = 512
net.ipv4.tcp_workaround_signed_windows = 0
net.ipv4.tcp_challenge_ack_limit = 1000
net.ipv4.tcp_limit_output_bytes = 262144
net.ipv4.tcp_dma_copybreak = 4096
net.ipv4.tcp_slow_start_after_idle = 1
net.ipv4.cipso_cache_enable = 1
net.ipv4.cipso_cache_bucket_size = 10
net.ipv4.cipso_rbm_optfmt = 0
net.ipv4.cipso_rbm_strictvalid = 1
修改内核参数:
- 执行命令
/sbin/sysctl -w kernel.parameter="example"
修改参数,如sysctl -w net.ipv4.tcp_tw_recycle="0"
。 - 执行命令
vi /etc/sysctl.conf
修改/etc/sysctl.conf
文件中的参数。 - 执行命令
/sbin/sysctl -p
使配置生效。
注意:调整内核参数后内核处于不稳定状态,请务必重启实例。
Linux 网络相关内核参数引发的常见问题及处理
Linux 实例 NAT 哈希表满导致 ECS 实例丢包
此处涉及的内核参数:
net.netfilter.nf_conntrack_buckets
net.nf_conntrack_max
问题现象
ECS Linux 实例出现间歇性丢包,无法连接实例,通过 tracert、mtr 等工具排查,外部网络未见异常。同时,如下图所示,在系统日志中重复出现大量(table full, dropping packet.
)错误信息。
Feb 6 16:05:07 i-*** kernel: nf_conntrack: table full, dropping packet.
Feb 6 16:05:07 i-*** kernel: nf_conntrack: table full, dropping packet.
Feb 6 16:05:07 i-*** kernel: nf_conntrack: table full, dropping packet.
Feb 6 16:05:07 i-*** kernel: nf_conntrack: table full, dropping packet.
原因分析
ip_conntrack 是 Linux 系统内 NAT 的一个跟踪连接条目的模块。ip_conntrack 模块会使用一个哈希表记录 TCP 协议 established connection 记录,当这个哈希表满了的时候,便会导致 nf_conntrack: table full, dropping packet
错误。Linux 系统会开辟一个空间用来维护每一个 TCP 链接,这个空间的大小与 nf_conntrack_buckets
、nf_conntrack_max
相关,后者的默认值是前者的 4 倍,而前者在系统启动后无法修改,所以一般都是建议调大 nf_conntrack_max
。
注意:系统维护连接比较消耗内存,请在系统空闲和内存充足的情况下调大
nf_conntrack_max
,且根据系统的情况而定。
解决思路
- 使用管理终端登录实例。
- 执行命令
# vi /etc/sysctl.conf
编辑系统内核配置。 - 修改哈希表项最大值参数:
net.netfilter.nf_conntrack_max = 655350
。 - 修改超时参数:
net.netfilter.nf_conntrack_tcp_timeout_established = 1200
,默认情况下 timeout 是 432000(秒)。 - 执行命令
# sysctl -p
使配置生效。
Time wait bucket table overflow 报错
此处涉及的内核参数:
net.ipv4.tcp_max_tw_buckets
问题现象
Linux 实例 /var/log/message
日志全是类似 kernel: TCP: time wait bucket table overflow
的报错信息,提示 time wait bucket table
溢出,如下:
Feb 18 12:28:38 i-*** kernel: TCP: time wait bucket table overflow
Feb 18 12:28:44 i-*** kernel: printk: 227 messages suppressed.
Feb 18 12:28:44 i-*** kernel: TCP: time wait bucket table overflow
Feb 18 12:28:52 i-*** kernel: printk: 121 messages suppressed.
Feb 18 12:28:52 i-*** kernel: TCP: time wait bucket table overflow
Feb 18 12:28:53 i-*** kernel: printk: 351 messages suppressed.
Feb 18 12:28:53 i-*** kernel: TCP: time wait bucket table overflow
Feb 18 12:28:59 i-*** kernel: printk: 319 messages suppressed.
执行命令 netstat -ant|grep TIME_WAIT|wc -l
统计处于 TIME_WAIT 状态的 TCP 连接数,发现处于 TIME_WAIT 状态的 TCP 连接非常多。
原因分析
参数 net.ipv4.tcp_max_tw_buckets
可以调整内核中管理 TIME_WAIT 状态的数量,当实例中处于 TIME_WAIT 及需要转换为 TIME_WAIT 状态连接数之和超过了 net.ipv4.tcp_max_tw_buckets
参数值时,message 日志中将报错 time wait bucket table
,同时内核关闭超出参数值的部分 TCP 连接。您需要根据实际情况适当调高 net.ipv4.tcp_max_tw_buckets
,同时从业务层面去改进 TCP 连接。
解决思路
- 执行命令
netstat -anp |grep tcp |wc -l
统计 TCP 连接数。 - 执行命令
vi /etc/sysctl.conf
,查询net.ipv4.tcp_max_tw_buckets
参数。如果确认连接使用很高,容易超出限制。 - 调高参数
net.ipv4.tcp_max_tw_buckets
,扩大限制。 - 执行命令
# sysctl -p
使配置生效。
Linux 实例中 FIN_WAIT2 状态的 TCP 链接过多
此处涉及的内核参数:
net.ipv4.tcp_fin_timeout
问题现象
FIN_WAIT2 状态的 TCP 链接过多。
原因分析
- HTTP 服务中,Server 由于某种原因会主动关闭连接,例如 KEEPALIVE 超时的情况下。作为主动关闭连接的 Server 就会进入 FIN_WAIT2 状态。
- TCP/IP 协议栈中,存在半连接的概念,FIN_WAIT2 状态不算做超时,如果 Client 不关闭,FIN_WAIT_2 状态将保持到系统重启,越来越多的 FIN_WAIT_2 状态会致使内核 Crash。
- 建议调小
net.ipv4.tcp_fin_timeout
参数,减少这个数值以便加快系统关闭处于FIN_WAIT2
状态的 TCP 连接。
解决思路
执行命令
vi /etc/sysctl.conf
,修改或加入以下内容:net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 5000
执行命令
# sysctl -p
使配置生效。注意:由于
FIN_WAIT2
状态的 TCP 连接会进入TIME_WAIT
状态,请同时参阅 time wait bucket table overflow 报错。
Linux 实例中出现大量 CLOSE_WAIT 状态的 TCP 连接
问题现象
执行命令 netstat -atn|grep CLOSE_WAIT|wc -l
发现当前系统中处于 CLOSE_WAIT
状态的 TCP 连接非常多。
原因分析
关闭 TCP 连接时,TCP 连接的两端都可以发起关闭连接的请求,若对端发起了关闭连接,但本地没有关闭连接,那么该连接就会处于 CLOSE_WAIT 状态。虽然该连接已经处于半开状态,但是已经无法和对端通信,需要及时的释放掉该链接。建议从业务层面及时判断某个连接是否已经被对端关闭,即在程序逻辑中对连接及时关闭检查。
解决思路
编程语言中对应的读、写函数一般包含了检测 CLOSE_WAIT TCP 连接功能,例如:
Java 语言:
- 通过
read
方法来判断 I/O 。当 read 方法返回-1
时则表示已经到达末尾。 - 通过
close
方法关闭该链接。
C 语言:
- 检查
read
的返回值。- 若等于 0 则可以关闭该连接。
- 若小于 0 则查看 errno,若不是 AGAIN 则同样可以关闭连接。
客户端配置 NAT 后仍无法访问 ECS 或 RDS 远端服务器
此处涉及的内核参数:
net.ipv4.tcp_tw_recycle
net.ipv4.tcp_timestamps
问题现象
客户端配置 NAT 后无法访问远端 ECS、RDS,包括配置了 SNAT 的 VPC ECS 。同时无法访问连接其他 ECS 或 RDS 等云产品,抓包检测发现远端对客户端发送的 SYN 包没有响应。
原因分析
若远端服务器的内核参数 net.ipv4.tcp_tw_recycle
和 net.ipv4.tcp_timestamps
的值都为 1,则远端服务器会检查每一个报文中的时间戳(Timestamp),若 Timestamp 不是递增的关系,不会响应这个报文。配置 NAT 后,远端服务器看到来自不同的客户端的源 IP 相同,但 NAT 前每一台客户端的时间可能会有偏差,报文中的 Timestamp 就不是递增的情况。
解决思路
- 远端服务器为 ECS 时,修改参数
net.ipv4.tcp_tw_recycle
为 0。 - 远端服务器为 RDS 等 PaaS 服务时。RDS 无法直接修改内核参数,需要在客户端上修改参数
net.ipv4.tcp_tw_recycle
和net.ipv4.tcp_timestamps
为 0。
文档涉及的 Linux 内核参数说明
参数 | 说明 |
---|---|
net.ipv4.tcp_max_syn_backlog | 该参数决定了系统中处于 SYN_RECV 状态的 TCP 连接数量。SYN_RECV 状态指的是当系统收到 SYN 后,作了 SYN+ACK 响应后等待对方回复三次握手阶段中的最后一个 ACK 的阶段。 |
net.ipv4.tcp_syncookies | 该参数表示是否打开 TCP 同步标签(SYN_COOKIES ),内核必须开启并编译 CONFIG_SYN_COOKIES,SYN_COOKIES 可以防止一个套接字在有过多试图连接到达时引起过载。默认值 0 表示关闭。当该参数被设置为 1 且 SYN_RECV 队列满了之后,内核会对 SYN 包的回复做一定的修改,即,在响应的 SYN+ACK 包中,初始的序列号是由源 IP + Port、目的 IP + Port 及时间这五个参数共同计算出一个值组成精心组装的 TCP 包。由于 ACK 包中确认的序列号并不是之前计算出的值,恶意攻击者无法响应或误判,而请求者会根据收到的 SYN+ACK 包做正确的响应。启用 net.ipv4.tcp_syncookies 后,会忽略 net.ipv4.tcp_max_syn_backlog 。 |
net.ipv4.tcp_synack_retries | 该参数指明了处于 SYN_RECV 状态时重传 SYN+ACK 包的次数。 |
net.ipv4.tcp_abort_on_overflow | 设置该参数为 1 时,当系统在短时间内收到了大量的请求,而相关的应用程序未能处理时,就会发送 Reset 包直接终止这些链接。建议通过优化应用程序的效率来提高处理能力,而不是简单地 Reset。 默认值: 0。 |
net.core.somaxconn | 该参数定义了系统中每一个端口最大的监听队列的长度,是个全局参数。该参数和 net.ipv4.tcp_max_syn_backlog 有关联,后者指的是还在三次握手的半连接的上限,该参数指的是处于 ESTABLISHED 的数量上限。若您的 ECS 实例业务负载很高,则有必要调高该参数。listen(2) 函数中的参数 backlog 同样是指明监听的端口处于 ESTABLISHED 的数量上限,当 backlog 大于 net.core.somaxconn 时,以 net.core.somaxconn 参数为准。 |
net.core.netdev_max_backlog | 当内核处理速度比网卡接收速度慢时,这部分多出来的包就会被保存在网卡的接收队列上,而该参数说明了这个队列的数量上限。 |
参考链接
Linux 实例常用内核网络参数介绍与常见问题处理的更多相关文章
- 阿里云(四)Linux 实例常用内核网络参数介绍与常见问题处理
Linux 实例常用内核网络参数介绍与常见问题处理 https://help.aliyun.com/knowledge_detail/41334.html
- Linux实例常用内核网络参数介绍与常见问题处理---重要
文章转载自:https://help.aliyun.com/knowledge_detail/41334.html 本文主要介绍如下几点内容,您可以根据实际需要选择. 查看和修改Linux实例内核参数 ...
- linux更新grub内核启动参数的方法
#!/bin/bash set -x set -e export PS4=+{$LINENO:${FUNCNAME[0]}} trap 'echo "---NEWKERNARGS=$NEWK ...
- 优化Linux下的内核TCP参数来提高服务器负载能力
http://blog.renhao.org/2010/07/setup-linux-kernel-tcp-settings/ /proc/sys/net目录 所有的TCP/IP参数都位于/proc/ ...
- 优化Linux下的内核TCP参数以提高系统性能
内核的优化跟服务器的优化一样,应本着稳定安全的原则.下面以64位的Centos5.5下的Squid服务器为例来说明,待客户端与服务器端建立 TCP/IP连接后就会关闭SOCKET,服务器端连接的端口状 ...
- 压力测试 Jmeter的简单测试及常用查看结果参数介绍
(1)保存方案 (2)创建线程组 线程组用来模拟用户的并发访问 线程组主要包含三个参数:线程数.准备时长(Ramp-Up Period(in seconds)).循环次数. 线程数:虚拟用户数.一个虚 ...
- 深入浅出 JVM GC(4)常用 GC 参数介绍
# 前言 从前面的3篇文章中,我们分析了5个垃圾收集器,还有一些 GC 的算法,那么,在 GC 调优中,我们肯定会先判断哪里出现的问题,然后再根据出现的问题进行调优,而调优的手段就是 JVM 提供给我 ...
- Linux下查看某个进程打开的文件数-losf工具常用参数介绍
Linux下查看某个进程打开的文件数-losf工具常用参数介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在linux操作系统中,一切皆文件.通过文件不仅仅可以访问常规数据,还 ...
- 使用ioctl向linux内核传递参数的方法实例
该篇实例是摘自网络(无法追根溯源倒低是哪位"前"辈写的了) 一.应用层 uint16 data16; if ((fd = socket(AF_INET, SOCK_STREAM, ...
随机推荐
- Flink生成Parquet格式文件实战
1.概述 在流数据应用场景中,往往会通过Flink消费Kafka中的数据,然后将这些数据进行结构化到HDFS上,再通过Hive加载这些文件供后续业务分析.今天笔者为大家分析如何使用Flink消费Kaf ...
- 从设计模式的角度看Java程序优化
一.前言 Java程序优化有很多种渠道,比如jvm优化.数据库优化等等,但都是亡羊补牢的措施,如果能在设计程序架构时利用设计模式就把程序的短板解决,就能使程序更加健壮切容易维护迭代 二.常用的设计模式 ...
- Windows已遇到关键问题,将在一分钟后自动重新启动,请立即保存工作
Windows已遇到关键问题,将在一分钟后自动重新启动,请立即保存工作 1. 把电脑右下角网络断开 2.同时按 "WIN+R" 打开“运行”命令窗口 输入“cmd”命令,按回车键“ ...
- .Net Excel 导出图表Demo(柱状图,多标签页)
1 使用插件名称Epplus,多个Sheet页数据应用,Demo为柱状图(Epplus支持多种图表) 2 Epplus 的安装和引用 新建一个工程文件或控制台应用程序 打开 Vs2017 Tools ...
- 安装VS时,双击setup.exe后界面一闪而过的问题
问题:安装VS时,双击setup.exe界面一闪而过的问题 解决: 百度后说需要到"控制面板/添加和管理程序"关闭系统自带的netframework3.x及以上版本. 1.查看所有 ...
- Archive & Backup 概念
Archive & Backup 提起归档和备份两个词,给人感觉上是相同的概念,就是对指定文件的一个copy而已.archive和backup感觉是相似的,但是他们有着明显的不同de. arc ...
- 表单提交前,判断webuploader是否上传
function busUpLoadImg(postUrl,id) { .......//省略部分不用修改 uploader.on('uploadSuccess', function(file) { ...
- vue 获取页面详情后 切换页面时 如何监听用户是否修改过信息
可以用 beforeRouteLeave 和 updated 来判断.export default { name: 'supplier', components:{cmtWrap,cmtContent ...
- ssm基础搭建步骤
今天搭建新的项目环境,从网上找了些ssm的搭建步骤,终于找到了一位csdn的大佬,可以说写的特别详细,按照上面步骤搭建即可,为了方便日后参考,转载到本人博客,原文链接:https://blog.csd ...
- CSS3图片翻转动画技术详解
CSS动画非常的有趣:这种技术的美就在于,通过使用很多简单的属性,你能创建出漂亮的消隐效果.其中代表性的一种就是CSS图片翻转效果,能让你看到一张卡片的正反两面上的内容.本文就是要用最简单的方法向大家 ...