这篇博文分享的是我们针对一个耗时20秒的请求,用Wireshark进行抓包分析的过程。

请求的流程是这样的:客户端浏览器 -> SLB(负载均衡) -> ECS(云服务器) -> SLB -> 客户端浏览器。

下面是分析的过程:

1. 启动Wireshark,针对内网网卡进行抓包。

2. 在IIS日志中找出要分析的请求(借助Log Parser Studio)

通过c-ip(Client IP Address)可以获知SLB的内网IP,在分析Wireshar抓包时需要依据这个IP进行筛选。

通过sc-bytes(Bytes Sent)可以得知请求的响应内容的长度大于1MB,这可能是触发问题的一个条件。

3. 停止Wireshark抓包

4. 在Wireshark的Filter中输入ip.src==10.159.63.237 or ip.dst==10.159.63.237,筛选出针对10.159.63.237这个IP的包。

5. 根据IIS日志中的时间点找出Wireshark中对应的包(最终完成响应内容发送的包):

6. 然后Follow TCP Steam,只列出这个TCP流上的包,这样就可以方便地找出发起请求的包:

看到这个包中的TCP Window size只有29,感觉有些小。我们又专门抓包测试了一下Mac OS X与Windows,Mac OS X的起始TCP Window size是8192,Windows是256。

看了一下之前的SYN/ACK包,才知道了怎么回事?

SLB->ECS,[SYN],TCP Window size:14600
ECS->SLB, [SYN,ACK] TCP Window size:8192
SLB->ECS, [ACK] TCP Window size:29

SLB在SYN时设置的TCP Window size是14600,而ECS中的Windows Server 2012回SYN/ACK时给的TCP Window size是8192,由于SLB的Window size scaling factor是512,于是14600/512就是28了。这地方可以考虑在Windows中将TCP Window size改大一些。

关于TCP Window,推荐阅读园子里Vamei写的博文——协议森林10 魔鬼细节 (TCP滑窗管理)

7. 由于响应内容大于1MB,远远超出了TCP的MSS(Maxitum Segment Size),要进行TCP segment of a reassembled PDU,所以接下来出现了有一堆的TCP segment of a reassembled PDU包。

8. 在发送TCP segment of a reassembled PDU的过程中出现了重复的ACK包

这说明了当时网络环境出了某种问题。

9. 再接下来出现了[TCP Out-Of-Order],服务端收到的TCP包的次序不对,出现的时间点是14:36:26.993176,至此已经耗时84ms。

这里也说明了当时网络环境出了某种问题。

10. 继续发送TCP segment of a reassembled PDU,结果在14:36:27.060223又出现[TCP Dup ACK ]:

11. 接着又出现了[TCP Out-Of-Order]。

12. 接下来SLB给ECS发了一个致命的ACK包,Window Size竟然只有2

这时服务端估计郁闷极了,就如同跟着宝马开车,突然前面的宝马踩了个急刹车。

(注:SLB这么做,也有可能是客户端网络环境的原因)

13. 过了500多ms之后,SLB给ECS发了一个[TCP Window Update]包,将TCP window size改为了36。

14:36:27.779925000    10.159.63.237    10.161.241.208    TCP    66    [TCP Window Update] 14319 > http [ACK] Seq=313 Ack=922921 Win=18432 Len=0 TSval=173285669 TSecr=18155162

14. 交通恢复正常。。。

15. 突然宝马又踩了一次急刹车,TCP window又变成了2:

14:36:27.862061000    10.159.63.237    10.161.241.208    TCP    66    14319 > http [ACK] Seq=313 Ack=957673 Win=1024 Len=0 TSval=173285752 TSecr=18155225

16. 700多ms后的[TCP Window Update]又让交通恢复正常。

17. 就这样反复地踩刹车、加速。。。。

18. 直到了14:36:47,才完成了整个响应内容的发送,而时间已经过去近21秒。

从分析的情况看,SLB与客户端的网络环境都可能引起这个问题。但是从IIS日志来看,有些耗时长的请求竟然达到了140秒,什么样的客户端会傻到一直等2分多钟而不断开TCP连接或重发请求?

云计算之路-阿里云上:Wireshark抓包分析一个耗时20秒的请求的更多相关文章

  1. 云计算之路-阿里云上:从ASP.NET线程角度对“黑色30秒”问题的全新分析

    在这篇博文中,我们抛开对阿里云的怀疑,完全从ASP.NET的角度进行分析,看能不能找到针对问题现象的更合理的解释. “黑色30秒”问题现象的主要特征是:排队的请求(Requests Queued)突增 ...

  2. 云计算之路-阿里云上:Web服务器遭遇奇怪的“黑色30秒”问题

    今天下午访问高峰的时候,主站的Web服务器出现奇怪的问题,开始是2台8核8G的云服务器(ECS),后来又加了1台8核8G的云服务器,问题依旧. 而且3台服务器特地使用了不同的配置:1台是禁用了虚拟内存 ...

  3. 云计算之路-阿里云上-容器难容:容器服务故障以及自建 docker swarm 集群故障

    3月21日,由于使用阿里云服务器自建 docker swarm 集群的不稳定,我们将自建 docker swarm 集群上的所有应用切换阿里云容器服务 swarm 版(非swarm mode). 3月 ...

  4. 云计算之路-阿里云上-新发现:又一种与虚拟内存有关的CPU波动情况

    在云上真是无奇不有,昨天偶然间发现在IIS的应用程序池回收设置中,仅仅设置了一下基于虚拟内存限制的回收,就引发了CPU有规律的波动.在这篇博文中,我们将向大家汇报一下云计算之路上的这个小发现. 在之前 ...

  5. 云计算之路-阿里云上:启用Windows虚拟内存引发的CPU 100%故障

    今天上午11:35~11:40左右,由于负载均衡中的两台云服务器CPU占用突然飚至100%,造成网站5分钟左右不能正常访问,请大家带来了麻烦,请谅解! (上图中红色曲线表示CPU占用) 经过分析,我们 ...

  6. 云计算之路-阿里云上:SLB会话保持的一个坑

    冒着被大家厌烦的风险,今天再发一篇“云计算之路-阿里云上”.这是在前一篇发过之后真实发生的事情,我们觉得定位问题的过程值得分享.而且估计园子里不少朋友被这个问题骚扰过,我们有责任让大家知道问题的真正原 ...

  7. 云计算之路-阿里云上:原来“黑色0.1秒”发生在socket读取数据时

    在昨天的博文(云计算之路-阿里云上:读取缓存时的“黑色0.1秒”)中我们犯了一个很低级的错误——把13ms算成了130ms(感谢陈硕发现这个错误!),从而对问题的原因作出了错误的推断,望大家谅解! 从 ...

  8. 云计算之路-阿里云上:禁用Windows虚拟内存引发的重启

    昨天(2013年8月6日)下午,承载www.cnblogs.com主站的两台云服务器分别自动重启了1次,由于这两台云服务器使用了负载均衡(SLB),重启并未影响网站的正常访问. 与这次重启相关的Win ...

  9. 云计算之路-阿里云上:OCS问题的进展以及11:30-11:50遇到的问题

    (上图是今天出问题期间Web服务器性能监控图,紫色表示的是Request Execution Time) 昨天我们发布了一篇博客分享了我们这两天遇到的OCS(开放缓存服务)问题,详见云计算之路-阿里云 ...

随机推荐

  1. 【转】JAVA CAS原理深度分析

    java.util.concurrent包完全建立在CAS之上的,没有CAS就不会有此包.可见CAS的重要性. CAS CAS:Compare and Swap, 翻译成比较并交换. java.uti ...

  2. 闭包Closures

    所谓闭包,可以理解为一个可以用于函数,参数,返回值处的代码块 import Foundation func isGood(a:Int,b:Int)->Bool{ return a>b; } ...

  3. jQuery Validate 表单验证插件----利用jquery.metadata.js将校验规则直接写在class属性里面并定义错误信息的提示

    一.下载依赖包 网盘下载:https://yunpan.cn/cryvgGGAQ3DSW  访问密码 f224 二. 添加一个另外一个插件jquery.metadata.js 并把校验规则写在控件里面 ...

  4. MongodbBackup Script

    #!/usr/bin/env python # _*_coding:utf-8_*_ # Author: "Edward.Liu" # Author-Email: lonnyliu ...

  5. 获取某地的经纬度 && 通过经纬度获取相应的地理位置

    最近要通过一个经纬度判断该经纬度是否位于某个地区内,所以通过网上查找资料,整合后出了下面的内容. 1.通过地址获取改地址的经纬度 /** * @param addr * 查询的地址 * @return ...

  6. 20150912华为机考1之"输入一个字符串,将其中出现次数最多的字符输出"

    不吐槽华为的服务器了,直接上正文 输入:字符串(英文字母),长度不超过128 输出:出现频率最高的字母 思路写在注释文档 /* Input a string * Output the most fre ...

  7. xargs -n1 -t

    杀掉删除没有释放空间的进程 可以用如下命令,当然也可以写一个循环,不过这一条命令比循环简单 lsof  |grep  deleted  |awk '{print $2}' |xargs  -n1 -t ...

  8. NFS(Network File System)服务配置和使用

    Sun公司开发NFS (Network File System)之初就是为了在不同linux/Unix系统之间共享文件或者文件夹.可以在本地通过网络挂载远程主机的共享文件,和远程主机交互.NFS共享存 ...

  9. c++ static变量

    C++中Static作用和使用方法   1.什么是static?  static是C++中很常用的修饰符,它被用来控制变量的存储方式和可见性. 2.为什么要引入static?   函数内部定义的变量, ...

  10. 怎样获取优酷站内视频的MP4格式地址,嵌入到手机页面播放

    最近的有关项目需要使用video标签播放视频,并且视频的路径src是优酷里面的视频,所以需要得到优酷里面的mp4路径才能播放. 但是在网上查了下资料,看到优酷的播放格式是一个m3u8文件,如图所示: ...