【问题】

用C#模拟网页登陆,其中去请求几个页面,会发起对应的http的请求request,其中keepAlive设置为true,提交请求后,然后会有对应的response:

resp = (HttpWebResponse)req.GetResponse();

之前的多次调试,一直都是可以正常获得对应的response,然后读取html页面的。

但是后来几次的调试,在没有改变代码的前提下,结果GetResponse却始终会超时死掉。

【解决过程】

1.默认request的timeout是1000000毫秒=100秒,都会超时,手动改为10秒,因此就更容易超时了,无法解决问题。

2.将http的request的keepAlive设置为false,问题依旧。

3.去参考:c# request.GetResponse();超时问题的解决,和HttpWebRequest多线程性能问题,请求超时的错误

去把前面共4次的httprequest,每次都增加对应的:

resp = null; 
。。。 
if (resp != null) 

    resp.Close(); 

if (req != null) 

    req.Abort(); 
}

结果还是没解决问题。

4. 同样参考:HttpWebRequest多线程性能问题,请求超时的错误

去尝试关于DefaultConnectionLimit的设置,改为为10:

System.Net.ServicePointManager.DefaultConnectionLimit = 10;

问题依旧。

5.又去测试了下,关于response.Close()

也是没解决问题。

6. 最后无意间,索性不抱希望的,再次DefaultConnectionLimit设置为更大的值50:

System.Net.ServicePointManager.DefaultConnectionLimit = 50;

试了试,结果就解决超时的问题了。

然后才搞懂原因。

之前默认设置为2,后来改为10,都没有解决问题的原因在于,当前有很多个http的连接,没有被关闭掉,

而这些keepalive的连接,都是

由于代码中,对于前面多个request。其都是keepalive为true,以及多个response也没有close,

而之前调试了很多次了,所以,此时已经存在了很多个alive的http连接了,已经超过了10个了,所以前面设置了DefaultConnectionLimit 为10,也还是没用的。

而改为50,才够用。

【总结】

此处GetResponse超过的原因是,当前存在太多数目的alive的http连接(大于10个),所以再次提交同样的http的request,再去GetResponse,就会超时死掉。

解决办法就是,把DefaultConnectionLimit 设置为一个比较大一点的数值,此数值保证大于你当前已经存在的alive的http连接数即可。

【经验总结】

以后写http的request代码,如果不是必须的要keepalive的,那么就要设置KeepAlive为false:

req.KeepAlive = false;

以及做对应的收尾动作:

if (resp != null) 

    resp.Close(); 

if (req != null) 

    req.Abort(); 
}

【后记 2012-03-01】

又偶尔遇到一次,DefaultConnectionLimit已经是200了,足够大了,但是GetResponse和GetRequestStream,还是会超时死掉的问题,具体是什么原因导致的还不是很清楚,但是经过折腾,参考:

HttpWebResponse’s GetResponse() hangs and timeouts

在:

req = (HttpWebRequest)WebRequest.Create(constSkydriveUrl); 
setCommonHttpReqPara(ref req); 
resp = (HttpWebResponse)req.GetResponse();

之前,添加一句垃圾回收:

System.GC.Collect();

然后就解决了GetResponse的超时问题,并且后面的GetRequestStream也同时可以正常工作,不超时了。

所以,看起来像是当前系统由于调试多次,并且HttpWebRequest和HttpWebResponse都是没有正常去Close的,可能会残留一些http的链接,然后就可能影响到了后续对于http的使用,垃圾回收后,估计就把残余的http相关资源释放了,然后http就可以正常工作了。

【总结】

对于GetResponse或GetRequestStream超时死掉的原因,可能是:

1.DefaultConnectionLimit是默认的2,而当前的Http的connection用完了,导致后续的GetResponse或GetRequestStream超时死掉

==>> 默认系统只支持同时存在2个http的connection

==>>
使用HttpWebRequest之后如果没有close,则会占用1个http的connection,所以如果超过2次使用HttpWebRequest而没有close,那么就用完系统的http的connection,之后再去使用HttpWebRequest,GetResponse就会死掉

解决办法:

办法1:

每次使用完HttpWebRequest,使用

1
2
req.Close();
req=null;

去关闭对应的http connection

最好对应的HttpWebResponse也要close:

1
2
resp.Close();
resp = null;

方法2:

修改DefaultConnectionLimit的值,改为足够大,比如:

1
System.Net.ServicePointManager.DefaultConnectionLimit = 200;

2.系统中Http相关的资源没有正确释放,导致后续GetResponse或GetRequestStream超时死掉

就像我此处遇到的,可能是之前调用http相关函数,没有正确完全释放资源,导致虽然DefaultConnectionLimit给了足够大,但是还是会死掉,此时在http请求代码之前去做一次垃圾回收,则后续http的GetResponse或GetRequestStream就正常了,就不会超时死掉了。

参考代码如下:

1
2
3
4
5
System.GC.Collect();
 
req = (HttpWebRequest)WebRequest.Create(constSkydriveUrl);
setCommonHttpReqPara(ref req);
resp = (HttpWebResponse)req.GetResponse();

3.Http的GET请求时,不要手动设置ContentLength的值

这个是参考这里:HttpWebRequest.GetResponse() hangs the second time it is called而记录于此的,也许有人是此原因,所以可供参考一下。

即Http的GET请求,不要添加类似如下的代码:

1
2
if (m_contentLength > 0)
    httpWebRequest.ContentLength = m_contentLength;

不要去手动修改对应的ContentLength的值,C#的http相关库函数,会自动帮你计算的。

注:POST方法中,的确是要手动填充数据和算出数据大小,然后手动给ContentLength赋值的。

4.其他可能的一些原因

(1)关于KeepAlive的问题

如果Http的请求,是设置了KeepAlive=true的话,那么对应的http的connection会和服务器保持连接的。

所以如果上述办法都不能解决超时的问题,可以尝试将keepAlive设置为false试试,看看能否解决。

(2)关于Sleep

有些人好像是通过在http请求前,加了对应的Sleep,结果解决了此问题。需要的人,也可以试试。

(3)HttpWebRequest的Timeout

一般来说,既然超时了,往往是由于错误使用函数或者网络有问题导致的,所以实际上此处对于有些人去把HttpWebRequest的Timeout的值改的更大,往往都是没用的。

只不过,万一是由于网络响应慢而导致超时,那么倒是可以尝试,将HttpWebRequest的Timeout的值改为更大。

(其中HttpWebRequest的Timeout默认的值是100,000 milliseconds ==100 seconds)

参考代码:

1
req.Timeout = 5 * 60 * 1000; // 5 minutes

【转载】HttpWebRequest的GetResponse或GetRequestStream偶尔超时 + 总结各种超时死掉的可能和相应的解决办法的更多相关文章

  1. 【已解决】HttpWebRequest的GetResponse或GetRequestStream偶尔超时 + 总结各种超时死掉的可能和相应的解决办法

    [问题] 用C#模拟网页登陆,其中去请求几个页面,会发起对应的http的请求request,其中keepAlive设置为true,提交请求后,然后会有对应的response: resp = (Http ...

  2. HttpWebRequest的GetResponse或GetRequestStream偶尔超时 + 总结各种超时死掉的可能和相应的解决办法

    [问题] 用C#模拟网页登陆,其中去请求几个页面,会发起对应的http的请求request,其中keepAlive设置为true,提交请求后,然后会有对应的response: resp = (Http ...

  3. HttpWebRequest中GetResponse或者说GetRequestStream偶尔超时,或者是各种操作超时造成的假死的一些解决方案

    今天用了将近一天的时间来查找这个问题的存在,不停的百度查找原因测试原因,发现解决方案很是简单,不过最好还好哦啊都解决了,在这里纪录一下,希望可以帮到你们 payload = System.Text.E ...

  4. C#中HttpWebRequest的GetRequestStream执行的效率太低,甚至偶尔死掉

    为了提高httpwebrequest的执行效率,查到了一些如下设置 request.ServicePoint.Expect100Continue = false; request.ServicePoi ...

  5. HttpWebRequest在GetResponse时总是超时

    最近在通过RESTFUL接口来发布些数据,总是出现请求超时,好不容易找到个靠谱点的了,记下来,回去试下!! “ 问题就是我第一个HttpWebRequest在GetResponse之后,忘记将取得的W ...

  6. C# HttpWebRequest请求超时解决办法

    request.GetResponse();超时问题的解决,和HttpWebRequest多线程性能问题,请求超时的错误, 解决办法 1.将http的request的keepAlive设置为false ...

  7. C# 发送HTTP请求超时解决办法

    request.GetResponse();超时问题的解决,和HttpWebRequest多线程性能问题,请求超时的错误, 解决办法 1.将http的request的keepAlive设置为false ...

  8. js_html_input中autocomplete="off"在chrom中失效的解决办法 使用JS模拟锚点跳转 js如何获取url参数 C#模拟httpwebrequest请求_向服务器模拟cookie发送 实习期学到的技术(一) LinqPad的变量比较功能 ASP.NET EF 使用LinqPad 快速学习Linq

    js_html_input中autocomplete="off"在chrom中失效的解决办法 分享网上的2种办法: 1-可以在不需要默认填写的input框中设置 autocompl ...

  9. asp.net连接数据库超时的解决办法

    错误提示:“超时时间已到.超时时间已到,但是尚未从池中获取连接.出现这种情况可能是因为所有池连接均在使用,并且达到了最大池大小.  ” 经过几天辛苦写的代码,终于实现了功能丰富的查询功能,但是使用的过 ...

随机推荐

  1. Kubernetes学习之路(十四)之服务发现Service

    一.Service的概念 运行在Pod中的应用是向客户端提供服务的守护进程,比如,nginx.tomcat.etcd等等,它们都是受控于控制器的资源对象,存在生命周期,我们知道Pod资源对象在自愿或非 ...

  2. jzoj5377 开拓

    哇好火的dp啊. 开始根本想不出 这里如果顺着dp肯定是不行的,没办法记录钻头能力值 显然能力值的变化会影响后面收入 而具体影响就是:全部乘了1-0.01k或1+0.01c. 可以倒着dp(orz) ...

  3. 我用 Python 爬取微信好友,最后发现一个大秘密

    前言 你身处的环境是什么样,你就会成为什么样的人.现在人们日常生活基本上离不开微信,但微信不单单是一个即时通讯软件,微信更像是虚拟的现实世界.你所处的朋友圈是怎么样,慢慢你的思想也会变的怎么样.最近在 ...

  4. [学习笔记]PCL使用心得

    最近开始做研究生毕设,有一部分因为没有什么好的思路,就把以前用过的PCL点云搬出来,重新用源码装了一遍PCL,一开始装的过程中没什么大问题,在后面用的时候碰到了很多小问题,特此记录. 1.PCL版本问 ...

  5. 【微服务架构】SpringCloud组件和概念介绍(一)

    一:什么是微服务(Microservice) 微服务英文名称Microservice,Microservice架构模式就是将整个Web应用组织为一系列小的Web服务.这些小的Web服务可以独立地编译及 ...

  6. (一)Hyperledger Fabric 1.1安装部署-基础环境搭建

    在学习和开发hyperledger fabric的时候遇到了一些坑,现将自己的一些总结和心得整理如下,以期对大家有所帮助.本次使用的宿主机环境:ubuntu,版本:Ubuntu 16.04.3 LTS ...

  7. Linux 系统安全检查(shell)

    脚本内容: #!/bin/bash echo " (__)" echo " (oo)" echo " /------\/ " echo &q ...

  8. 第十四次ScrumMeeting博客

    第十四次ScrumMeeting博客 本次会议于12月3日(日)22时整在3公寓725房间召开,持续30分钟. 与会人员:刘畅.辛德泰.张安澜.方科栋. 1. 每个人的工作(有Issue的内容和链接) ...

  9. python循环综合运用

    循环很重要,计算机很蠢,唯一的优势就是按照指令不停的执行,所以决定在说一下. break语句,用在循环体中,迫使循环立即终止,即跳出所在循环体,继续执行循环体后面的语句. sum=0 i=1 whil ...

  10. PHP版本对比【转】

    其他历史http://www.cnblogs.com/yjf512/p/3588466.html php5.3 改动: 1.realpath() 现在是完全与平台无关的. 结果是非法的相对路径比如FI ...