这个需求来自于我最近练手的一个项目,在项目中我需要将一些自己发表的和收藏整理的网文集中到一个地方存放,如果全部采用手工操作工作量大而且繁琐,因此周公决定利用C#来实现。在很多地方都需要验证用户身份才可以进行下一步操作,这就免不了POST请求来登录,在实际过程中发现有些网站登录是HTTPS形式的,在解决过程中遇到了一些小问题,现在跟大家分享。
 通用辅助类
 下面是我编写的一个辅助类,在这个类中采用了HttpWebRequest中发送GET/HTTP/HTTPS请求,因为有的时候需要获取认证信息(如Cookie),所以返回的是HttpWebResponse对象,有了返回的HttpWebResponse实例,可以获取登录过程中返回的会话信息,也可以获取响应流。
 代码如下:

  1. using System;
  2. using System.Collections.Generic;
  3. using System.Linq;
  4. using System.Text;
  5. using System.Net.Security;
  6. using System.Security.Cryptography.X509Certificates;
  7. using System.DirectoryServices.Protocols;
  8. using System.ServiceModel.Security;
  9. using System.Net;
  10. using System.IO;
  11. using System.IO.Compression;
  12. using System.Text.RegularExpressions;
  13. /*
  14. * 作者:周公(zhoufoxcn)
  15. * 日期:2011-05-08
  16. * 原文出处:http://blog.csdn.net/zhoufoxcn 或http://zhoufoxcn.blog.51cto.com
  17. * 版权说明:本文可以在保留原文出处的情况下使用于非商业用途,周公对此不作任何担保或承诺。
  18. * */
  19. namespace BaiduCang
  20. {
  21. /// <summary>
  22. /// 有关HTTP请求的辅助类
  23. /// </summary>
  24. public class HttpWebResponseUtility
  25. {
  26. private static readonly string DefaultUserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)";
  27. /// <summary>
  28. /// 创建GET方式的HTTP请求
  29. /// </summary>
  30. /// <param name="url">请求的URL</param>
  31. /// <param name="timeout">请求的超时时间</param>
  32. /// <param name="userAgent">请求的客户端浏览器信息,可以为空</param>
  33. /// <param name="cookies">随同HTTP请求发送的Cookie信息,如果不需要身份验证可以为空</param>
  34. /// <returns></returns>
  35. public static HttpWebResponse CreateGetHttpResponse(string url,int? timeout, string userAgent,CookieCollection cookies)
  36. {
  37. if (string.IsNullOrEmpty(url))
  38. {
  39. throw new ArgumentNullException("url");
  40. }
  41. HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
  42. request.Method = "GET";
  43. request.UserAgent = DefaultUserAgent;
  44. if (!string.IsNullOrEmpty(userAgent))
  45. {
  46. request.UserAgent = userAgent;
  47. }
  48. if (timeout.HasValue)
  49. {
  50. request.Timeout = timeout.Value;
  51. }
  52. if (cookies != null)
  53. {
  54. request.CookieContainer = new CookieContainer();
  55. request.CookieContainer.Add(cookies);
  56. }
  57. return request.GetResponse() as HttpWebResponse;
  58. }
  59. /// <summary>
  60. /// 创建POST方式的HTTP请求
  61. /// </summary>
  62. /// <param name="url">请求的URL</param>
  63. /// <param name="parameters">随同请求POST的参数名称及参数值字典</param>
  64. /// <param name="timeout">请求的超时时间</param>
  65. /// <param name="userAgent">请求的客户端浏览器信息,可以为空</param>
  66. /// <param name="requestEncoding">发送HTTP请求时所用的编码</param>
  67. /// <param name="cookies">随同HTTP请求发送的Cookie信息,如果不需要身份验证可以为空</param>
  68. /// <returns></returns>
  69. public static HttpWebResponse CreatePostHttpResponse(string url,IDictionary<string,string> parameters,int? timeout, string userAgent,Encoding requestEncoding,CookieCollection cookies)
  70. {
  71. if (string.IsNullOrEmpty(url))
  72. {
  73. throw new ArgumentNullException("url");
  74. }
  75. if(requestEncoding==null)
  76. {
  77. throw new ArgumentNullException("requestEncoding");
  78. }
  79. HttpWebRequest request=null;
  80. //如果是发送HTTPS请求
  81. if(url.StartsWith("https",StringComparison.OrdinalIgnoreCase))
  82. {
  83. ServicePointManager.ServerCertificateValidationCallback = new RemoteCertificateValidationCallback(CheckValidationResult);
  84. request = WebRequest.Create(url) as HttpWebRequest;
  85. request.ProtocolVersion=HttpVersion.Version10;
  86. }
  87. else
  88. {
  89. request = WebRequest.Create(url) as HttpWebRequest;
  90. }
  91. request.Method = "POST";
  92. request.ContentType = "application/x-www-form-urlencoded";
  93. if (!string.IsNullOrEmpty(userAgent))
  94. {
  95. request.UserAgent = userAgent;
  96. }
  97. else
  98. {
  99. request.UserAgent = DefaultUserAgent;
  100. }
  101. if (timeout.HasValue)
  102. {
  103. request.Timeout = timeout.Value;
  104. }
  105. if (cookies != null)
  106. {
  107. request.CookieContainer = new CookieContainer();
  108. request.CookieContainer.Add(cookies);
  109. }
  110. //如果需要POST数据
  111. if(!(parameters==null||parameters.Count==0))
  112. {
  113. StringBuilder buffer = new StringBuilder();
  114. int i = 0;
  115. foreach (string key in parameters.Keys)
  116. {
  117. if (i > 0)
  118. {
  119. buffer.AppendFormat("&{0}={1}", key, parameters[key]);
  120. }
  121. else
  122. {
  123. buffer.AppendFormat("{0}={1}", key, parameters[key]);
  124. }
  125. i++;
  126. }
  127. byte[] data = requestEncoding.GetBytes(buffer.ToString());
  128. using (Stream stream = request.GetRequestStream())
  129. {
  130. stream.Write(data, 0, data.Length);
  131. }
  132. }
  133. return request.GetResponse() as HttpWebResponse;
  134. }
  135. private static bool CheckValidationResult(object sender, X509Certificate certificate, X509Chain chain, SslPolicyErrors errors)
  136. {
  137. return true; //总是接受
  138. }
  139. }
  140. }

从上面的代码中可以看出POST数据到HTTP和HTTPS站点不同,POST数据到HTTPS站点的时候需要设置ServicePointManager类的ServerCertificateValidationCallback属性,并且在POST到https://passport.baidu.com/?login时还需要将HttpWebResquest实例的ProtocolVersion属性设置为HttpVersion.Version10(这个未验证是否所有的HTTPS站点都需要设置),否则在调用GetResponse()方法时会抛出“基础连接已经关闭: 连接被意外关闭。”的异常。
 
 用法举例
 这个类用起来也很简单:
 (1)POST数据到HTTPS站点,用它来登录百度:

  1. string loginUrl = "https://passport.baidu.com/?login";
  2. string userName = "userName";
  3. string password = "password";
  4. string tagUrl = "http://cang.baidu.com/"+userName+"/tags";
  5. Encoding encoding = Encoding.GetEncoding("gb2312");
  6. IDictionary<string, string> parameters = new Dictionary<string, string>();
  7. parameters.Add("tpl", "fa");
  8. parameters.Add("tpl_reg", "fa");
  9. parameters.Add("u", tagUrl);
  10. parameters.Add("psp_tt", "0");
  11. parameters.Add("username", userName);
  12. parameters.Add("password", password);
  13. parameters.Add("mem_pass", "1");
  14. HttpWebResponse response = HttpWebResponseUtility.CreatePostHttpResponse(loginUrl, parameters, null, null, encoding, null);
  15. string cookieString = response.Headers["Set-Cookie"];

(2)发送GET请求到HTTP站点
 在cookieString中包含了服务器端返回的会话信息数据,从中提取了之后可以设置Cookie下次登录时带上这个Cookie就可以以认证用户的信息,假设我们已经登录成功并且获取了Cookie,那么发送GET请求的代码如下:

  1. string userName = "userName";
  2. string tagUrl = "http://cang.baidu.com/"+userName+"/tags";
  3. CookieCollection cookies = new CookieCollection();//如何从response.Headers["Set-Cookie"];中获取并设置CookieCollection的代码略
  4. response = HttpWebResponseUtility.CreateGetHttpResponse(tagUrl, null, null, cookies);

(3)发送POST请求到HTTP站点
 以登录51CTO为例:

  1. string loginUrl = "http://home.51cto.com/index.php?s=/Index/doLogin";
  2. string userName = "userName";
  3. string password = "password";
  4. IDictionary<string, string> parameters = new Dictionary<string, string>();
  5. parameters.Add("email", userName);
  6. parameters.Add("passwd", password);
  7. HttpWebResponse response = HttpWebResponseUtility.CreatePostHttpResponse(loginUrl, parameters, null, null, Encoding.UTF8, null);

在这里说句题外话,CSDN的登录处理是由http://passport.csdn.net/ajax/accounthandler.ashx这个Handler来处理的。
 
 总结
在本文只是讲解了在C#中发送请求到HTTP和HTTPS的用法,分GET/POST两种方式,为减少一些繁琐和机械的编码,周公将其封装为一个类,发送数据之后返回HttpWebResponse对象实例,利用这个实例我们可以获取服务器端返回的Cookie以便用认证用户的身份继续发送请求,或者读取服务器端响应的内容,不过在读取响应内容时要注意响应格式和编码,本来在这个类中还有读取HTML和WML内容的方法(包括服务器使用压缩方式传输的数据),但限于篇幅和其它方面的原因,此处省略掉了。如有机会,在以后的文章中会继续讲述这方面的内容。
 
 周公
 2011-05-08

本文出自 “周公(周金桥)的专栏” 博客,请务必保留此出处http://zhoufoxcn.blog.51cto.com/792419/561934

【转】在C#用HttpWebRequest中发送GET/HTTP/HTTPS请求的更多相关文章

  1. 在C#用HttpWebRequest中发送GET/HTTP/HTTPS请求

    通用辅助类  下面是我编写的一个辅助类,在这个类中采用了HttpWebRequest中发送GET/HTTP/HTTPS请求,因为有的时候需 要获取认证信息(如Cookie),所以返回的是HttpWeb ...

  2. (转) 在C#用HttpWebRequest中发送GET/HTTP/HTTPS请求

    转自:http://blog.csdn.net/zhoufoxcn/article/details/6404236 通用辅助类 下面是我编写的一个辅助类,在这个类中采用了HttpWebRequest中 ...

  3. 在C#用HttpWebRequest中发送GET/HTTP/HTTPS请求【转载】

    标签:C# HTTPS HttpWebRequest HTTP HttpWebResponse 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任. ...

  4. C#中用HttpWebRequest中发送GET/HTTP/HTTPS请求 (转载)

    这个需求来自于我最近练手的一个项目,在项目中我需要将一些自己发表的和收藏整理的网文集中到一个地方存放,如果全部采用手工操作工作量大而且繁琐,因此周公决定利用C#来实现.在很多地方都需要验证用户身份才可 ...

  5. 在C#用HttpWebRequest中发送GET/HTTP/HTTPS请求(转)

    通用辅助类 下面是我编写的一个辅助类,在这个类中采用了HttpWebRequest中发送GET/HTTP/HTTPS请求,因为有的时候需要获取认证信息(如Cookie),所以返回的是HttpWebRe ...

  6. C#中用HttpWebRequest中发送GET/HTTP/HTTPS请求

    C# HttpWebRequest GET HTTP HTTPS 请求  作者:周公(zhoufoxcn)    原文:http://blog.csdn.net/zhoufoxcn 这个需求来自于我最 ...

  7. RestTemplate发送HTTP、HTTPS请求

    RestTemplate 使用总结   场景: 认证服务器需要有个 http client 把前端发来的请求转发到 backend service, 然后把 backend service 的结果再返 ...

  8. 如何在java中发起http和https请求

    一般调用外部接口会需要用到http和https请求. 一.发起http请求 1.写http请求方法 //处理http请求 requestUrl为请求地址 requestMethod请求方式,值为&qu ...

  9. 在Java中发送http的post请求,设置请求参数等等

    前几天做了一个定时导入数据的接口,需要发送http请求,第一次做这种的需求,特地记一下子, 导包 import java.text.SimpleDateFormat;import java.util. ...

随机推荐

  1. loj 1155(最大流)

    题目链接:http://acm.hust.edu.cn/vjudge/problem/viewProblem.action?id=26869 思路:题目还是比较水的,由于点也有容量,则必须拆点,然后跑 ...

  2. 小甲鱼PE详解之区块描述、对齐值以及RVA详解(PE详解06)

    各种区块的描述: 很多朋友喜欢听小甲鱼的PE详解,因为他们觉得课堂上老师讲解的都是略略带过,绕得大家云里雾里~刚好小甲鱼文采也没课堂上的教授讲的那么好,只能以比较通俗的话语来给大家描述~ 通常,区块中 ...

  3. jq查找父类元素三个函数的区别

    parent是找当前元素的第一个父节点,parents是找当前元素的所有父节点 parent().parents()与closest()方法两两之间有类似又有不同,本篇简短的区分一下这三个方法.通过本 ...

  4. android上传文件到服务器

    package com.spring.sky.image.upload.network; import java.io.DataOutputStream; import java.io.File; i ...

  5. 【转】HADOOP HDFS BALANCER介绍及经验总结

    转自:http://www.aboutyun.com/thread-7354-1-1.html 集群平衡介绍 Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加 ...

  6. Codeforces Round #295 (Div. 2)

    水 A. Pangram /* 水题 */ #include <cstdio> #include <iostream> #include <algorithm> # ...

  7. LightOJ1064 Throwing Dice(DP)

    第一眼以为是概率DP,我还不会.不过看题目那么短就读读,其实这应该还不是概率DP,只是个水水的DP.. dp[n][s]表示掷n次骰子点数和为s的情况数 dp[0][0]=1 dp[i][j]=∑dp ...

  8. sprintf() in c

    Declaration Following is the declaration for sprintf() function. int sprintf(char *str, const char * ...

  9. This function has none of DETERMINISTIC, NO SQL 解决办法

    在恢复mysql数据库时提示 1418 - This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its decl ...

  10. [Cocos2d-x For WP8]Transition 场景切换

    在游戏中通常会打完了一关之后就会从当前的场景转换到另外一关的场景了,在Cocos2d-x中是由CCScene类表示一个场景.那么场景(CCScene)是为游戏中的精灵(CCSprite)提供了舞台,场 ...