这篇文章主要介绍了ASP.NET抓取网页内容的实现方法,涉及使用HttpWebRequest及WebResponse抓取网页内容的技巧,需要的朋友可以参考下

  1. 一、ASP.NET 使用HttpWebRequest抓取网页内容
  2.  
  3. /// <summary>方法一:比较推荐
  4. /// 用HttpWebRequest取得网页源码
  5. /// 对于带BOM的网页很有效,不管是什么编码都能正确识别
  6. /// </summary>
  7. /// <param name="url">网页地址" </param>
  8. /// <returns>返回网页源文件</returns>
  9. public static string GetHtmlSource2(string url)
  10. {
  11. //处理内容
  12. string html = "";
  13. HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
  14. request.Accept = "*/*"; //接受任意文件
  15. request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.1.4322)"; //
  16. request.AllowAutoRedirect = true;//是否允许302
  17. //request.CookieContainer = new CookieContainer();//cookie容器,
  18. request.Referer = url; //当前页面的引用
  19. HttpWebResponse response = (HttpWebResponse)request.GetResponse();
  20. Stream stream = response.GetResponseStream();
  21. StreamReader reader = new StreamReader(stream, Encoding.Default); //这里如果出现乱码可以使用 Encoding.GetEncoding("utf-8")处理
  1. html = reader.ReadToEnd(); stream.Close(); return html; }
  1. 二、ASP.NET 使用 WebResponse 抓取网页内容
  2.  
  3. public static string GetHttpData2(string Url)
  4. {
  5. string sException = null;
  6. string sRslt = null;
  7. WebResponse oWebRps = null;
  8. WebRequest oWebRqst = WebRequest.Create(Url);
  9. oWebRqst.Timeout = ;
  10. try
  11. {
  12. oWebRps = oWebRqst.GetResponse();
  13. }
  14. catch (WebException e)
  15. {
  16. sException = e.Message.ToString();
  17. }
  18. catch (Exception e)
  19. {
  20. sException = e.ToString();
  21. }
  22. finally
  23. {
  24. if (oWebRps != null)
  25. {
  26. StreamReader oStreamRd = new StreamReader(oWebRps.GetResponseStream(), Encoding.GetEncoding("utf-8"));
  27. sRslt = oStreamRd.ReadToEnd();
  28. oStreamRd.Close();
  29. oWebRps.Close();
  30. }
  31. }
  32. return sRslt;
  33. }

原文:http://www.jb51.net/article/60740.htm

ASP.NET抓取网页内容的实现方法的更多相关文章

  1. ASP.NET抓取网页内容

    原文:ASP.NET抓取网页内容 一.ASP.NET 使用HttpWebRequest抓取网页内容 这种方式抓取某些页面会失败 不过,有时候我们会发现,这个程序在抓取某些页面时,是获不到所需的内容的, ...

  2. ASP.NET 抓取网页内容

    (转)ASP.NET 抓取网页内容 ASP.NET 抓取网页内容-文字 ASP.NET 中抓取网页内容是非常方便的,而其中更是解决了 ASP 中困扰我们的编码问题. 需要三个类:WebRequest. ...

  3. Asp.Net 之 抓取网页内容

    一.获取网页内容——html ASP.NET 中抓取网页内容是非常方便的,而其中更是解决了 ASP 中困扰我们的编码问题. 需要三个类:WebRequest.WebResponse.StreamRea ...

  4. C# 抓取网页内容的方法

    1.抓取一般内容 需要三个类:WebRequest.WebResponse.StreamReader 所需命名空间:System.Net.System.IO 核心代码: view plaincopy ...

  5. Asp 使用 Microsoft.XMLHTTP 抓取网页内容无乱码处理,并过滤须要的内容

    Asp 使用 Microsoft.XMLHTTP 抓取网页内容.并过滤须要的内容 Asp 使用 Microsoft.XMLHTTP 抓取网页内容无乱码处理,并过滤须要的内容 演示样例源代码: < ...

  6. paip.抓取网页内容--java php python

    paip.抓取网页内容--java php python.txt 作者Attilax  艾龙, EMAIL:1466519819@qq.com 来源:attilax的专栏 地址:http://blog ...

  7. c#抓取网页内容乱码的解决方案

    写过爬虫的同学都知道,这是个很常见的问题了,一般处理思路是: 使用HttpWebRequest发送请求,HttpWebResponse来接收,判断HttpWebResponse中”Content-Ty ...

  8. 爬虫学习一系列:urllib2抓取网页内容

    爬虫学习一系列:urllib2抓取网页内容 所谓网页抓取,就是把URL地址中指定的网络资源从网络中读取出来,保存到本地.我们平时在浏览器中通过网址浏览网页,只不过我们看到的是解析过的页面效果,而通过程 ...

  9. asp.net抓取网页html源代码失败 只因UserAgent作怪

    asp.net抓取网页html源代码,我想对于任何一个asp.net程序员来说都不再陌生,这是一个非常简单容易就能实现的功能.下面便是一个通用的asp.net获得网页源代码的程序. 首先引用 usin ...

随机推荐

  1. load average[zhuan]

    load average值的含义 单核处理器 假设我们的系统是单CPU单内核的,把它比喻成是一条单向马路,把CPU任务比作汽车.当车不多的时候,load <1:当车占满整个马路的时候 load= ...

  2. GitHub好站点

    https://github.com/XingCloud/stream_processor

  3. hdu 2489 Minimal Ratio Tree

    http://acm.hdu.edu.cn/showproblem.php?pid=2489 这道题就是n个点中选择m个点形成一个生成树使得生成树的ratio最小.暴力枚举+最小生成树. #inclu ...

  4. linux下类似Bus Hound的工具

    0推荐在linux大家有时候需要调试usb接口的串口消息,但是没有类似于windows下的bus hound工具,感觉比较痛苦,其实linux内核提供了usbmon这个工具,可以收集串口信息. 1.准 ...

  5. GetCurrentDirectory、SetCurrentDirectory和GetModuleFileName

    DWORD GetCurrentDirectory( DWORD nBufferLength, // size of directory buffer LPTSTR lpBuffer      // ...

  6. WebGL 初探

    官方网站:http://webglfundamentals.org/ WebGL是一种3D绘图标准,这种绘图技术标准允许把JavaScript和OpenGL ES 2.0结合在一起,通过增加OpenG ...

  7. Generate Parentheses 解答

    Question Given n pairs of parentheses, write a function to generate all combinations of well-formed ...

  8. 【HTML+CSS】浅谈:相对定位与绝对定位

    相对定位和绝对定位 ·定位标签:position  ·包括属性:relative(相对) absolute(绝对) 1.position:relative; 假设对一个元素进行相对定位.首先它将出如今 ...

  9. Swift的基础,操作符,字符串和集合类型

    这篇文章主要讲解苹果Swift官方指南的第二章前四节的要点内容,如果想看完整的英文文档可以去苹果开发者页面下载. Basic 声明常量let 声明变量var 注释依旧使用"//" ...

  10. SQL SERVER 2005 请求失败或服务未及时响应

    出现的问题如图所示,在开始->程序->Microsoft SQL Server 2005->配置工具->SQL Server Configuration Manager中,打开 ...