《C# 爬虫 破境之道》:第一境 爬虫原理 — 第三节:WebResponse
第二节中,我们介绍了WebRequest,它可以帮助我们发送一个请求,不过正所谓“来而不往非礼也”,对方收到我们的请求,不给点回复,貌似不太合适(不过,还真有脸皮厚的:P)。
接下来,就重点研究一下,我们收到的回复,是个什么样的东东
[Code 1.3.1]
- //
- // Summary:
- // Provides a response from a Uniform Resource Identifier (URI). This is an abstract
- // class.
- public abstract class WebResponse : MarshalByRefObject, ISerializable, IDisposable
- {
- //
- // Summary:
- // Initializes a new instance of the System.Net.WebResponse class.
- protected WebResponse();
- //
- // Summary:
- // Initializes a new instance of the System.Net.WebResponse class from the specified
- // instances of the System.Runtime.Serialization.SerializationInfo and System.Runtime.Serialization.StreamingContext
- // classes.
- //
- // Parameters:
- // serializationInfo:
- // An instance of the System.Runtime.Serialization.SerializationInfo class that
- // contains the information required to serialize the new System.Net.WebRequest
- // instance.
- //
- // streamingContext:
- // An instance of the System.Runtime.Serialization.StreamingContext class that indicates
- // the source of the serialized stream that is associated with the new System.Net.WebRequest
- // instance.
- //
- // Exceptions:
- // T:System.NotSupportedException:
- // Any attempt is made to access the constructor, when the constructor is not overridden
- // in a descendant class.
- protected WebResponse(SerializationInfo serializationInfo, StreamingContext streamingContext);
- //
- // Summary:
- // Gets a System.Boolean value that indicates whether this response was obtained
- // from the cache.
- //
- // Returns:
- // true if the response was taken from the cache; otherwise, false.
- public virtual bool IsFromCache { get; }
- //
- // Summary:
- // Gets a System.Boolean value that indicates whether mutual authentication occurred.
- //
- // Returns:
- // true if both client and server were authenticated; otherwise, false.
- public virtual bool IsMutuallyAuthenticated { get; }
- //
- // Summary:
- // When overridden in a descendant class, gets or sets the content length of data
- // being received.
- //
- // Returns:
- // The number of bytes returned from the Internet resource.
- //
- // Exceptions:
- // T:System.NotSupportedException:
- // Any attempt is made to get or set the property, when the property is not overridden
- // in a descendant class.
- public virtual long ContentLength { get; set; }
- //
- // Summary:
- // When overridden in a derived class, gets or sets the content type of the data
- // being received.
- //
- // Returns:
- // A string that contains the content type of the response.
- //
- // Exceptions:
- // T:System.NotSupportedException:
- // Any attempt is made to get or set the property, when the property is not overridden
- // in a descendant class.
- public virtual string ContentType { get; set; }
- //
- // Summary:
- // When overridden in a derived class, gets the URI of the Internet resource that
- // actually responded to the request.
- //
- // Returns:
- // An instance of the System.Uri class that contains the URI of the Internet resource
- // that actually responded to the request.
- //
- // Exceptions:
- // T:System.NotSupportedException:
- // Any attempt is made to get or set the property, when the property is not overridden
- // in a descendant class.
- public virtual Uri ResponseUri { get; }
- //
- // Summary:
- // When overridden in a derived class, gets a collection of header name-value pairs
- // associated with this request.
- //
- // Returns:
- // An instance of the System.Net.WebHeaderCollection class that contains header
- // values associated with this response.
- //
- // Exceptions:
- // T:System.NotSupportedException:
- // Any attempt is made to get or set the property, when the property is not overridden
- // in a descendant class.
- public virtual WebHeaderCollection Headers { get; }
- //
- // Summary:
- // Gets a value that indicates if headers are supported.
- //
- // Returns:
- // Returns System.Boolean. true if headers are supported; otherwise, false.
- public virtual bool SupportsHeaders { get; }
- //
- // Summary:
- // When overridden by a descendant class, closes the response stream.
- //
- // Exceptions:
- // T:System.NotSupportedException:
- // Any attempt is made to access the method, when the method is not overridden in
- // a descendant class.
- public virtual void Close();
- //
- // Summary:
- // Releases the unmanaged resources used by the System.Net.WebResponse object.
- public void Dispose();
- //
- // Summary:
- // When overridden in a descendant class, returns the data stream from the Internet
- // resource.
- //
- // Returns:
- // An instance of the System.IO.Stream class for reading data from the Internet
- // resource.
- //
- // Exceptions:
- // T:System.NotSupportedException:
- // Any attempt is made to access the method, when the method is not overridden in
- // a descendant class.
- public virtual Stream GetResponseStream();
- //
- // Summary:
- // Releases the unmanaged resources used by the System.Net.WebResponse object, and
- // optionally disposes of the managed resources.
- //
- // Parameters:
- // disposing:
- // true to release both managed and unmanaged resources; false to releases only
- // unmanaged resources.
- protected virtual void Dispose(bool disposing);
- //
- // Summary:
- // Populates a System.Runtime.Serialization.SerializationInfo with the data that
- // is needed to serialize the target object.
- //
- // Parameters:
- // serializationInfo:
- // The System.Runtime.Serialization.SerializationInfo to populate with data.
- //
- // streamingContext:
- // A System.Runtime.Serialization.StreamingContext that specifies the destination
- // for this serialization.
- protected virtual void GetObjectData(SerializationInfo serializationInfo, StreamingContext streamingContext);
- }
System.Net.WebResponse 全貌
相比较WebRequest而言,WebResponse简单许多,这里就不再分解片断讲解了。有事儿说事儿,不要以貌取人:D
首先,与WebRequest的类似,它还是抽象类,两个构造函数的结构,一票子虚属性,大部分都是只读的,和一票子虚方法。
其次,与WebRequest不同,它继承了System.IDisposable接口,提醒我们啊,用完了,要释放啊~~~~~~
几个属性
[Code 1.3.2]
- /// <summary>
- /// 只读,指示这个回复是不是从缓存中获取的
- /// </summary>
- public virtual bool IsFromCache { get; }
- /// <summary>
- /// 只读,指示是否发生相互认证
- /// </summary>
- public virtual bool IsMutuallyAuthenticated { get; }
- /// <summary>
- /// 指示收到的数据长度
- /// </summary>
- public virtual long ContentLength { get; set; }
- /// <summary>
- /// 指示收到的内容类型
- /// </summary>
- public virtual string ContentType { get; set; }
- /// <summary>
- /// 只读,指示收到的实际资源URI
- /// </summary>
- public virtual Uri ResponseUri { get; }
- /// <summary>
- /// 只读,Header集合,HTTP协议中的重点
- /// </summary>
- public virtual WebHeaderCollection Headers { get; }
- /// <summary>
- /// 只读,指示是否支持Header集合
- /// </summary>
- public virtual bool SupportsHeaders { get; }
System.Net.WebResponse 属性
重要的属性有Headers、ContentType、ContentLength。对于分析数据都是举足轻重的。
几个方法
[Code 1.3.3]
- /// <summary>
- /// 获得目标资源的数据流
- /// </summary>
- public virtual Stream GetResponseStream();
- /// <summary>
- /// 关闭Response流
- /// </summary>
- public virtual void Close();
- /// <summary>
- /// 释放WebResponse对象
- /// </summary>
- public void Dispose();
- /// <summary>
- /// 释放WebResponse对象
- /// </summary>
- protected virtual void Dispose(bool disposing);
- /// <summary>
- /// 使用序列化目标对象所需的数据填充System.Runtime.Serialization.SerializationInfo
- /// </summary>
- protected virtual void GetObjectData(SerializationInfo serializationInfo, StreamingContext streamingContext);
System.Net.WebResponse 方法
重要的方法有GetResponseStream、Close。对于获取数据至关重要。
总而言之,WebResponse还是比较简单的,给我们留下的坑不多。与WebRequest的讲解一样,干嚼无味,还是在实例中体会个中滋味吧:P
喜欢本系列丛书的朋友,可以点击链接加入QQ交流群(994761602)【C# 破境之道】
方便各位在有疑问的时候可以及时给我个反馈。同时,也算是给各位志同道合的朋友提供一个交流的平台。
需要源码的童鞋,也可以在群文件中获取最新源代码。
《C# 爬虫 破境之道》:第一境 爬虫原理 — 第三节:WebResponse的更多相关文章
- 网络爬虫入门:你的第一个爬虫项目(requests库)
0.采用requests库 虽然urllib库应用也很广泛,而且作为Python自带的库无需安装,但是大部分的现在python爬虫都应用requests库来处理复杂的http请求.requests库语 ...
- Python爬虫实践 -- 记录我的第一只爬虫
一.环境配置 1. 下载安装 python3 .(或者安装 Anaconda) 2. 安装requests和lxml 进入到 pip 目录,CMD --> C:\Python\Scripts,输 ...
- 《C# 爬虫 破境之道》:第二境 爬虫应用 — 第一节:HTTP协议数据采集
首先欢迎您来到本书的第二境,本境,我们将全力打造一个实际生产环境可用的爬虫应用了.虽然只是刚开始,虽然路漫漫其修远,不过还是有点小鸡冻:P 本境打算针对几大派生类做进一步深耕,包括与应用的结合.对比它 ...
- 《C# 爬虫 破境之道》:第一境 爬虫原理 — 第六节:第一境尾声
在第一境中,我们主要了解了爬虫的一些基本原理,说原理也行,说基础知识也罢,结果就是已经知道一个小爬虫是如何诞生的了~那么现在,请默默回想一下,在第一境中,您都掌握了哪些内容?哪些还比较模糊?如果还有什 ...
- 《C# 爬虫 破境之道》:第一境 爬虫原理 — 第五节:数据流处理的那些事儿
为什么说到数据流了呢,因为上一节中介绍了一下异步发送请求.同样,在数据流的处理上,C#也为我们提供几个有用的异步处理方法.而且,爬虫这生物,处理数据流是基础本能,比较重要.本着这个原则,就聊一聊吧. ...
- 《C# 爬虫 破境之道》:第一境 爬虫原理 — 第二节:WebRequest
本节主要来介绍一下,在C#中制造爬虫,最为常见.常用.实用的基础类 ------ WebRequest.WebResponse. 先来看一个示例 [1.2.1]: using System; usin ...
- 《C# 爬虫 破境之道》:第一境 爬虫原理 — 第一节:整体思路
在构建本章节内容的时候,笔者也在想一个问题,究竟什么样的采集器框架,才能算得上是一个“全能”的呢?就我自己以往项目经历而言,可以归纳以下几个大的分类: 根据通讯协议:HTTP的.HTTPS的.TCP的 ...
- 《C# 爬虫 破境之道》:第一境 爬虫原理 — 第四节:同步与异步请求方式
前两节,我们对WebRequest和WebResponse这两个类做了介绍,但两者还相对独立.本节,我们来说说如何将两者结合起来,方式有哪些,有什么不同. 1.4.1 说结合,无非就是我们如何发送一个 ...
- 《C# 爬虫 破境之道》:概述
第一节:写作本书的目的 关于笔者 张晓亭(Mike Cheers),1982年出生,内蒙古辽阔的大草原是我的故乡. 没有高学历,没有侃侃而谈的高谈阔论,拥有的就是那一份对技术的执著,对自我价值的追求. ...
随机推荐
- H3C 显示OSPF的链路状态数据库
- Total Commander 显示文件包含文件名扩展
在默认的 Total Commander 是分开文件名和文件扩展,如果想要让文件名同时显示扩展,可以通过设置合并文件名和扩展两列 点击配置,在选项的制表修改显示 How to configure To ...
- asp dotnet core 图片在浏览器没访问可能原因
我写了一个项目用来广告就用到广告的图片,但是广告的图片放在博客的链接无法访问,连我的方法都没有调用,而我尝试网页直接访问图片链接是可以访问的,最后找到原因是广告插件禁用了图片访问 我在一个方法创建了广 ...
- 2019牛客暑期多校训练营(第二场)F.Partition problem
链接:https://ac.nowcoder.com/acm/contest/882/F来源:牛客网 Given 2N people, you need to assign each of them ...
- 关于vue-cli打包配置部署404
在vue脚手架(vue-cli)下我很很快的就可以搭建自己的开发环境,但是我们把项目编写完后,需要进行打包上线会遇到各种问题,在根据版本问题,(vue3的版本跟之前相比少了很多配置项),下面是我用老版 ...
- Kobjects, Ksets 和 Subsystems
Kobject 是基础的结构, 它保持设备模型在一起. 初始地它被作为一个简单的引用计数, 但是它的责任已随时间增长, 并且因此有了它自己的战场. struct kobject 所处理的任 务和它的支 ...
- 2019-8-31-C#-匹配可空变量
title author date CreateTime categories C# 匹配可空变量 lindexi 2019-08-31 16:55:58 +0800 2019-06-01 08:40 ...
- swiper 使用参考 禁止手动滑动 监听事件
最外层容器加类名 swiper-no-swiping 监听切换事件 onTransitionEnd: function(swiper){ console.log('过渡结束'); }
- Qt4.5 QFrame(相当于Delphi里的TPanel,有各种凹凸方式)
QFrame类是有框架的窗口部件的基类. QPopupMenu使用这个来把菜单“升高”,高于周围屏幕.QProgressBar有“凹陷”的外观.QLabel有平坦的外观.这些有框架的窗口部件可以被改变 ...
- MFC入门
目录 001.MFC_应用程序类型 002.MFC_对话框_静态文本_编辑框 003.MFC_对话框_访问控件_7种方法_A 004.MFC_对话框_访问控件_7种方法_B 005.M ...