scrapy 的response 的相关属性

Scrapy中response介绍、属性以及内容提取

 

解析response

parse()方法的参数 response 是start_urls里面的链接爬取后的结果。所以在parse()方法中，我们可以直接对response对象包含的内容进行解析，比如浏览请求结果的网页源代码，或者进一步分析源代码内容，或者找出结果中的链接而得到下一个请求

一.response属性

url ：HTTP响应的url地址,str类型

status：HTTP响应的状态码, int类型

headers ：HTTP响应的头部, 类字典类型, 可以调用get或者getlist方法对其进行访问

body：HTTP响应正文, bytes类型

text：文本形式的HTTP响应正文, str类型

response.text = response.body.decode(response.encoding)

encoding：HTTP响应正文的编码

reqeust：产生该HTTP响应的Reqeust对象

meta：即response.request.meta, 在构造Request对象时, 可将要传递给响应处理函数的信息通过meta参数传入, 响应处理函数处理响应时, 通过response.meta将信息提取出来

selector：Selector对象用于在Response中提取数据使用下面详细将,主要是 xpath,css取值之后的处理

xpath(query)：下面详细讲解

css(query) ：下面详细讲解

urljoin(url) ：用于构造绝对url, 当传入的url参数是一个相对地址时, 根据response.url计算出相应的绝对url.

二.Selector对象

• Selector 对象和SelectorList对象都有以下几种方法。

• extract() 返回选中内容的Unicode字符串

• extract_first()(SelectorList独有)

  返回列表中的第一个元素内容

• re("正则表达式") 正则提取

• re_first()(SelectorList独有)

  返回列表中的第一个元素内容

三.CSS

response.css('css选择器')   返回值是Selector对象

response.css('css选择器').extract_first()   #获取一个
 
response.css('css选择器').extract()  # 获取全部
 
response.css('css选择器::attr(属性名)').extract()  # 获取其中某个属性
 
(response.css('css选择器::text').extract()  #获取标签里的文本

四.xpath

response.xpath('xpath选择器')   返回值是Selector对象

response.xpath('xpath选择器').extract_first()   #获取一个
 
response.xpath('xpath选择器').extract()  # 获取全部
 
.//a[contains(@class,"link-title")/text()]  # 获取文本

.//a[contains(@class,"link-title")/@href]   #获取属性