通过实例说明在scrapy中 yield的作用
源https://www.jianshu.com/p/7c1a084853d8
开始前的准备工作:
1.MySQL下载:点我
2.python MySQL驱动下载:pymysql(pyMySql,直接用pip方式安装)
3.全部安装好之后,我们来熟悉一下pymysql模块
import pymysql #创建链接对象
connection = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='', db='python')
#创建游标 游标用来进行查询,修改等操作
cursor = connection.cursor() #定义sql语句 这里的sql语法根据使用的数据库不同会有一些小差别
sql = "SELECT * FROM python.text_info where text_title='test'" #执行sql语句 返回受到影响的行数
cursor.execute(sql) #获取sql语句执行后的返回数据 默认返回的数据类型为元组
#获取所有返回
r = cursor.fetchall()
#获取一个返回
r = cursor.fetchone()
#获取至多三个返回 不足三个时返回所有
r = cursor.fetchmany(3)
#其他的fetch方法可自行百度 #将返回数据类型改为字典
cursor = connection.cursor(cursor=pymysql.cursors.DictCursor)
#或者在创建连接对象时指定返回数据类型为字典 建议把返回类型修改为字典类型
connection = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='', db='python', cursorclass=pymysql.cursors.DictCursor) #保存所做的修改 在连接关闭之前,如果你没有调用下面的语句
#那么,你之前的所有修改将不会被保存
connection.commit() #关闭游标
cursor.close()
#关闭连接
connection.close()
一、确定items
我们要爬取的网站是:http://m.50zw.la
要爬取的是小说的信息,如图:
所以items.py文件如下:
import scrapy class TextInfoItem(scrapy.Item):
# name = scrapy.Field()
text_name = scrapy.Field()
text_author = scrapy.Field()
text_type = scrapy.Field()
text_status = scrapy.Field()
text_latest = scrapy.Field()
text_intro = scrapy.Field()
最后信息是要储存到数据库里的,所以我们还得创建一个数据库表。
- 第一步:在开始菜单里找到MySQL Workbench,双击打开。MySQL Workbench是MySQL自带的一个可视化管理工具
- 第二步:在 MySQL Workbench里连接数据库,并创建一个数据库 python,然后再在刚刚创建的数据库里创建一个表 text_info
- 第三步:在 text_info表里逐一添加 text_name,text_author 等属性,类型全部设置为 varchar,大小除了 text_intro是 1000外,其他的全部设置为 50
MySQL的使用就不详细讲了。如果遇到问题,欢迎评论留言。
二、爬取信息
为了简单,我们只爬取 50zw网站下的玄幻分类的小说信息。
代码:
import scrapy
from text_info.items import TextInfoItem class A50zwSpider(scrapy.Spider):
name = '50zw'
allowed_domains = ['m.50zw.la']
start_urls = ['http://m.50zw.la/wapsort/1_1.html'] #主站链接 用来拼接
base_site = 'http://m.50zw.la' def parse(self, response):
book_urls = response.xpath('//table[@class="list-item"]//a/@href').extract() for book_url in book_urls:
url = self.base_site + book_url
yield scrapy.Request(url, callback=self.getInfo) #获取下一页
next_page_url = self.base_site + response.xpath('//table[@class="page-book"]//a[contains(text(),"下一页")]/@href').extract()[0]
yield scrapy.Request(next_page_url, callback=self.parse) def getInfo(self, response):
item = TextInfoItem() #提取信息
item['text_id'] = response.url.split('_')[1].replace('/', '')
item['text_name'] = response.xpath('//table[1]//p/strong/text()').extract()[0]
item['text_author'] = response.xpath('//table[1]//p/a/text()').extract()[0]
item['text_type'] = response.xpath('//table[1]//p/a/text()').extract()[1]
item['text_status'] = response.xpath('//table[1]//p/text()').extract()[2][3:]
item['text_latest'] = response.xpath('//table[1]//p[5]/text()').extract()[0][3:]
item['text_intro'] = response.xpath('//div[@class="intro"]/text()').extract()[0] yield item
========yield用法解析1=========
【主】这里我们通过 yield
来发起一个请求,并通过 callback
参数为这个请求添加回调函数,在请求完成之后会将响应作为参数传递给回调函数。
scrapy框架会根据 yield
返回的实例类型来执行不同的操作:
a. 如果是 scrapy.Request
对象,scrapy框架会去获得该对象指向的链接并在请求完成后调用该对象的回调函数。
b. 如果是 scrapy.Item
对象,scrapy框架会将这个对象传递给 pipelines.py做进一步处理。
这里我们有三个地方使用了 yield
第一个地方是:
for book_url in book_urls:
url = self.base_site + book_url
yield scrapy.Request(url, callback=self.getInfo)
这里我们在循环里不断提取小说详细页面的链接,并通过 yield
来发起请求,并且还将函数 getInfo
作为回调函数来从响应中提取所需的数据。
第二个地方是:
#获取下一页
next_page_url = self.base_site + response.xpath('//table[@class="page-book"]//a[contains(text(),"下一页")]/@href').extract()[0]
yield scrapy.Request(next_page_url, callback=self.parse)
这里是在爬取完一页的信息后,我们在当前页面获取到了下一页的链接,然后通过 yield
发起请求,并且将 parse
自己作为回调函数来处理下一页的响应。
这有点像递归,不过递归是函数自己调用自己,这里看起来好像是 parse
调用了自己,但实际上 parse
是由 scrapy框架在获得响应后调用的。
最后一处使用了 yield
的地方在 getInfo
函数里:
def getInfo(self, response):
item = TextInfoItem() ... ... item['text_intro'] = response.xpath('//div[@class="intro"]/text()').extract()[0]
yield item
这里我们通过 yield
返回的不是 Request
对象,而是一个 TextInfoItem
对象。
scrap有框架获得这个对象之后,会将这个对象传递给 pipelines.py来做进一步处理。
我们将在 pipelines.py里将传递过来的 scrapy.Item
对象保存到数据库里去
三、将信息插入数据库
python对数据库的操作很简单,我们简单了解一下步骤:
- 建立数据库连接
- 创建操作游标
- 写sql语句
- 执行sql语句
- 如果执行的是查询语句,则用fetch语句获取查询结果
- 如果执行的是插入、删除等对数据库造成了影响的sql语句,还需要执行commit保存修改
贴上代码:
import pymysql class TextInfoPipeline(object):
def __init__(self):
#建立数据库连接
self.connection = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='', db='python',charset='utf8')
#创建操作游标
self.cursor = self.connection.cursor() def process_item(self, item, spider):
#定义sql语句
sql = "INSERT INTO `python`.`text_info` (`text_id`, `text_name`, `text_author`, `text_type`, `text_status`, `text_latest`, `text_intro`) VALUES ('"+item['text_id']+"', '"+item['text_name']+"', '"+item['text_author']+"', '"+item['text_type']+"', '"+item['text_status']+"', '"+item['text_latest']+"', '"+item['text_intro']+"');" #执行sql语句
self.cursor.execute(sql)
#保存修改
self.connection.commit() return item def __del__(self):
#关闭操作游标
self.cursor.close()
#关闭数据库连接
self.connection.close()
写在最后:
代码敲好后不要忘记在settings里开启pipelines
pymsql连接时默认的编码是latin-1,所以在建立数据库连接时会增加参数charset来修改编码,要修改为utf-8的话得用charset=’utf8‘,而不是charset=’utf-8‘
这个网站有些问题,会时不时报404错误,所以在爬的过程中会报list index out of range,这是因为得到了错误的网页,xpath找不到对应得路径返回了空列表。这是正常现象,并不是代码出问题了(当然,如果频繁报错最好是检查一下代码)
贴一张成功后的图片:
==========yield解析2===========
1. yield 的作用就是把一个函数变成一个生成器(generator),带有yield的函数不再是一个普通函数,Python解释器会将其视为一个generator,单独调用(如fab(5))不会执行fab函数,而是返回一个 iterable 对象!
在for循环执行时,每次循环都会执行fab函数内部的代码,执行到yield b时,fab函数就返回一个迭代值,下次迭代时,代码从 yield b 的下一条语句继续执行,而函数的本地变量看起来和上次中断执行前是完全一样的,于是函数继续执行,直到再次遇到 yield。参考实例如下:
def fab(max):
n, a, b = 0, 0, 1
while n < max:
# print b
yield b
# print b
a, b = b, a + b
n = n + 1
print(fab(5)) # 输出:<generator object fab at 0x00000000069D8A68>
for n in fab(5):
print n # 依次1,1,2,3,5
#对于含有yield的函数,外部要以迭代的方式调用,当函数执行结束时,generator 自动抛出 StopIteration 异常,表示迭代完成。
# 在 for 循环里,无需处理 StopIteration 异常,循环会正常结束。 def ff(max):
a,b = 0,1
yield max # yield不在循环中,这里已经到函数最后所以直接返回,相当于return
for n in ff(5):
print n # 输出:5
【结论】综上可知,yield要使用在循环中,这样生成器才有使用的意义。
2. 对scrapy中使用yield循环处理网页url的分析
首先,scrapy框架对含有yield关键字的parse()方法的调用是以迭代的方式进行的。相当于:
for n in parse(self, response):
pass
其次,python将parse()函数视为生成器,但首次调用才会开始执行代码,每次迭代请求(即上面的for循环)才会执行yield处的循环代码,生成每次迭代的值。如下方法:
def parse(self, response):
# 具体处理逻辑:如,分析页面,找到页面中符合规则的内容(校花图片),保存
hxs = HtmlXPathSelector(response) # 创建查询对象
# 获取所有的url,继续访问,并在其中寻找相同的url
all_urls = hxs.select('//a/@href').extract()
for url in all_urls:
if url.startswith('http://www.xiaohuar.com/list-1-'):
yield Request(url, callback=self.parse) # 递归的找下去
print(url) # Scrapy框架开始执行spider,即是对parse()方法迭代的过程{for n in parse(self, response)},
# 首先程序会将第一个response对象分析提取需要的东西,然后提取该response中所有的urls进行循环处理
# 对urls循环处理过程中,首次执行到parse-for-yield处,会返回一个迭代值,即生成一个Request1 对象(其中定义了回调方法为parse);
# 此时,第一次迭代结束。
# 第一次迭代过程中生成的Request1对象,即一个新的url请求,会返回一个新的response,然后框架会使用该response执行回调函数,进行另一个分支的迭代处理
# 分支迭代的程序处理完成,进行第二次迭代,会从yield的下一条语句开始,即print,然后继续执行for循环,最后执行到yield,又会生
# 成一个request2 对象,
# 生成request2 对象,相当于又开始了一个新的分支,这个分支处理完后返回一个对象后开始回到主程序
# 接下来,开始第三次迭代,又从yield后面的print开始执行.....
# 最终,直到循环结束。
注:这里有个疑问,主程序执行到yield后,是等到该次递归调用完全结束后(即第一次循环的url,它内部所有子url都处理完),才进行的第二次迭代吗? 这可以实际测试下,最好子url不要与父url重复。
https://blog.csdn.net/heheyanyanjun/article/details/79199378
通过实例说明在scrapy中 yield的作用的更多相关文章
- C#中yield return用法分析
这篇文章主要介绍了C#中yield return用法,对比使用yield return与不使用yield return的流程,更直观的分析了yield return的用法,需要的朋友可以参考下. 本文 ...
- scrapy中对于item的把控
其实很简单,就是想要存储的位置发生改变.直接看例子,然后触类旁通. 以大众点评 评论的内容为例 ,位置:http://www.dianping.com/shop/77489519/review_mor ...
- python的scrapy框架的使用 和xpath的使用 && scrapy中request和response的函数参数 && parse()函数运行机制
这篇博客主要是讲一下scrapy框架的使用,对于糗事百科爬取数据并未去专门处理 最后爬取的数据保存为json格式 一.先说一下pyharm怎么去看一些函数在源码中的代码实现 按着ctrl然后点击函数就 ...
- Java线程中yield与join方法的区别
长期以来,多线程问题颇为受到面试官的青睐.虽然我个人认为我们当中很少有人能真正获得机会开发复杂的多线程应用(在过去的七年中,我得到了一个机会),但是理解多线程对增加你的信心很有用.之前,我讨论了一个w ...
- 关于Python中yield的一些个人见解
# 样例代码def yield_test(n): for i in range(n): yield call(i) print("i=",i) #做一些其它的事情 print(&q ...
- Scrapy中使用cookie免于验证登录和模拟登录
Scrapy中使用cookie免于验证登录和模拟登录 引言 python爬虫我认为最困难的问题一个是ip代理,另外一个就是模拟登录了,更操蛋的就是模拟登录了之后还有验证码,真的是不让人省心,不过既然有 ...
- scrapy中的request
scrapy中的request 初始化参数 class scrapy.http.Request( url [ , callback, method='GET', headers, body, cook ...
- 论Scrapy中的数据持久化
引入 Scrapy的数据持久化,主要包括存储到数据库.文件以及内置数据存储. 那我们今天就来讲讲如何把Scrapy中的数据存储到数据库和文件当中. 终端指令存储 保证爬虫文件的parse方法中有可迭代 ...
- selenium在scrapy中的使用、UA池、IP池的构建
selenium在scrapy中的使用流程 重写爬虫文件的构造方法__init__,在该方法中使用selenium实例化一个浏览器对象(因为浏览器对象只需要被实例化一次). 重写爬虫文件的closed ...
随机推荐
- JS: 图片轮播模板——左右移动,点击编码移动,自动轮播
<!DOCTYPE html><html> <head> <meta charset="UTF-8"> <title> ...
- 吴裕雄 Bootstrap 前端框架开发——Bootstrap 字体图标(Glyphicons):glyphicon glyphicon-signal
<!DOCTYPE html> <html> <head> <meta charset="utf-8"> <meta name ...
- jenkins + gitlab 快速搭建(docker-compose) 时间,时区 同步
记录一下吧 算打一下 tag 最近在整得 swarm + jenkins 实现自动化部署 回滚 #构建jenkins 镜像 #dockerfile: docker build -t ...
- weblogic-开发模式与生产模式互换
生产转开发 Step 1: 目标文件:domain/bin/setDomainEnv.sh 修改内容:PRODUCTION_MODE="true"改为PRODUCTION_MODE ...
- P 1035 插入与归并
转跳点 :
- C# 基础连接已经关闭: 未能为 SSL/TLS 安全通道建立信任关系。
今天写程序的时候调用到一个第三方的DLL文件,本机调试一切都正常,但是程序不是到服务器以后一直提示一个BUG:"基础连接已经关闭: 未能为SSL/TLS 安全通道建立信任关系". ...
- MSP430系列单片机笔记00
嵌入式系统 嵌入式系统(Embedded system),是一种“完全嵌入受控器件内部,为特定应用而设计的专用计算机系统”,根据英国电气工程师协会( U.K. Institution of Elect ...
- 十四、 React路由(react-router4.x): 动态路由、get传值、React中使用url模块
概述 新闻列表 -跳转-> 详情页 时,想把列表对应的id传到详情页里,可用到三种传值方法: 1.动态路由传值 2.get传值 3.localstorage传值 一.动态路由传值 [App.js ...
- MERGE INTO:存在就更新不存在就新增——oracle
MERGE INTO [your table-name] [rename your table here] USING ( [write your query here] )[rename your ...
- hdu 1950 Bridging signals 求最长子序列 ( 二分模板 )
Bridging signals Time Limit: 5000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others) ...