scrapy框架的持久化存储
一 . 基于终端指令的持久化存储
保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。
执行输出指定格式进行存储: 将爬取到的数据写入不同格式的文件中进行存储
scrapy crawl 爬虫名称 -o xxx.json
scrapy crawl 爬虫名称 - o xxx.xml
scrapy crawl 爬虫名称 - o xxx.csv
二 . 基于管道的持久化存储
scrapy框架已经为我们专门集成了高效 , 便捷的持久化操作功能,我们直接用即可.
在使用scrapy的持久化操作功能之前,我们要知道这两个文件是什么 ?
item.py : 数据结构模板文件, 定义数据属性
pipelines.py: 管道文件. 接收数据(items) 进行持久化操作 持久化流程: 1. 爬虫文件爬到数据后, 需要将数据封装到 items 对象中
2. 使用yield 关键字将items 对象提交给 pipelines 管道进行持久化操作.
3. 在管道文件中的 process_item 方法中接收爬虫文件提交过来的item 对象, 然后编写持久化存储的代码将item对象中存储的数据进行持久化存储
4.settings.py配置文件中开启管道
三 . 实例
1 . 进行本地的持久化存储
⑴ . 爬虫文件 first_hh.py
# -*- coding: utf-8 -*-
import scrapy
from frist_boll.items import FristBollItem class FirstHhSpider(scrapy.Spider):
# 爬虫文件的名称
name = 'first_hh'
# 允许访问的域名 , 但是有时候图片的地址与访问的网站不是同一域名,
# 为了可以正常访问,就注释了就好
# allowed_domains = ['www.xxx.com']
# 起始的url列表,可以放多个url
start_urls = ['https://www.qiushibaike.com/text/'] def parse(self, response):
div_list = response.xpath("//div[@id='content-left']/div")
# all_data = [] for div in div_list:
# 如果xpath返回的列表中只有一个类别元素-就用extract_first
# 列表中有多个列表元素-用extract()
author = div.xpath('./div[1]/a[2]/h2/text()').extract_first()
content = div.xpath('./a[1]/div/span//text()').extract() # 储存的时候要是字符串,不能是列表
content = "".join(content) # 实例化item对象
item = FristBollItem()
# 将解析到的数据全部封装到item中,传给管道文件pipelines.py
item['author'] = author
item['content'] = content
# 将item提交给管道文件(pipelines.py)
yield item
⑵ . items.py 文件
# -*- coding: utf-8 -*- # Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html class FristBollPipeline(object):
f1 = None #定义一个文件描述符属性 # 打开文件,因为函数process_item 要进行循环,所有只要打开一次文件就可以,
# 下面都是重写父类方法,所有spider参数必须有
def open_spider(self, spider):
print("start")
self.f1 = open('./趣事百科.csv', 'w', encoding='utf-8') #因为该方法会被执行调用多次,所以文件的开启和关闭操作写在了另外两个只会各自执行一次的方法中。
def process_item(self, item, spider):
#将爬虫程序提交的item进行持久化存储
self.f1.write(item['author'] + '\n' + item['content'])
print()
return item # 结束爬虫 , 关闭文件
def close_spider(self, spider):
print("end")
self.f1.close()
⑷ . 配置文件 : settings.py
#开启管道
ITEM_PIPELINES = {
'secondblood.pipelines.SecondbloodPipeline': 300, #300表示为优先级,值越小优先级越高
}
2 . 基于mysql的管道存储
爬取boss直聘的爬虫职位
先将 mysql打开,并创建一个文件夹和创建个文件,而且你要存储的字段也要创建好,scrapy框架只负责添加数据到mysql,不负责创建.
创建项目 : scrapy startproject boss
进入目录 : cd boss
创建应用 : scrapy genspider boss_hh www.xxx.com
⑴ . 爬虫文件 : boss_hh.py
# -*- coding: utf-8 -*-
import scrapy
from boss.items import BossItem class BossHhSpider(scrapy.Spider):
name = 'boss_hh'
# allowed_domains = ['www.xxx.com']
start_urls = ['https://www.zhipin.com/job_detail/?query=%E7%88%AC%E8%99%AB&scity=101010100&industry=&position=']
# 因为有分页的效果,而且第一页与后面几页的url不一样,所有要进行判断 page=%d 进行页码
url = 'https://www.zhipin.com/c101010100/?query=python爬虫&page=%d&ka=page-2'
# 默认第一页,起始页面
page = 1 def parse(self, response):
li_list = response.xpath('//div[@class="job-list"]/ul/li')
for li in li_list:
job_name = li.xpath('.//div[@class="info-primary"]/h3/a/div/text()').extract_first()
salary = li.xpath('.//div[@class="info-primary"]/h3/a/span/text()').extract_first()
company = li.xpath('.//div[@class="company-text"]/h3/a/text()').extract_first()
# 实例化
item = BossItem()
# 解析到的数据加到item对象中
item['job_name'] = job_name
item['salary'] = salary
item['company'] = company
# 提交到管道进行保存
yield item
if self.page <= 3:
print("执行 if 判断 ")
# 从第二页开始,封装集成了一个新的页码的url
self.page += 1
# 占位
new_url = format(self.url % self.page) # 手动请求的发送,callback 表示指定的解析方式 , 回调
#递归爬取数据:callback参数的值为回调函数(将url请求后,得到的相应数据继续进行parse解析),递归调用parse函数 yield scrapy.Request(url=new_url,callback=self.parse)
⑵ . items文件 :
# -*- coding: utf-8 -*- # Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html import scrapy class BossItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field() job_name = scrapy.Field()
salary = scrapy.Field()
company = scrapy.Field()
⑶ . 管道文件 : pipelines.py
# -*- coding: utf-8 -*- # Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html import pymysql
from redis import Redis class mysqlPipeline(object):
conn = None
cursor = None # 打开mysql
def open_spider(self, spider):
self.conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='', db='scrapy', charset='utf8') def process_item(self, item, spider):
self.cursor = self.conn.cursor()
try:
# 将数据写入mysql
self.cursor.execute('insert into boss(job_name,salary,company) values("%s","%s","%s")' % (item['job_name'], item['salary'], item['company'])) self.conn.commit()
except Exception as e:
self.conn.rollback()
return item # 注意
# 关闭mysql
def close_spider(self, spider):
self.conn.close()
self.cursor.close()
⑷ . settings文件 :
ITEM_PIPELINES = {
# 'boss.pipelines.BossPipeline': 300,
'boss.pipelines.mysqlPipeline': 301,
}
# 前一个属于子代文件,如果只想执行mysql,就可以将前面的注释
注意 : 在管道文件 : pipelines.py 中 , 函数 mysqlPipeline,最后返回了一个 return item . 这个是给下面的函数进行的,因为可以在一个管道文件中进行本地硬盘存储和mysql存储,可以通过 settings里面的开启管道的优先级设置那个先进行存储,return item 就会从先执行的传给后执行的. 一定要返回,否则后面的不会执行
# -*- coding: utf-8 -*- # Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html import pymysql
from redis import Redis class BossPipeline(object):
f1 = None def open_spider(self, spider):
print("start ----------->")
self.f1 = open('boss.txt', 'w', encoding='utf-8') def close_spider(self, spider):
print("end ------------->")
self.f1.close() def process_item(self, item, spider):
self.f1.write(item['job_name'] + ":" + item['salary'] + ":" + item['company'] + '\n')
return item # 返回给mysql进行 class mysqlPipeline(object):
conn = None
cursor = None def open_spider(self, spider):
self.conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='', db='scrapy', charset='utf8') def process_item(self, item, spider):
self.cursor = self.conn.cursor()
try:
self.cursor.execute('insert into boss(job_name,salary,company) values("%s","%s","%s")' % (item['job_name'], item['salary'], item['company']))
self.conn.commit()
except Exception as e:
self.conn.rollback()
return item def close_spider(self, spider):
self.conn.close()
self.cursor.close()
管道文件 : 本地和mysql都存储
3 . 基于redis的管道存储
只需要将 管道文件 修改就可以了 !!!!!
from redis import Redis class redisPileLine(object):
conn = None def open_spider(self, spider):
self.conn = Redis(host='127.0.0.1', port=6379)
print(self.conn) def process_item(self, item, spider):
# print(item)
dic = {
'name': item['job_name'],
'salary': item['salary'],
'company': item['company']
}
self.conn.lpush('boss', dic)
settings文件 :
ITEM_PIPELINES = {
'qiubaiPro.pipelines.QiubaiproPipelineByRedis': 300,
}
四 . 总结
如果最终需要将爬取到的数据值一份存储到磁盘文件,一份存储到数据库中,则应该如何操作scrapy?
答 : 管道文件中的代码
#该类为管道类,该类中的process_item方法是用来实现持久化存储操作的。
class DoublekillPipeline(object): def process_item(self, item, spider):
#持久化操作代码 (方式1:写入磁盘文件)
return item #如果想实现另一种形式的持久化操作,则可以再定制一个管道类:
class DoublekillPipeline_db(object): def process_item(self, item, spider):
#持久化操作代码 (方式1:写入数据库)
return item
settings.py文件的开启管道的代码 :
#下列结构为字典,字典中的键值表示的是即将被启用执行的管道文件和其执行的优先级。
ITEM_PIPELINES = {
'doublekill.pipelines.DoublekillPipeline': 300,
'doublekill.pipelines.DoublekillPipeline_db': 200,
} #上述代码中,字典中的两组键值分别表示会执行管道文件中对应的两个管道类中的process_item方法,实现两种不同形式的持久化操作。
scrapy框架的持久化存储的更多相关文章
- (六--二)scrapy框架之持久化操作
scrapy框架之持久化操作 基于终端指令的持久化存储 基于管道的持久化存储 1 基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过 ...
- scrapy 爬虫框架之持久化存储
scrapy 持久化存储 一.主要过程: 以爬取校花网为例 : http://www.xiaohuar.com/hua/ 1. spider 回调函数 返回item 时 要用y ...
- scrapy框架之持久化操作
1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作. 执行输出指定格式进行存储: ...
- 爬虫开发8.scrapy框架之持久化操作
今日概要 基于终端指令的持久化存储 基于管道的持久化存储 今日详情 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的 ...
- 小爬爬5:scrapy介绍3持久化存储
一.两种持久化存储的方式 1.基于终端指令的吃持久化存储: 特点:终端指令的持久化存储,只可以将parse方法的返回值存储到磁盘文件 因此我们需要将上一篇文章中的author和content作为返回值 ...
- Scrapy 框架,持久化文件相关
持久化相关 相关文件 items.py 数据结构模板文件.定义数据属性. pipelines.py 管道文件.接收数据(items),进行持久化操作. 持久化流程 1.爬虫文件爬取到数据后,需要将数据 ...
- 11.scrapy框架持久化存储
今日概要 基于终端指令的持久化存储 基于管道的持久化存储 今日详情 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的 ...
- scrapy框架持久化存储
基于终端指令的持久化存储 基于管道的持久化存储 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文 ...
- 11,scrapy框架持久化存储
今日总结 基于终端指令的持久化存储 基于管道的持久化存储 今日详情 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的 ...
随机推荐
- 微信小程序视频教程
微信小程序全套视频教程在线观看地址:http://v.qq.com/vplus/92e0ff1abe80fce5bcfe344f11a106c5/foldervideos/hod000101p9le1 ...
- ios一些噁心记录
有时在tableview的头部会凭空多出一块空白区域,这是由于ios会"贴心"的多分配一些用于滑动的多余inset. 消除这一空白的方法是,在tableview所在的control ...
- iOS常识名词解释 2016/04/05
Bundle : http://www.cnblogs.com/BigPolarBear/archive/2012/03/28/2421802.html http://blog.sina.com.cn ...
- Loj 2047 伪光滑数
Loj 2047 伪光滑数 正解较复杂,但这道题其实可以通过暴力解决. 预处理出 \(128\) 内的所有质数,把 \(n\) 内的 \(prime[i]^j\) 丢进堆中,再尝试对每个数变形,除一个 ...
- 关于解决Springboot跨域请求的方法
前言 最近在项目中,由于前后分离,前台项目和后台项目部署的不在一台服务器,就产生了跨域的问题,特此记录下 正文 正常情况下,如果提示: 就可以判断是没有解决跨域的问题了. 在SSM中,我曾经这样解决过 ...
- java集成WebSocket向所有用户发送消息
package com.reading.controller.library; import org.springframework.stereotype.Controller; import org ...
- [Luogu4631][APIO2018] Circle selection 选圆圈
Luogu 题目描述 在平面上,有 \(n\) 个圆,记为 \(c_1, c_2,...,c_n\) .我们尝试对这些圆运行这个算法: \(1\).找到这些圆中半径最大的.如果有多个半径最大的圆,选择 ...
- MySQL事物回滚
#commit.rollback用来确保数据库有足够的剩余空间:#commi.rollback只能用于DML操作,即insert.update.delet;#rollback操作撤销上一个commit ...
- {Reship}{Sparse Representation}稀疏表示入门
声明:本人属于绝对的新手,刚刚接触“稀疏表示”这个领域.之所以写下以下的若干个连载,是鼓励自己不要急功近利,而要步步为赢!所以下文肯定有所纰漏,敬请指出,我们共同进步! 踏入“稀疏表达”(Sparse ...
- Træfɪk 服务发现解决方案
Træfɪk is a modern HTTP reverse proxy and load balancer made to deploy microservices with ease. It s ...