scrapy 框架持久化存储
1.基于终端的持久化存储
保证爬虫文件的parse方法中有可迭代类型对象(通常为列表或字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作.
- # 执行输出指定格式进行存储:将爬到的数据写入不同格式的文件中进行存储
- scrapy crawl <爬虫名称> -o xxx.json
- scrapy crawl <爬虫名称> -o xxx.xml
- scrapy crawl <爬虫名称> -o xxx.csv
2.基于管道的持久化存储
scrapy框架中已经为我们专门集成好了高效,便捷,的持久化操作功能,我们直接使用即可.要想使用scrapy的持久化操作功能,我们首先来认识如下两个文件:
- items.py: 数据结构模板文件,定义数据属性.
- pipelines.py: 管道文件,接受数据(items),进行持久化操作
- 持久化存储流程:
- 1.爬虫文件爬取到数据后,需要将数据封装到items对象中.
- 2.使用yield关键字将item对象提交给pipelines管道进行持久化操作
- 3.在管道文件中的process_item方法中接收爬虫文件提交过来的item对象,然后编写持久化存储代码将item对象中存储的数据进行持久化存储
- 4.settings.py配置文件中开启管道
小试牛刀:将糗事百科首页中的段子和作者数据爬下来,然后进行持久化存储
- 爬虫文件:blood.py
- # -*- coding: utf-8 -*-
- import scrapy
- from first.items import FirstItem
- class BloodSpider(scrapy.Spider):
- name = 'blood'
- # allowed_domains = ['www.qiushibaike.com']
- start_urls = ['https://www.qiushibaike.com/text/']
- def parse(self, response):
- div_list = response.xpath('//*[@id="content-left"]/div') # xpath为response中的方法,这里可以直接将xpath表达式直接作用于该函数中
- for div in div_list:
- # xpath函数返回的为列表,列表中存放的数据为Selector类型的数据。我们解析到的内容被封装在了Selector对象中,需要调用extract()函数将解析的内容从Selecor中取出。
- author = div.xpath('./div[1]/a[2]/h2/text()').extract_first()
- author = author.strip("\n") # 过滤空行
- content = div.xpath('./a/div/span//text()').extract_first()
- content = content.strip("\n") # 过滤空行
- print(author)
- # 将解析到的数据封装到items对象中
- item = FirstItem()
- item["author"] = author
- item["content"] = content
- yield item # 提交item到管道文件(pipelines.py)
- items文件: items.py
- # -*- coding: utf-8 -*-
- # Define here the models for your scraped items
- #
- # See documentation in:
- # https://doc.scrapy.org/en/latest/topics/items.html
- import scrapy
- class FirstItem(scrapy.Item):
- # define the fields for your item here like:
- # name = scrapy.Field()
- author = scrapy.Field() # 存储作者
- content = scrapy.Field() # 存储段子内容
- 管道文件:pipelines.py
- # -*- coding: utf-8 -*-
- # Define your item pipelines here
- #
- # Don't forget to add your pipeline to the ITEM_PIPELINES setting
- # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
- class FirstPipeline(object):
- # 构造方法
- def __init__(self):
- self.fp = None # 定义一个文件描述符
- # 下列都是在重写父类的方法
- # 开始爬虫是执行一次
- def open_spider(self,spider):
- print("爬虫开始")
- self.fp = open('./data.txt', 'w')
- # 因为该方法会被执行多次,调用多次,所以文件的开始和关闭操作写在了另外两个只会各自执行一次的方法
- def process_item(self, item, spider):
- # 将爬虫程序提交的item进行持久化存储
- self.fp.write(item["author"]+":"+item["content"]+"\n")
- return item
- def close_spider(self,spider):
- self.fp.close()
- print('爬虫结束')
- 配置文件:settings.py
- # 开启管道
- ITEM_PIPELINES = {
- 'first.pipelines.FirstPipeline': 300,
- }
2.1基于mysql的管道存储
小试牛刀案例中,在管道文件里将item对象中的数据值存储到磁盘中,如果将item数据写入mysql数据库的话,只需要将上述案例中的管道文件存储修改成如下形式:
- pipelines.py文件
- # -*- coding: utf-8 -*-
- # Define your item pipelines here
- #
- # Don't forget to add your pipeline to the ITEM_PIPELINES setting
- # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
- import pymysql
- class FirstPipeline(object):
- # 构造方法
- conn = None
- cursor = None
- def open_spider(self,spider):
- print("爬虫开始")
- self.conn = pymysql.Connect(host='127.0.0.1', port=3306, user='root', password='',db='qiushi')
- # 因为该方法会被执行多次,调用多次,所以文件的开始和关闭操作写在了另外两个只会各自执行一次的方法
- def process_item(self, item, spider):
- # 1.链接数据库
- # 2.执行失去了语句
- sql = 'insert into qiushi values("%s","%s")' % (item["author"],item["content"])
- self.cursor = self.conn.cursor()
- # 执行事务
- try:
- self.cursor.execute(sql)
- self.conn.commit()
- except Exception as e:
- print(e)
- self.conn.rollback()
- return item
- def close_spider(self,spider):
- self.cursor.close()
- self.conn.close()
- print('爬虫结束')
2.2 基于redis的管道存储
小试牛刀案例中,在管道文件里将item对象中的数据值存储到了磁盘中,如果将item数据写入redis数据库的话,只需要将上述案例中的管道文件修改成如下形式:
- # -*- coding: utf-8 -*-
- # Define your item pipelines here
- #
- # Don't forget to add your pipeline to the ITEM_PIPELINES setting
- # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
- import redis
- class QiubaiproPipelineByRedis(object):
- conn = None
- def open_spider(self,spider):
- print('开始爬虫')
- #创建链接对象
- self.conn = redis.Redis(host='127.0.0.1',port=6379)
- def process_item(self, item, spider):
- dict = {
- 'author':item['author'],
- 'content':item['content']
- }
- #写入redis中
- self.conn.lpush('data', dict)
- return item
- pipelines.py文件
- ITEM_PIPELINES = {
- 'qiubaiPro.pipelines.QiubaiproPipelineByRedis': 300,
- }
- 面试题:如果最终需要将爬取到的数据值一份存储到磁盘文件,一份存储到数据库中,则应该如何操作scrapy?
- 答:管道文件中的代码为
- #该类为管道类,该类中的process_item方法是用来实现持久化存储操作的。
- class DoublekillPipeline(object):
- def process_item(self, item, spider):
- #持久化操作代码 (方式1:写入磁盘文件)
- return item
- #如果想实现另一种形式的持久化操作,则可以再定制一个管道类:
- class DoublekillPipeline_db(object):
- def process_item(self, item, spider):
- #持久化操作代码 (方式1:写入数据库)
- return item
在settings.py开启管道操作代码为:
- #下列结构为字典,字典中的键值表示的是即将被启用执行的管道文件和其执行的优先级。
- ITEM_PIPELINES = {
- 'doublekill.pipelines.DoublekillPipeline': 300,
- 'doublekill.pipelines.DoublekillPipeline_db': 200,
- }
- #上述代码中,字典中的两组键值分别表示会执行管道文件中对应的两个管道类中的process_item方法,实现两种不同形式的持久化操作。
scrapy 框架持久化存储的更多相关文章
- 11.scrapy框架持久化存储
今日概要 基于终端指令的持久化存储 基于管道的持久化存储 今日详情 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的 ...
- scrapy框架持久化存储
基于终端指令的持久化存储 基于管道的持久化存储 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文 ...
- 11,scrapy框架持久化存储
今日总结 基于终端指令的持久化存储 基于管道的持久化存储 今日详情 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的 ...
- 10 Scrapy框架持久化存储
一.基于终端指令的持久化存储 保证parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作. 执行输出指定格式进行存储:将爬取到的 ...
- scrapy 框架持久化存储的三个方法 存入 mysql 文件 redis
这里就不做详细讲解了 毕竟不是一句两句能说的清楚,所以我把代码和注释放到了这里 谢谢! import pymysql from redis import Redis # 写入mysql class W ...
- scrapy之持久化存储
scrapy之持久化存储 scrapy持久化存储一般有三种,分别是基于终端指令保存到磁盘本地,存储到MySQL,以及存储到Redis. 基于终端指令的持久化存储 scrapy crawl xxoo - ...
- Scarpy框架持久化存储
一.介绍 持久化存储操作分为两类:磁盘文件和数据库. 而磁盘文件存储方式又分为:基于终端指令和基于管道 二.基于终端指令的持久化存储 Scrapy是通过 scrapy 命令行工具进行控制的. 这里我们 ...
- scrapy各种持久化存储的奇淫技巧
理论 磁盘文件: 基于终端指令 1)保证parse方法返回一个可迭代类型的对象(存储解析到的页面内容) 2)使用终端指令完成数据存储到指定磁盘文件中的操作,如:scrapy crawl 爬虫文件名称 ...
- Scrapy框架学习参考资料
00.Python网络爬虫第三弹<爬取get请求的页面数据> 01.jupyter环境安装 02.Python网络爬虫第二弹<http和https协议> 03.Python网络 ...
随机推荐
- Python利用带权重随机数解决抽奖和游戏爆装备问题
关于带权随机数 为了帮助理解,先来看三类随机问题的对比: 1.已有n条记录,从中选取m条记录,选取出来的记录前后顺序不管. 实现思路:按行遍历所有记录,约隔n/m条取一个数据即可 2.在1类情况下,还 ...
- 56-混沌操作法之我见:二、AO、AC指标.(2015.2.9)
混沌操作法之我见:二.AO.AC指标 先看看其算法: Y=(H+L)/2: AO=MA(Y,5)-MA(Y,34): AC=AO-MA(AO,5). 由算法可以看出,AO表示的是近5期的综合价格与近3 ...
- Java基础学习总结(77)——Java枚举再总结
在Java SE5之前,我们要使用枚举类型时,通常会使用static final 定义一组int常量来标识,代码如下 public static final int MAN = 0; public s ...
- 51. spring boot属性文件之多环境配置【从零开始学Spring Boot】
原本这个章节是要介绍<log4j多环境不同日志级别的控制的>但是没有这篇文章做基础的话,学习起来还是有点难度的,所以我们先一起了解下spring boot属性文件之多环境配置,当然文章中也 ...
- ACE in Action
ACE in Action https://cdn.xgqfrms.xyz/web-ide/index.html TinyMCE https://panjiachen.github.io/vue-el ...
- HDU 1224 无环有向最长路
用bellman_ford的方法,将中间不断取较小值,修改为取较大值就可以了 #include <cstdio> #include <cstring> #include < ...
- 武大OJ 706.Farm
Farmer John has a farm. Betsy, a famous cow, loves running in farmer John's land. The noise she made ...
- Centos7 上安装mysql遇上的问题:mysql无法正常启动
第一次在Centos上安装mysql遇到的一些问题. 第一步就遇到问题,安装mysql-server报错没有可用包. [解决方法] 先要安装mysql # wget http://repo.mysq ...
- 链表中倒数第N个元素——剑指Offer
https://www.nowcoder.net/practice/529d3ae5a407492994ad2a246518148a?tpId=13&tqId=11167&tPage= ...
- zoj 1671 Walking Ant
Walking Ant Time Limit: 2 Seconds Memory Limit: 65536 KB Ants are quite diligent. They sometime ...