1.基于终端的持久化存储

保证爬虫文件的parse方法中有可迭代类型对象(通常为列表或字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作.

  1. # 执行输出指定格式进行存储:将爬到的数据写入不同格式的文件中进行存储
  2. scrapy crawl <爬虫名称> -o xxx.json
  3. scrapy crawl <爬虫名称> -o xxx.xml
  4. scrapy crawl <爬虫名称> -o xxx.csv

2.基于管道的持久化存储

scrapy框架中已经为我们专门集成好了高效,便捷,的持久化操作功能,我们直接使用即可.要想使用scrapy的持久化操作功能,我们首先来认识如下两个文件:

  1. items.py: 数据结构模板文件,定义数据属性.
  2. pipelines.py: 管道文件,接受数据(items),进行持久化操作
  3.  
  4. 持久化存储流程:
  5. 1.爬虫文件爬取到数据后,需要将数据封装到items对象中.
  6. 2.使用yield关键字将item对象提交给pipelines管道进行持久化操作
  7. 3.在管道文件中的process_item方法中接收爬虫文件提交过来的item对象,然后编写持久化存储代码将item对象中存储的数据进行持久化存储
  8. 4.settings.py配置文件中开启管道

小试牛刀:将糗事百科首页中的段子和作者数据爬下来,然后进行持久化存储

- 爬虫文件:blood.py

  1. # -*- coding: utf-8 -*-
  2. import scrapy
  3. from first.items import FirstItem
  4.  
  5. class BloodSpider(scrapy.Spider):
  6. name = 'blood'
  7. # allowed_domains = ['www.qiushibaike.com']
  8. start_urls = ['https://www.qiushibaike.com/text/']
  9.  
  10. def parse(self, response):
  11. div_list = response.xpath('//*[@id="content-left"]/div') # xpath为response中的方法,这里可以直接将xpath表达式直接作用于该函数中
  12.  
  13. for div in div_list:
  14. # xpath函数返回的为列表,列表中存放的数据为Selector类型的数据。我们解析到的内容被封装在了Selector对象中,需要调用extract()函数将解析的内容从Selecor中取出。
  15. author = div.xpath('./div[1]/a[2]/h2/text()').extract_first()
  16. author = author.strip("\n") # 过滤空行
  17. content = div.xpath('./a/div/span//text()').extract_first()
  18. content = content.strip("\n") # 过滤空行
  19. print(author)
  20. # 将解析到的数据封装到items对象中
  21. item = FirstItem()
  22. item["author"] = author
  23. item["content"] = content
  24.  
  25. yield item # 提交item到管道文件(pipelines.py)

- items文件: items.py

  1. # -*- coding: utf-8 -*-
  2.  
  3. # Define here the models for your scraped items
  4. #
  5. # See documentation in:
  6. # https://doc.scrapy.org/en/latest/topics/items.html
  7.  
  8. import scrapy
  9.  
  10. class FirstItem(scrapy.Item):
  11. # define the fields for your item here like:
  12. # name = scrapy.Field()
  13. author = scrapy.Field() # 存储作者
  14. content = scrapy.Field() # 存储段子内容

- 管道文件:pipelines.py

  1. # -*- coding: utf-8 -*-
  2.  
  3. # Define your item pipelines here
  4. #
  5. # Don't forget to add your pipeline to the ITEM_PIPELINES setting
  6. # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
  7.  
  8. class FirstPipeline(object):
  9. # 构造方法
  10. def __init__(self):
  11. self.fp = None # 定义一个文件描述符
  12. # 下列都是在重写父类的方法
  13. # 开始爬虫是执行一次
  14. def open_spider(self,spider):
  15. print("爬虫开始")
  16. self.fp = open('./data.txt', 'w')
  17.  
  18. # 因为该方法会被执行多次,调用多次,所以文件的开始和关闭操作写在了另外两个只会各自执行一次的方法
  19. def process_item(self, item, spider):
  20. # 将爬虫程序提交的item进行持久化存储
  21. self.fp.write(item["author"]+":"+item["content"]+"\n")
  22. return item
  23.  
  24. def close_spider(self,spider):
  25. self.fp.close()
  26. print('爬虫结束')

- 配置文件:settings.py

  1. # 开启管道
  2. ITEM_PIPELINES = {
  3. 'first.pipelines.FirstPipeline': 300,
  4. }

2.1基于mysql的管道存储

小试牛刀案例中,在管道文件里将item对象中的数据值存储到磁盘中,如果将item数据写入mysql数据库的话,只需要将上述案例中的管道文件存储修改成如下形式:

- pipelines.py文件

  1. # -*- coding: utf-8 -*-
  2.  
  3. # Define your item pipelines here
  4. #
  5. # Don't forget to add your pipeline to the ITEM_PIPELINES setting
  6. # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
  7. import pymysql
  8.  
  9. class FirstPipeline(object):
  10. # 构造方法
  11. conn = None
  12. cursor = None
  13. def open_spider(self,spider):
  14. print("爬虫开始")
  15. self.conn = pymysql.Connect(host='127.0.0.1', port=3306, user='root', password='',db='qiushi')
  16.  
  17. # 因为该方法会被执行多次,调用多次,所以文件的开始和关闭操作写在了另外两个只会各自执行一次的方法
  18. def process_item(self, item, spider):
  19. # 1.链接数据库
  20. # 2.执行失去了语句
  21. sql = 'insert into qiushi values("%s","%s")' % (item["author"],item["content"])
  22. self.cursor = self.conn.cursor()
  23.  
  24. # 执行事务
  25. try:
  26. self.cursor.execute(sql)
  27. self.conn.commit()
  28. except Exception as e:
  29. print(e)
  30. self.conn.rollback()
  31. return item
  32.  
  33. def close_spider(self,spider):
  34. self.cursor.close()
  35. self.conn.close()
  36. print('爬虫结束')

2.2 基于redis的管道存储

小试牛刀案例中,在管道文件里将item对象中的数据值存储到了磁盘中,如果将item数据写入redis数据库的话,只需要将上述案例中的管道文件修改成如下形式:

  1. # -*- coding: utf-8 -*-
  2.  
  3. # Define your item pipelines here
  4. #
  5. # Don't forget to add your pipeline to the ITEM_PIPELINES setting
  6. # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
  7.  
  8. import redis
  9.  
  10. class QiubaiproPipelineByRedis(object):
  11. conn = None
  12. def open_spider(self,spider):
  13. print('开始爬虫')
  14. #创建链接对象
  15. self.conn = redis.Redis(host='127.0.0.1',port=6379)
  16. def process_item(self, item, spider):
  17. dict = {
  18. 'author':item['author'],
  19. 'content':item['content']
  20. }
  21. #写入redis中
  22. self.conn.lpush('data', dict)
  23. return item

- pipelines.py文件

  1. ITEM_PIPELINES = {
  2. 'qiubaiPro.pipelines.QiubaiproPipelineByRedis': 300,
  3. }

- 面试题:如果最终需要将爬取到的数据值一份存储到磁盘文件,一份存储到数据库中,则应该如何操作scrapy?  

- 答:管道文件中的代码为

  1. #该类为管道类,该类中的process_item方法是用来实现持久化存储操作的。
  2. class DoublekillPipeline(object):
  3.  
  4. def process_item(self, item, spider):
  5. #持久化操作代码 (方式1:写入磁盘文件)
  6. return item
  7.  
  8. #如果想实现另一种形式的持久化操作,则可以再定制一个管道类:
  9. class DoublekillPipeline_db(object):
  10.  
  11. def process_item(self, item, spider):
  12. #持久化操作代码 (方式1:写入数据库)
  13. return item

在settings.py开启管道操作代码为:

  1. #下列结构为字典,字典中的键值表示的是即将被启用执行的管道文件和其执行的优先级。
  2. ITEM_PIPELINES = {
  3. 'doublekill.pipelines.DoublekillPipeline': 300,
  4. 'doublekill.pipelines.DoublekillPipeline_db': 200,
  5. }
  6.  
  7. #上述代码中,字典中的两组键值分别表示会执行管道文件中对应的两个管道类中的process_item方法,实现两种不同形式的持久化操作。

scrapy 框架持久化存储的更多相关文章

  1. 11.scrapy框架持久化存储

    今日概要 基于终端指令的持久化存储 基于管道的持久化存储 今日详情 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的 ...

  2. scrapy框架持久化存储

    基于终端指令的持久化存储 基于管道的持久化存储 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文 ...

  3. 11,scrapy框架持久化存储

    今日总结 基于终端指令的持久化存储 基于管道的持久化存储 今日详情 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的 ...

  4. 10 Scrapy框架持久化存储

    一.基于终端指令的持久化存储 保证parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作. 执行输出指定格式进行存储:将爬取到的 ...

  5. scrapy 框架持久化存储的三个方法 存入 mysql 文件 redis

    这里就不做详细讲解了 毕竟不是一句两句能说的清楚,所以我把代码和注释放到了这里 谢谢! import pymysql from redis import Redis # 写入mysql class W ...

  6. scrapy之持久化存储

    scrapy之持久化存储 scrapy持久化存储一般有三种,分别是基于终端指令保存到磁盘本地,存储到MySQL,以及存储到Redis. 基于终端指令的持久化存储 scrapy crawl xxoo - ...

  7. Scarpy框架持久化存储

    一.介绍 持久化存储操作分为两类:磁盘文件和数据库. 而磁盘文件存储方式又分为:基于终端指令和基于管道 二.基于终端指令的持久化存储 Scrapy是通过 scrapy 命令行工具进行控制的. 这里我们 ...

  8. scrapy各种持久化存储的奇淫技巧

    理论 磁盘文件: 基于终端指令 1)保证parse方法返回一个可迭代类型的对象(存储解析到的页面内容) 2)使用终端指令完成数据存储到指定磁盘文件中的操作,如:scrapy crawl 爬虫文件名称 ...

  9. Scrapy框架学习参考资料

    00.Python网络爬虫第三弹<爬取get请求的页面数据> 01.jupyter环境安装 02.Python网络爬虫第二弹<http和https协议> 03.Python网络 ...

随机推荐

  1. buf.readDoubleBE()

    buf.readDoubleBE(offset[, noAssert]) buf.readDoubleLE(offset[, noAssert]) offset {Number} 0 <= of ...

  2. ubuntu root用户登陆

    sudo vi /etc/lightdm/lightdm.conf   (如果没有该文件则创建,内容如下) [SeatDefaults] user-session=ubuntu greeter-ses ...

  3. mysql批量替换某个字段的部分内容

    举例说明 有数据表person,结构如下 id name urls 1 张三 xh.jpg 2 李四 xh.jpg 3 王五 3.jpg 需求:将urls字段中的xh替换为id字段的值 语句: UPD ...

  4. LINUX应用开发工程师职位(含答案)

    就业模拟测试题-LINUX应用开发工程师职位 本试卷从考试酷examcoo网站导出,文件格式为mht,请用WORD/WPS打开,并另存为doc/docx格式后再使用 试卷编号:143989试卷录入者: ...

  5. js eslint语法规范错误提示代码

    最近在用eslint代码检测,因为之前不太注意代码规范,刚开始确实头疼,哈哈,不过用习惯了就会感觉还不错,其实也没有那样难调试 我看过之前有些人已经做过总结,自己记录下,方便自己以后查找 “Missi ...

  6. [luoguP1901] 发射站(单调栈)

    传送门 呵呵 ——代码 #include <cstdio> #include <iostream> #define N 1000010 #define LL long long ...

  7. validate针对checkbox、radio、select标签的验证

    jQuery.validate 是jquery的一个插件,用来辅助开发者在客户端方便快捷的实现表单验证,最终达到提高用户体验的目的. 示例代码 <form id="formLogin& ...

  8. 算(tyvjP4700)

    背景 zhx和他的妹子出去玩. 描述

  9. [bzoj3289]Mato的文件管理_莫队_树状数组

    Mato的文件管理 bzoj-3289 题目大意:给定一个n个数的序列.m次询问:一段区间中的逆序对个数. 注释:$1\le n\,mle 5\cdot 10^4$. 想法: 开始想这个题的大佬们,给 ...

  10. JavaMail发送邮件后再通过JavaMail接收格式问题

    复杂邮件发送问题 转载请标明出处!https://www.cnblogs.com/dream-saddle/p/10978113.html 关于 JavaMail 如何发送邮件这里就不赘述了,网上有很 ...