scrapy框架的持久化存储
一 . 基于终端指令的持久化存储
保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。
执行输出指定格式进行存储: 将爬取到的数据写入不同格式的文件中进行存储
scrapy crawl 爬虫名称 -o xxx.json
scrapy crawl 爬虫名称 - o xxx.xml
scrapy crawl 爬虫名称 - o xxx.csv
二 . 基于管道的持久化存储
scrapy框架已经为我们专门集成了高效 , 便捷的持久化操作功能,我们直接用即可.
在使用scrapy的持久化操作功能之前,我们要知道这两个文件是什么 ?
item.py : 数据结构模板文件, 定义数据属性
pipelines.py: 管道文件. 接收数据(items) 进行持久化操作 持久化流程: 1. 爬虫文件爬到数据后, 需要将数据封装到 items 对象中
2. 使用yield 关键字将items 对象提交给 pipelines 管道进行持久化操作.
3. 在管道文件中的 process_item 方法中接收爬虫文件提交过来的item 对象, 然后编写持久化存储的代码将item对象中存储的数据进行持久化存储
4.settings.py配置文件中开启管道
三 . 实例
1 . 进行本地的持久化存储
⑴ . 爬虫文件 first_hh.py
# -*- coding: utf-8 -*-
import scrapy
from frist_boll.items import FristBollItem class FirstHhSpider(scrapy.Spider):
# 爬虫文件的名称
name = 'first_hh'
# 允许访问的域名 , 但是有时候图片的地址与访问的网站不是同一域名,
# 为了可以正常访问,就注释了就好
# allowed_domains = ['www.xxx.com']
# 起始的url列表,可以放多个url
start_urls = ['https://www.qiushibaike.com/text/'] def parse(self, response):
div_list = response.xpath("//div[@id='content-left']/div")
# all_data = [] for div in div_list:
# 如果xpath返回的列表中只有一个类别元素-就用extract_first
# 列表中有多个列表元素-用extract()
author = div.xpath('./div[1]/a[2]/h2/text()').extract_first()
content = div.xpath('./a[1]/div/span//text()').extract() # 储存的时候要是字符串,不能是列表
content = "".join(content) # 实例化item对象
item = FristBollItem()
# 将解析到的数据全部封装到item中,传给管道文件pipelines.py
item['author'] = author
item['content'] = content
# 将item提交给管道文件(pipelines.py)
yield item
⑵ . items.py 文件
# -*- coding: utf-8 -*- # Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html class FristBollPipeline(object):
f1 = None #定义一个文件描述符属性 # 打开文件,因为函数process_item 要进行循环,所有只要打开一次文件就可以,
# 下面都是重写父类方法,所有spider参数必须有
def open_spider(self, spider):
print("start")
self.f1 = open('./趣事百科.csv', 'w', encoding='utf-8') #因为该方法会被执行调用多次,所以文件的开启和关闭操作写在了另外两个只会各自执行一次的方法中。
def process_item(self, item, spider):
#将爬虫程序提交的item进行持久化存储
self.f1.write(item['author'] + '\n' + item['content'])
print()
return item # 结束爬虫 , 关闭文件
def close_spider(self, spider):
print("end")
self.f1.close()
⑷ . 配置文件 : settings.py
#开启管道
ITEM_PIPELINES = {
'secondblood.pipelines.SecondbloodPipeline': 300, #300表示为优先级,值越小优先级越高
}
2 . 基于mysql的管道存储
爬取boss直聘的爬虫职位
先将 mysql打开,并创建一个文件夹和创建个文件,而且你要存储的字段也要创建好,scrapy框架只负责添加数据到mysql,不负责创建.
创建项目 : scrapy startproject boss
进入目录 : cd boss
创建应用 : scrapy genspider boss_hh www.xxx.com
⑴ . 爬虫文件 : boss_hh.py
# -*- coding: utf-8 -*-
import scrapy
from boss.items import BossItem class BossHhSpider(scrapy.Spider):
name = 'boss_hh'
# allowed_domains = ['www.xxx.com']
start_urls = ['https://www.zhipin.com/job_detail/?query=%E7%88%AC%E8%99%AB&scity=101010100&industry=&position=']
# 因为有分页的效果,而且第一页与后面几页的url不一样,所有要进行判断 page=%d 进行页码
url = 'https://www.zhipin.com/c101010100/?query=python爬虫&page=%d&ka=page-2'
# 默认第一页,起始页面
page = 1 def parse(self, response):
li_list = response.xpath('//div[@class="job-list"]/ul/li')
for li in li_list:
job_name = li.xpath('.//div[@class="info-primary"]/h3/a/div/text()').extract_first()
salary = li.xpath('.//div[@class="info-primary"]/h3/a/span/text()').extract_first()
company = li.xpath('.//div[@class="company-text"]/h3/a/text()').extract_first()
# 实例化
item = BossItem()
# 解析到的数据加到item对象中
item['job_name'] = job_name
item['salary'] = salary
item['company'] = company
# 提交到管道进行保存
yield item
if self.page <= 3:
print("执行 if 判断 ")
# 从第二页开始,封装集成了一个新的页码的url
self.page += 1
# 占位
new_url = format(self.url % self.page) # 手动请求的发送,callback 表示指定的解析方式 , 回调
#递归爬取数据:callback参数的值为回调函数(将url请求后,得到的相应数据继续进行parse解析),递归调用parse函数 yield scrapy.Request(url=new_url,callback=self.parse)
⑵ . items文件 :
# -*- coding: utf-8 -*- # Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html import scrapy class BossItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field() job_name = scrapy.Field()
salary = scrapy.Field()
company = scrapy.Field()
⑶ . 管道文件 : pipelines.py
# -*- coding: utf-8 -*- # Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html import pymysql
from redis import Redis class mysqlPipeline(object):
conn = None
cursor = None # 打开mysql
def open_spider(self, spider):
self.conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='', db='scrapy', charset='utf8') def process_item(self, item, spider):
self.cursor = self.conn.cursor()
try:
# 将数据写入mysql
self.cursor.execute('insert into boss(job_name,salary,company) values("%s","%s","%s")' % (item['job_name'], item['salary'], item['company'])) self.conn.commit()
except Exception as e:
self.conn.rollback()
return item # 注意
# 关闭mysql
def close_spider(self, spider):
self.conn.close()
self.cursor.close()
⑷ . settings文件 :
ITEM_PIPELINES = {
# 'boss.pipelines.BossPipeline': 300,
'boss.pipelines.mysqlPipeline': 301,
}
# 前一个属于子代文件,如果只想执行mysql,就可以将前面的注释
注意 : 在管道文件 : pipelines.py 中 , 函数 mysqlPipeline,最后返回了一个 return item . 这个是给下面的函数进行的,因为可以在一个管道文件中进行本地硬盘存储和mysql存储,可以通过 settings里面的开启管道的优先级设置那个先进行存储,return item 就会从先执行的传给后执行的. 一定要返回,否则后面的不会执行
# -*- coding: utf-8 -*- # Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html import pymysql
from redis import Redis class BossPipeline(object):
f1 = None def open_spider(self, spider):
print("start ----------->")
self.f1 = open('boss.txt', 'w', encoding='utf-8') def close_spider(self, spider):
print("end ------------->")
self.f1.close() def process_item(self, item, spider):
self.f1.write(item['job_name'] + ":" + item['salary'] + ":" + item['company'] + '\n')
return item # 返回给mysql进行 class mysqlPipeline(object):
conn = None
cursor = None def open_spider(self, spider):
self.conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='', db='scrapy', charset='utf8') def process_item(self, item, spider):
self.cursor = self.conn.cursor()
try:
self.cursor.execute('insert into boss(job_name,salary,company) values("%s","%s","%s")' % (item['job_name'], item['salary'], item['company']))
self.conn.commit()
except Exception as e:
self.conn.rollback()
return item def close_spider(self, spider):
self.conn.close()
self.cursor.close()
管道文件 : 本地和mysql都存储
3 . 基于redis的管道存储
只需要将 管道文件 修改就可以了 !!!!!
from redis import Redis class redisPileLine(object):
conn = None def open_spider(self, spider):
self.conn = Redis(host='127.0.0.1', port=6379)
print(self.conn) def process_item(self, item, spider):
# print(item)
dic = {
'name': item['job_name'],
'salary': item['salary'],
'company': item['company']
}
self.conn.lpush('boss', dic)
settings文件 :
ITEM_PIPELINES = {
'qiubaiPro.pipelines.QiubaiproPipelineByRedis': 300,
}
四 . 总结
如果最终需要将爬取到的数据值一份存储到磁盘文件,一份存储到数据库中,则应该如何操作scrapy?
答 : 管道文件中的代码
#该类为管道类,该类中的process_item方法是用来实现持久化存储操作的。
class DoublekillPipeline(object): def process_item(self, item, spider):
#持久化操作代码 (方式1:写入磁盘文件)
return item #如果想实现另一种形式的持久化操作,则可以再定制一个管道类:
class DoublekillPipeline_db(object): def process_item(self, item, spider):
#持久化操作代码 (方式1:写入数据库)
return item
settings.py文件的开启管道的代码 :
#下列结构为字典,字典中的键值表示的是即将被启用执行的管道文件和其执行的优先级。
ITEM_PIPELINES = {
'doublekill.pipelines.DoublekillPipeline': 300,
'doublekill.pipelines.DoublekillPipeline_db': 200,
} #上述代码中,字典中的两组键值分别表示会执行管道文件中对应的两个管道类中的process_item方法,实现两种不同形式的持久化操作。
scrapy框架的持久化存储的更多相关文章
- (六--二)scrapy框架之持久化操作
scrapy框架之持久化操作 基于终端指令的持久化存储 基于管道的持久化存储 1 基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过 ...
- scrapy 爬虫框架之持久化存储
scrapy 持久化存储 一.主要过程: 以爬取校花网为例 : http://www.xiaohuar.com/hua/ 1. spider 回调函数 返回item 时 要用y ...
- scrapy框架之持久化操作
1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作. 执行输出指定格式进行存储: ...
- 爬虫开发8.scrapy框架之持久化操作
今日概要 基于终端指令的持久化存储 基于管道的持久化存储 今日详情 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的 ...
- 小爬爬5:scrapy介绍3持久化存储
一.两种持久化存储的方式 1.基于终端指令的吃持久化存储: 特点:终端指令的持久化存储,只可以将parse方法的返回值存储到磁盘文件 因此我们需要将上一篇文章中的author和content作为返回值 ...
- Scrapy 框架,持久化文件相关
持久化相关 相关文件 items.py 数据结构模板文件.定义数据属性. pipelines.py 管道文件.接收数据(items),进行持久化操作. 持久化流程 1.爬虫文件爬取到数据后,需要将数据 ...
- 11.scrapy框架持久化存储
今日概要 基于终端指令的持久化存储 基于管道的持久化存储 今日详情 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的 ...
- scrapy框架持久化存储
基于终端指令的持久化存储 基于管道的持久化存储 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文 ...
- 11,scrapy框架持久化存储
今日总结 基于终端指令的持久化存储 基于管道的持久化存储 今日详情 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的 ...
随机推荐
- P4语言编程详解
1.源码目录结构 P4项目源码可以在github上直接获取(https://github.com/p4lang).P4项目由很多个单独的模块组成,每个模块就是一个子项目,下面分别简单介绍一下各模块的功 ...
- 会议室预定demo mrbs
关于会议室的增删改查 查: HTML: login继承django自带的admin用户认证系统 <!DOCTYPE html> <html lang="en"&g ...
- Java:浅克隆(shallow clone)与深克隆(deep clone)
Summary 浅克隆与深克隆对于JavaSE来说,是个难度系数比较低的概念,但不应该轻视它. 假设一个场景:对于某个list,代码里并没有任何对其的直接操作,但里面的元素的属性却被改变了,这可能就涉 ...
- 20179223《Linux内核原理与分析》第二周学习笔记
第二周实验 本周学习情况: 学习了X86 cpu的几个寄存器及X86汇编指令: movl %eax,%edx edx=eax %表示一个寄存器,把eax内容放入edx,等号相当于把eax赋值给edx, ...
- 零基础学习hadoop到上手工作线路指导初级篇:hive及mapreduce
此篇是在零基础学习hadoop到上手工作线路指导(初级篇)的基础,一个继续总结.五一假期:在写点内容,也算是总结.上面我们会了基本的编程,我们需要对hadoop有一个更深的理解:hadoop分为h ...
- CH1801 括号画家
题意 Candela是一名漫画家,她有一个奇特的爱好,就是在纸上画括号.这一天,刚刚起床的Candela画了一排括号序列,其中包含小括号( ).中括号[ ]和大括号{ },总长度为N.这排随意绘制的括 ...
- CentOS 6.8 源码安装mysql 5.6
一:卸载旧版本 rpm -qa | grep mysql rpm -e mysql #普通删除模式 rpm -e --nodeps xxx(xxx为刚才的显示的列表) # 强力删除模式,如果使用上面命 ...
- kubectl&docker容器命令行窗口太小
#k8s kubectl exec -ti busybox env COLUMNS=$COLUMNS LINES=$LINES bash #k8s example kubectl exec -t ...
- oracle的时间
今天发现之前从oracle导出的数据时间格式很奇怪: "ACTIVETIME","ACTIVITYID" "2018-08-10 06:08:43&q ...
- Ubuntu 14.04 配置安卓5.1编译环境
Ubuntu 14.04版本 电脑cpu必须是64位 硬盘分配大约100G的空间 1.ubuntu中更新源 $ sudo apt-get update 2.android5.1需要安装openjdk- ...