Scrapy-02-item管道、shell、选择器

Scrapy-02

---

• item管道：
  
  • scrapy提供了item对象来对爬取的数据进行保存，它的使用方法和字典类似，不过，相比字典，item多了额外的保护机制，可以避免拼写错误和定义字段错误。
  • 创建的item需要继承scrapy.Item类，并且在里面定义Field字段。(我们爬取的是盗墓笔记，只有文章标题和内容两个字段)
  • 定义item，在item.py中修改：

  •  # -*- coding: utf-8 -*-
    
     # Define here the models for your scraped items
     #
     # See documentation in:
     # https://doc.scrapy.org/en/latest/topics/items.html
    
     import scrapy
    
     class BooksItem(scrapy.Item):
         # define the fields for your item here like:
         # name = scrapy.Field()
         title = scrapy.Field()
         content = scrapy.Field()

  • 解析response和对item的使用：

     # -*- coding: utf-8 -*-
     import scrapy
     from ..items import BooksItem
    
     class DmbjSpider(scrapy.Spider):
         name = 'dmbj'
         allowed_domains = ['www.cread.com']
         start_urls = ['http://www.cread.com/chapter/811400395/69162457.html/']
    
         def parse(self, response):
             item = BooksItem()
             item['title'] = response.xpath('//h1/text()').extract_first()
             item['content'] = response.xpath('//div[@class="chapter_con"]/text()').extract_first()
             yield item
    

     # -*- coding: utf-8 -*-
    
     # Define your item pipelines here
     #
     # Don't forget to add your pipeline to the ITEM_PIPELINES setting
     # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
    
     class BooksPipeline(object):
         def process_item(self, item, spider):
             with open('files/{}.txt'.format(item['title']), 'w+') as f:
                 f.write(item['content'])
             return item
    
         def open_spider(self, spider):
             # 爬虫启动时调用
             pass
    
         def close_spider(self, spider):
             # 爬虫关闭时调用
             pass

    在parse方法中导入item中定义需要的类，将该类实例化，实例化的类对他进行字典的方式操作，直接对其赋值，字典的key值必须和类中对应的字段名字一直。

  • 然后对其使用yield
  • 在pipline.py里面定义三个方法:
    • process_item:
      • 对parse返回的item进行处理，然后在返回出去
    • open_spider：
      • 爬虫启动的时候自动调用
    • close_spider：
      • 爬虫关闭的时候调用
  • pipline里面定义的pipline需要使用，就得到setting里面讲ITEM_PIPELINES的字典激活

  • ITEM_PIPELINES = {
       'books.pipelines.BooksPipeline': 300,
    }

• shell
  • scrapy  shell 是scrapy提供的一个交互式的调试工具，如果当前环境中安装了ipython，那么将默认调用ipython，也可以在scrapy.cfg的setting下设置: shell = ipython
  • 使用scrapy  shell：
    • 终端输入: scrapy shell   [url]          //url：想爬取的网址，可不添加（也可以是个本地的文件，以路径的方式写入）
  • fetch：
    • fetch接受一个url，构成一个新的请求对象，对返回新的response