2.Scrapy基本命令介绍

1.安装scrapy框架

a.安装wheel
pip install wheel -i https://pypi.douban.com/simple/
b.安装twisted
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ Twisted
c.安装scrapy
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ Scrapy
d.安装pywin32
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ pywin32

2.基本命令介绍

（1）新建项目

scrapy startproject 项目名
要在spiders包下新建一爬虫源文件 ------》创建爬虫文件
（1）cd 项目名
（2）scrapy genspider 爬虫文件名 域名
#注意爬虫文件名不可以和项目名相同。（可以有多个spider）

（2）运行爬虫：

#运行名为 spider文件名 的爬虫
scrapy crawl spider文件名 （注意：不要加.py后缀名）
#将爬到的数据导出为json文件
scrapy crawl spider文件名 -o xx.json
#也可导出csv文件
scrapy crawl spider文件名 -o xx.csv -t csv
#单独运行爬虫文件
scrapy runspider xx.py #区别：单独运行要进入到spider目录里，不走项目的settings的配置，走的全是自己的默认配置。

注：

运行scrapy想要直接在spider文件里右键run就运行
配置：run --->edit configrations---->(1)script path: E:\pachong\venv\Scripts\scrapy.exe（scrapy.exe所在路径）
---->(2)parameters: crawl usnews（crawl 爬虫文件名）
---->(3) working directory: E:\爬虫\qianfeng\3scrapy\qianmu（项目的目录）
后面直接run，就启动项目。

（3）scrapy shell

由于数据解析时需要不断的调试，为了方便，可以在控制台里进行调试。
具体方法：scrapy shell [某个url]
带一个url参数，将会自动请求这个url，并在请求成功后进入控制台。
控制台使用的是项目环境。

shell里命令：

fetch() # 请求url或者request对象，注意请求成功后会将当前作用域内的request和response对象重新赋值。
def f():
    globals()['request'] = 1
f()
#此时再调request就是1了
#如request在控制台， locals() == globals() locals()是个字典
d = locals()
d['request'] = 2
#request 结果也是2 指向同一个地址空间
#此时如将request = 3，那么d['request']也跟着变为3
view(response) #会将请求页面保存成一个本地文件，可以直观看到爬取的页面
shelp()  #打印出帮助信息
spider  #相应的Spider类的实例。有可能是default，有可能是自定义的spider。符合创建规则就是自定义的
settings  #是个对象，可以获取settings文件里的值
setting.get("BOT_NAME")
setting.getbool("HTTPCACHE_ENABLED")
settings.get("USER_AGENT")  #'Scrapy/2.0.1 (+https://scrapy.org)'在scrapy包里的settings文件中默认设置的。在自己settings文件设置就会覆盖
crawler crawler  #对象，包含spier，所有中间件、pipline和其他所有的 总称
#其他都可以通过crawler取出。
#如crawler.settings
#一个项目启动只有一个crawler对象，但可以有多个spider对象。
scrapy  #就是scrapy模块

例子：
比如要对某个页面的数据进行提取，不断测试解析的是否正确

scrapy shell https://url.com #进入控制台，并且爬取这个url
shelp() #查看可用的命令
response.xpath() #直接测试

（4）终端里scrapy命令

scrapy crawl/runsipder  #启动项目
scrapy view url名称  #也是一个用项目配置下载网页，用浏览器打开网页-----》一般用在网页是动态的来调试（看抓到的和浏览器看到的是否一样）
scrapy fetch url名称  #用项目的配置下载网页，输出到控制台上
srapy list   #列出有多少个spider

3.Spider介绍

Spider 是自己定义的类，Scrapy 用它来从网页里抓取内容，并解析抓取的结果。自定义Spider类继承scrapy.Spider，定义 Spider 的名称和起始请求，以及怎样处理爬取后的结果的方法。

class DiscoverySpider(scrapy.Spider):
    name = 'discovery'
    allowed_domains = ['xinpianchang.com','openapi-vtom.vmovier.com']
    start_urls = ['https://www.xinpianchang.com/channel/index/type-/sort-like/duration_type-0/resolution_type-/page-1']

    def parse(self, response):
        pass

（1）name，它是每个项目唯一的名字，用来区分不同的 Spider。
（2）allowed_domains，它是允许爬取的域名，如果初始或后续的请求链接不是这个域名下的，则请求链接会被过滤掉。
（3）start_urls，它包含了 Spider 在启动时爬取的 url 列表，初始请求是由它来定义的。
（4）parse：  　
　　　　　　Spider 的一个方法。
　　　　　　解析返回的响应、提取数据或者进一步生成要处理的请求。
　　　　　　第一个请求定义在start_requests()方法内，默认从start_urls列表中获得url地址来生成Request请求，默认的回调函数是parse方法。回调函数在下载完成返回response时自动触发
　　　　　　parse返回值4种：（yield）
　　　　　　　　a.包含解析数据的字典
　　　　　　　　b.Item对象
　　　　　　　　c.新的Request对象（新的Requests也需要指定一个回调函数）
　　　　　　　　d.或者是可迭代对象（包含Items或Request）

4.Item介绍

Item 是保存爬取数据的容器，它的使用方法和字典类似。不过，相比字典，Item 多了额外的保护机制，可以避免拼写错误或者定义字段错误。
创建 Item 需要继承 scrapy.Item 类，并且定义类型为 scrapy.Field 的字段。
创建的Item在自定义的Spider类中被实例化，并且以字典的形式存入解析的数据，然后yield，返回给引擎，再给管道，进行持久化存储。
注意：yield的数据不做任何操作，会在窗口直接显示。也可以直接导入到文件中。

　　

5. Item Pipeline介绍

Item Pipeline 为项目管道。当 Item 生成后，它会自动被送到 Item Pipeline 进行处理。用 Item Pipeline 来做如下操作：
　　　　(1)清洗 HTML 数据
　　　　(2)验证爬取数据，检查爬取字段
　　　　(3)查重并丢弃重复内容
　　　　(4)将爬取结果储存到数据库
方法：自定义Pipeline类，里面有open_spider close_spider 和process_spider方法。
open_spider和close_spider分别只在创建和关闭spider时调用一次，process_spider则每产生一个item调用一次，主要执行了数据插入操作。