python爬虫常用之Scrapy 简述

一、安装

pip install scrapy. 如果提示需要什么包就装什么包

有的包pip安装不起,需要自己下载whl文件进行安装.

二、基本的爬虫流程

通用爬虫有如下几步:

构造url -->> 请求,获取页面内容  -->> 分析页面内容(解析) -->>　保存结果    　

三、scrapy的爬虫流程

scrapy的流程与普通爬虫相同，有url作为输入－－start_urls；

　　有请求－－Requests,通常不需要自己构建,需要特殊参数时可使用settings配置,或者编写中间件；

有分析－－parse方法,直接传入返回的response对象即可,内置的解析方法多种多样,也可以直接import解析库进行解析；

有储存－－使用item在爬虫中保存爬取到的对象,在pipline里进行持久化,也可以直接在代码中写文件或者使用"-o"参数...

四、总结

scrapy的最大优点就是通用,你的大部分爬虫都可以scrapy去实现去操作,省去了很多构造请求和框架的时间.

scrapy的最大缺点也来源于通用,使用的时候总觉得和我需要的有出入,所以要自己去写中间件,自己去适配流程.