使用scrapy爬取海外网学习频道

一：创建项目文件

1：首先在终端使用命令scrapy startproject huaerjieribao 创建项目

2:创建spider

首先cd进去刚刚创建的项目文件overseas

然后执行genspider,并写入爬虫名称和爬虫网站域名

命令如下：

cd  overseas haiwaistudy theory.haiwainet.cn

3:此时会发现在spider文件中多了一个 haiwaistudy.py,

4:scrapy默认不能再IDE中调试的所以这里我们使用一个小技巧，我们再根目录下新建一个entrypoint.py，用于后面的调试

二：编写项目文件

1:然后编写item.py，相当于容器

创建 Item 需要继承 scrapy.Item 类，并且定义类型为 scrapy.Field 的字段

2:编写爬虫文件haiwaistudy.py，定义了爬取范围，爬取内容，是否有下一页循环等信息

parse（）---------parse（）方法的参数 resposne 是 start_urls 里面的链接爬取后的结果。

extract_first（）-----------用 extract_first（）方法来获取第一个元素

extract（）------获取所有结果组成的列表，所以使用 extract（）方法

遇见翻页之类的情况，构造请求时需要用到 scrapy.Request。 这里我们传递两个参数一－url 和 callback

口 url ：它是请求链接。

口 callback：它是回调函数。 当指定了该回调函数的请求完成之后，获取到响应，引擎会将该 响应          作为参数传递给这个回调函数。 回调函数进行解析或生成下一个请求，回调函数如上文 的           parse（）所示。

urljoin（）--------- urljoin（）方法可以将相对 URL 构造成一个绝对的 URL

如果是一个简单的爬虫接下来可以直接使用命令的到爬虫结果了，

scrapy crawl haiwaistudy

保存成 JSON 文件:

scrapy crawl  haiwaistudy -o quotes.json

以每一个 Item 输出一行 JSON:

scrapy crawl  haiwaistudy -o quotes.jl

其他格式：

scrapy crawl  haiwaistudy-o quotes .csv

scrapy crawl  haiwaistudy-o quotes.xml

scrapy crawl  haiwaistudy -o quotes.pickle

scrapy crawl  haiwaistudy-o quotes.marshal

scrapy crawl  haiwaistudy -o ftp://user:pass@ftp.example.com/path/to/quotes.csv

这里我个人将他存为了csv格式：

三：存入数据库：

如果想要将数据存入MongoDB则需要在Item Pipeline里进行处理，Item Pipeline的作用是：

口清理 HTML 数据。

口 验证爬取数据，检查爬取字段。

口 查重井丢弃重复内容。

口 将爬取结果保存到数据库。

要实现Item Pipeline很简单，只需要定义一个类并实现 process item（）方法即可。启用 Item Pipeline 后， Item Pipeline 会自动调用这个方法。 process item（）方法必须返回包含数据的字典或 Item 对象， 或者抛出 Dropltem 异常。

process_item（）方法有两个参数。 一个参数是 item，每次 Spider 生成的 Item 都会作为参数传递过 来。 另一个参数是 spider，就是 Spider 的实例。

四：修改settings.py文件

在settings文件中加入以下信息

五:运行爬虫

使用终端，进入overseas文件夹，然后键入scrapy crawl haiwaistudy

然后待爬取完成可以到数据库里查看存储结果，这篇文章当 中没有写分析网站相关的内容，因为这次爬取得网站很简单没有啥加密手段，所以我没有写分析过程

GitHub代码地址：

https://github.com/meixialee/overseas

微信公众号地址：

https://mp.weixin.qq.com/s?__biz=MzU2MzcwOTAzNQ==&mid=2247483752&idx=1&sn=b1334098ca686bcf6e280683c9861f4d&chksm=fc57546ccb20dd7a6935d235a3965b9ece5a696dbda12d952c108ec6e3a8079db4fed13e0456&token=269404096&lang=zh_CN#rd