scrapy(2)——scrapy爬取新浪微博（单机版）

Sina爬虫教程

 

1. Scrapy环境搭建

 

环境：window10 + python2.7（包含scrapy）+ mongoDB

1.1 安装集成了python2.7的anaconda

 

anaconda下载链接：https://www.continuum.io/downloads

由于scrapy库目前只能在python2.7上使用，请务必确保版本正确，如果已经安装了python3.5，建议使用anaconda_2.7的版本，因为anaconda中集成了python2.7且使用anaconda安装第三库非常方便，所以可以考虑使用anaconda。

 

anaconda中集成的python务必选择正确，如图1-1所示:

　　

图1-1 选择集成python2.7的anaconda

 

1.2 scrapy库函数的安装

 

安装scrapy的时候，直接使用conda install scrapy 的命令即可，如图1-2所示：

图1-2 在cmd中安装scrapy库函数

 

在pycharm中输入import s... 还没有输完IDE就会提示scrapy，则表示scrapy安装成功，如图1-3所示：

图1-3 scrapy库函数安装成功示意图

 

由于scrapy库函数的使用相对比较麻烦，所以在这里着重对scrapy库函数的使用进行较为详细的解释。

1.3 mongoDB数据库的安装

 

mongoDB下载地址：https://www.mongodb.com/download-center#community

 

在下载mongoDB的时候，请选择windows平台，同时对于版本，我们选取了带有SSL的版本，如图1-4所示：

图1-4 mongoDB下载

在启动mongoDB的时候，点击安装之后目录中的mongo.exe即可，如图1-5所示：

图1-5 启动mongoDB

 

如果出现图1-6所示的情况，则证明mongoDB可以正常使用了：

图1-6 mongoDB正常运行示意图

如果不能出现图1-6所示的情况，而是如1-7中的情况：

图1-7 安装mongoDB报错

如果出现上述的情况或者类似的情况，可能是因为缺少了VC运行环境，建议不要分别安装对应的dll文件，而是建议直接安装VS2017RC。

VS2017RC下载链接：https://www.visualstudio.com/vs/visual-studio-2017-rc/

图1-8 选择安装VS2017RC Community版本的IDE

 

1. scrapy教程

 

由于scrapy库函数功能比较强大，所以在使用的时候相对比较麻烦，我们就以一个小教程开始这部分的学习。

 

 scrapy的基础入门：http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html

 

第一步：在pycharm中新建一个名为Dmoz的package，如图2-1所示：

 

图2-1 新建一个名为Dmoz的package

 

第二步：通过cmd进入Dmoz的文件夹，并输入scrapy startproject tutorial指令创建scrapy项目，如图2-2所示：

图2-2 创建scrapy项目

 

在cmd中输入上述命令并回车之后，就会生成一个树状文件目录，在pycharm可以查看该文件目录，如图2-3所示：

图2-3 生成的树状文件目录

 

scrapy.cfg	项目的配置文件。
tutorial/	该项目的python模块，之后将在此加入代码。
tutorial/items.py	项目中的item文件。
tutorial/pipelines.py	项目中的pipelines文件
tutorial/settings.py	项目的设置文件
tutorial/spiders/	放置spider代码的目录

 

 

第三步：定义Item，它用来装在抓取的数据。通过创建一个scrapy.item.item类来声明，定义它的属性为scrapy.item.Field对象，就像一个对象关系映射（ORM）。

我们需要做的是将item模型化，从而控制我们获得url中的数据，比如说我们希望获取待爬取网站的名称、网站的url和网站的描述，这三个索要获取的东西即为我们的域。我们只需要编辑tutorial目录下的items.py文件，修改后的内容如下：

　　　　　　　　　　　　　　　　　　　　 

表2-1 items.py文件中的变量含义

变量	含义
title	网站的名称
link	网站的url
desc	网站的描述

第四步：编写爬虫（Spider），它用于从网站爬取数据。

该py文件的位置为：tutorial—spiders—dmoz_spider.py，文件目录如图2-4所示：

图2-4 爬虫py文件的位置

 

dmoz_spider.py用于从网站上爬取我们需要的信息，它需要继承scrapy.Spider类，该py文件的代码中必须要包含以下内容，如表2-2所示：

 

表2-2 Spider中属性含义

属性名称	属性含义
name	Spider的名称，必须唯一
allowed_domains	待爬取网站的域名
start_urls	Spider在启动时进行爬取的url列表
parse()	Spider的一个方法，用于对response进行接收并解析。

l name的命名（string类型）必须要做到唯一，因为name定义了scrapy如何定位并初始化spider，所以必须唯一。

l allowed_domains包含了spider所允许爬取的域名，以list方式存储；

l start_urls列表的作用是防止没有指定特定的url的时候，spider可以从列表中的url开始进行爬取，第一个被获取到的页面的url将是该列表之一，后续的url将会从获取到的数据中提取；

l parse()方法被调用的时候，每个初始url完成下载后生成的response对象将作为唯一的参数传递给该函数，它会负责解析返回的数据（response data），提取数据（生成item）以及生成需要进一步处理的url的request对象。

第五步：爬取网站数据，通过执行scrapy crawl dmoz来启动spider：执行的时候，用cmd跳到爬虫的目录中再执行“scrapy crawl dmoz”，如图2-5所示

图2-5 执行爬取指令

 

Scrapy为爬虫的 start_urls属性中的每个URL创建了一个 scrapy.http.Request 对象 ，并将爬虫的parse 方法指定为回调函数。 
这些 Request首先被调度，然后被执行，之后通过parse()方法，scrapy.http.Response 对象被返回，结果也被反馈给爬虫。

执行完指令之后，在命令行中会有如下的输出信息，如图2-6所示：

图2-6 日志信息

 

在这些输出的内容中，包含着scrapy爬虫运行的日志信息。

包含 [dmoz]的那些行，那对应着爬虫的日志。你可以看到start_urls中定义的每个URL（存储在dmoz_spider.py中的start_urls的list中）都有日志行。由于这些URL是起始页面，所以他们没有引用(referrers)，所以在每行的末尾你会看到 (referer: <None>)。
正是因为我们的dmoz_spider.py文件中的parse()方法的存在，在pars()方法的作用下，两个文件被创建（filename = response.url.split("/")[-2]）：分别是 Books 和 Resources，这两个文件中有URL的页面内容（f.write(response.body)）。

我们将命令行中的日志信息保存下来，这些日志信息可以帮助我们了解爬虫的运行状态，对于分析爬虫具有很大的帮助。

　　　　　　　　　　　　　　　　 

在运行完上述指令之后，在pars()方法的作用下，两个文件被创建（filename = response.url.split("/")[-2]）：分别是 Books 和 Resources，这两个文件中有URL的页面内容（f.write(response.body)）。 如图2-7所示：

图2-7 生成文件示意图

第六步：提取item。scrapy使用的是XPath selector的机制，这种机制是基于XPath表达式来实现的。

在使用XPath的时候，scrapy中有两种类可供选择，第一种是HtmlXPathSelector（HTML数据解析），第二种是XmlPathSelector（XML数据解析）。

从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors。

为了介绍Selector的使用方法，接下来我们将要使用内置的 Scrapy shell 。Scrapy Shell需要您预装好IPython。anaconda已经预装了ipython，使用的时候只需要在命令行中输入ipython即可，如图2-8所示：

图2-8 IPython执行示意图

 

如果使用的不是anaconda，可以从这里下载：ipyhton下载地址

安装了ipython之后，需要进入项目的根目录，执行如图2-9所示的命令来启动shell:

图2-9 启动shell

如果启动失败，可以尝试加上双引号，即 scrapy shell “http://www.dmoz.org/Computers/Programming/Languages/Python/Books/”

将会获得如下的输出：

　　　　　　　　　　　　　　　　

在这里有一些非常重要的信息，如图2-10所示：

图2-10 scrapy object

这些是可用的对象和函数列表。

上述的shell载入之后，我们得到了一个包含response的数据的本地response变量，我们可以输入指令“response.body”查看response的包体，可以输入指令“response.headers”查看response的包头，如图2-11所示：

图2-11 获取的response的包头信息

 

除了上述两个简单的指令之外，“response.selector”指令对于我们更有意义，如图2-12所示：

图2-12 通过reponse.selector获取用于查询的selector

 

通过输入response.selector可以获取一个可以用于查询返回数据的selector，以及映射到response.selector.xpath() 、 response.selector.css()的 快捷方法(shortcut): response.xpath() 和 response.css() 。

同时，shell根据response提前初始化了变量sel，该selector能够根据response的类型自动选择最合适的分析规则（XML或者HTML）。

注意在之前图2-10中显示的可用的对象和函数中没有包含sel方法，所以如图2-13所示，如果我们直接使用，会报错，所以改为使用response.xpath()方法，以及与之对应的response.xpath().extract()方法。具体的情况如图2-13所示：

图2-13 使用response.xpath()对response内容进行分析

 

第七步：提取有用的数据。我们使用response.body可以获取response中的内容，可以通过阅读网页源码选择合适的xpath表达式。

在spider中如果需要引用其他的class，可能会出现保存的情况，如图2-14所示：

图2-14 不能正确引入其他py文件中的class

在这里，虽然导入了正确的class，但是仍然报错，为解决这个问题，首先清除缓存，如图2-15所示：

图2-15 清除缓存

清除缓存之后如果仍然不能恢复，此时需要将整个爬虫文件设置为源目录，如图2-16所示：

图2-16 将爬虫文件目录设置为源目录

修改完之后，使用指令“scrapy crawl dmoz -o items.json”即可将爬取的内容保存为json格式的文件，如图2-17所示：

图2-17 将爬取的内容以json格式保存

3.新浪爬虫

第一步：mongoDB设置

①首先在建立mongoDB所需要的文件夹，如图3-1所示：

图3-1 建立mongoDB需要的文件夹

db文件夹用于存储数据，log文件夹用于存储日志信息，log文件夹中需要新建一个mongoDB.log文件；

bin文件夹是解压的mongoDB文件中的bin文件夹，直接copy过来即可。

②然后cmd跳转到bin文件夹下，执行“mongod --dbpath=D:\databases\mongo\db”，如图3-2所示：

图3-2 配置mongoDB数据的存储位置

 

这一步的作用是配置mongodb，制定了数据的存储位置，具体的dbpath根据你的db文件夹的位置来设置。

③在浏览器中访问“http://localhost:27017/”，如果出现如图3-3所示的情况，代表mongoDB开启成功。

图3-3 mongoDB开启成功示意图

 

第二步：新建scrapy项目

 

①新建一个文件夹，如图3-4所示：

图3-4 新建文件夹用于存储scrapy项目

 

②在上述的文件夹下执行指令“scrapy crawl Sina_spider1”新建一个scrapy项目，如图3-5所示：

图3-5 新建一个scrapy项目

 

③在pycharm中将相应配置文件全部写好，并编写spider.py文件用于爬取微博，如图3-6所示：

图3-6 文件树示意图

 

④在cookies.py中将购买的微博账号全部加进去，防止爬虫被微博识别，由于微博的反扒机制越来越成熟，建议账号在50个左右，多多益善。

⑤在spiders.py中填入你想要爬取的微博ID，如图3-8所示：

图3-8 待爬取微博ID信息

 

⑥在settings.py中设置合理的间隔时间，建议大于1.5，在这里用的是1.8，如图3-9所示：

 

图3-9 设置合适的间隔时间

 

⑦在Begin.py中设置用cmdline控制爬虫开始，如图3-10所示：

图3-10 设置cmdline控制爬虫开始爬取指令

⑧用cmd跳入到scrapy文件夹下，执行指令“scrapy crawl sinaSpider”指令，如图3-11所示：

图3-11 执行爬虫

 

⑨具体的爬虫执行过程可以从shell中看到，如图3-12所示：

图3-12 爬取过程示意图

 

第三步：用mongoDB可视化工具查看数据

在这里我们选用的是mongobooster，除此之外也可以选用robomongo等工具，但效果大同小异。

在数据库中，存储着Information、Tweets、Follows、Fans四张表，在这些表中，information表和tweets表比较重要。

表1 Information表中字段的含义

_id	采用 “用户ID” 作为唯一标识
Birthday	出生日期
City	城市
Gender	性别
Marriage	婚姻状况
NickName	昵称
Num_Fans	粉丝数量
Num_Follows	关注数量
Num_Tweets	已转发微博数
Province	所在省份
Signature	签名
URL	微博个人主页链接

图3-13 Information表中的数据示意图

 

表2 Tweets表中字段的含义

_id	采用 “用户ID” 作为唯一标识
Co_oridinates	发微博时的定位坐标（经纬度）
Comment	微博被评论的数量
Content	微博的内容
ID	用户ID
Like	微博被点赞的数量
PubTime	微博发表时间
Tools	发微博的工具
Transfer	微博被转发的数量

图3-14 Tweets表中的数据示意图