使用Node.js实现简单的网络爬取

由于最近要实现一个爬取H5游戏的代理服务器，隧看到这么一篇不错的文章（http://blog.miguelgrinberg.com/post/easy-web-scraping-with-nodejs），加之最近在学习Node.js，所以就准备翻译出来加深一下印象。

转载请注明来源：（www.cnblogs.com/xdxer ）

在这篇文章中，我将会向大家展示如何用JavaScript配合Node.js写一个网络爬取的脚本。

网络抓取工具

在大部分情况下，一个网络抓取的脚本只需要一种方法去下载整个页面，然后搜索里面的数据。所有的现代语言都会提供方法去下载网页，或者至少会有人实现了某个library或者一些其他的扩展包，所以这并不是一个难点。然后，要精确定位并且找出在HTML中的数据是比较有难度的。一个HTML页面混杂了许多内容、布局和样式的变量，所以去解释并且识别出那些我们关注的部分是一个挺不容易的工作。

举个例子，考虑如下的HTML页面：

<html>

    <head>...</head>

    <body>

        <div id="content">

            <div id="sidebar">

            ...

            </div>

            <div id="main">

                <div class="breadcrumbs">

                ...

                </div>

                <table id="data">

                    <tr><th>Name</th><th>Address</th></tr>

                    <tr><td class="name">John</td><td class="address">Address of John</td></tr>

                    <tr><td class="name">Susan</td><td class="address">Address of Susan</td></tr>

                </table>

            </div>

        </div>

    </body>

</html>

如果我们需要获取到出现在 id = “data”这个表中的人名，那么应该怎么做呢？

一般的，网页会被下载成一个字符串的形式，然后只需要很简单的对这个网页进行检索，检索出那些出现在<td class = “name”> 之后，以</td>结尾的字符串就可以了。

但是这种方式很容易会获取到不正确的数据。网页可能会有别的table，或者更加糟糕的是，原先的<td class="name"> 变成了 <td align="left" class="name"> ，这将会让我们之前所制定的方案什么都找不到。虽然说网页的变化很容易导致一个爬取脚本失效，但是假如我们可以清楚的知道元素是如何在HTML中组织的，那么我们就不必总是重写我们的爬取脚本，当网页改变的时候。

如果你写过前端的js代码，使用过jQuery,那么你就会发现使用CSS selector 来选择DOM中的元素是一件非常简单的事情。举个例子，在浏览器中，我们可以很简单的爬取到那些名字使用如下的方式：

$('#data .name').each(function() {

    alert($(this).text());

});

介绍一下Node.js

http://nodejs.org （get it here!）

Javascript 是一个嵌入web浏览器的语言，感谢Node.js工程，我们现在可以编写能够独立运行，并且甚至可以作为一个web server 的编程语言。

有很多现成的库，例如jQuery那样的。所以使用Javrscript+Node.js去实现这么一个任务就非常便利了，因为我们可以使用那些现有的操作DOM元素的技术，这些技术在web浏览器上已经应用的比较成熟了。

Node.js有很多的库，它是模块化的。本例子中需要用到两个库，request 和 cheerio。 request主要是用于下载那些网页，cheerio 会在本地生成一棵DOM树，然后提供一个jQuery子集去操作它们。安装Node.js模块需要用到npm操作，类似于Ruby的gem 或者 Python的easy_install

有关于cheerio的一些API 可以参考这一篇CNode社区的文章（https://cnodejs.org/topic/5203a71844e76d216a727d2e）

$ mkdir scraping

$ cd scraping

$ npm install request cheerio

如以上代码所示，首先我们创建了一个目录“scraping”，并且我们在在这个目录下安装了request 和 cheerio模块，事实上，nodejs的模块是可以进行全局性的安装的，但是我更加喜欢locally的安装，安装的效果如下图所示。

那接下来我们就看看如何使用cheerio，来爬取上面的例子中的name，我们创建一个.js文件 example.js，代码如下：

var cheerio = require('cheerio');

$ = cheerio.load('<html><head></head><body><div id="content">

<div id="sidebar"></div><div id="main">

<div id="breadcrumbs"></div><table id="data"><tr>

<th>Name</th><th>Address</th></tr><tr><td class="name">

John</td><td class="address">Address of John</td></tr>

<tr><td class="name">Susan</td><td class="address">

Address of Susan</td></tr></table></div></div></body></html>');

$('#data .name').each(function() {

    console.log($(this).text());

});

输出如下：

$ node example.js

John

Susan

实际例子

http://www.thprd.org/schedules/schedule.cfm?cs_id=15 爬取这个网站中的日程表

代码如下：

var request = require('request');

var cheerio = require('cheerio');

days = ['Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday', 'Saturday', 'Sunday'];

pools = {

    'Aloha': 3,

    'Beaverton': 15,

    'Conestoga': 12,

    'Harman': 11,

    'Raleigh': 6,

    'Somerset': 22,

    'Sunset': 5,

    'Tualatin Hills': 2

};

for (pool in pools) {

    var url = 'http://www.thprd.org/schedules/schedule.cfm?cs_id=' + pools[pool];

    request(url, (function(pool) { return function(err, resp, body) {

        $ = cheerio.load(body);

        $('#calendar .days td').each(function(day) {

            $(this).find('div').each(function() {

                event = $(this).text().trim().replace(/\s\s+/g, ',').split(',');

                if (event.length >= 2 && (event[1].match(/open swim/i) || event[1].match(/family swim/i)))

                    console.log(pool + ',' + days[day] + ',' + event[0] + ',' + event[1]);

            });

        });

    }})(pool));

}

`输出如下：`

$ node thprd.js

Conestoga,Monday,4:15p-5:15p,Open Swim - M/L

Conestoga,Monday,7:45p-9:00p,Open Swim - M/L

Conestoga,Tuesday,7:30p-9:00p,Open Swim - M/L

Conestoga,Wednesday,4:15p-5:15p,Open Swim - M/L

Conestoga,Wednesday,7:45p-9:00p,Open Swim - M/L

Conestoga,Thursday,7:30p-9:00p,Open Swim - M/L

Conestoga,Friday,6:30p-8:30p,Open Swim - M/L

Conestoga,Saturday,1:00p-4:15p,Open Swim - M/L

Conestoga,Sunday,2:00p-4:15p,Open Swim - M/L

Aloha,Monday,1:05p-2:20p,Open Swim

Aloha,Monday,7:50p-8:25p,Open Swim

Aloha,Tuesday,1:05p-2:20p,Open Swim

Aloha,Tuesday,8:45p-9:30p,Open Swim

Aloha,Wednesday,1:05p-2:20p,Open Swim

Aloha,Wednesday,7:50p-8:25p,Open Swim

Aloha,Thursday,1:05p-2:20p,Open Swim

Aloha,Thursday,8:45p-9:30p,Open Swim

Aloha,Friday,1:05p-2:20p,Open Swim

Aloha,Friday,7:50p-8:25p,Open Swim

Aloha,Saturday,2:00p-3:30p,Open Swim

Aloha,Saturday,4:30p-6:00p,Open Swim

Aloha,Sunday,2:00p-3:30p,Open Swim

Aloha,Sunday,4:30p-6:00p,Open Swim

Harman,Monday,4:25p-5:30p,Open Swim*

Harman,Monday,7:30p-8:55p,Open Swim

Harman,Tuesday,4:25p-5:10p,Open Swim*

Harman,Wednesday,4:25p-5:30p,Open Swim*

Harman,Wednesday,7:30p-8:55p,Open Swim

Harman,Thursday,4:25p-5:10p,Open Swim*

Harman,Friday,2:00p-4:55p,Open Swim*

Harman,Saturday,1:30p-2:25p,Open Swim

Harman,Sunday,2:00p-2:55p,Open Swim

Beaverton,Tuesday,10:45a-12:55p,Open Swim (No Diving Well)

Beaverton,Tuesday,8:35p-9:30p,Open Swim No Diving Well

Beaverton,Thursday,10:45a-12:55p,Open Swim (No Diving Well)

Beaverton,Thursday,8:35p-9:30p,Open Swim No Diving Well

Beaverton,Saturday,2:30p-4:00p,Open Swim

Beaverton,Sunday,4:15p-6:00p,Open Swim

Sunset,Tuesday,1:00p-2:30p,Open Swim/One Lap Lane

Sunset,Thursday,1:00p-2:30p,Open Swim/One Lap Lane

Sunset,Sunday,1:30p-3:00p,Open Swim/One Lap Lane

Tualatin Hills,Monday,7:35p-9:00p,Open Swim-Diving area opens at 8pm

Tualatin Hills,Wednesday,7:35p-9:00p,Open Swim-Diving area opens at 8pm

Tualatin Hills,Sunday,1:30p-3:30p,Open Swim

Tualatin Hills,Sunday,4:00p-6:00p,Open Swim

要注意的几个问题： 异步js的作用域问题，还有对网站结构的分析，我会在其他博客中提到。

其实我只翻译了很少的一部分，有兴趣的可以去看一下原文，每一步都说的很仔细。