0. 通用爬虫框架包括:

(1) 将爬取url加入队列,并获取指定url的前端资源(crawler爬虫框架主要使用Crawler类进行抓取网页)

(2)解析前端资源,获取指定所需字段的值,即获取有价值的信息(crawler框架主要使用Cheerio解析DOM)

(3)将有价值的字段内容存储,持久化到数据库,或直接使用IO写入文件(使用Node.js的IO操作或数据库操作)

特性:

(1)一般获取到前端资源后通过管道传输数据并异步处理数据;或者使用异步回调函数进行处理数据

1. node-crawler的下载与安装

(1)使用Web Storm新建一个空项目

(2)在空项目下执行npm init --yes创建packages.json文件管理已安装包

(3)安装爬虫crawler包

npm install crawler

a. 在nodejs根目录下运行, 也能在项目根目录下运行, 在哪个目录下运行则安装在哪个目录的node_modules目录下

b. 如果在应用程序的根目录下运行,则会安装在项目根目录下生成文件夹node_modules, 里面是安装包

2. 第一个简单的crawler爬虫应用程序

server.js

var Crawler = require("crawler");

var c = new Crawler({
    maxConnections : 10,
    // 这个回调每个爬取到的页面都会触发
    callback : function (error, res, done) {
        if(error){
            console.log(error);
        }else{
            var $ = res.$;
            // $默认使用Cheerio
            // 这是为服务端设计的轻量级jQuery核心实现
            console.log($("title").text());
        }
        done();
    }
});

// 爬取一个URL,使用默认的callback
c.queue('http://www.taobao.com');

// 爬取URL列表
c.queue(['http://www.jd.com/','http://www.baidu.com']);

// 爬取页面,自定义callback和参数
c.queue([{
    uri: 'http://www.youku.com/',
    jQuery: false,

    // 覆盖全局的callback
    callback: function (error, res, done) {
        if(error){
            console.log(error);
        }else{
            console.log('Grabbed', res.body.length, 'bytes');
        }
        done();
    }
}]);

// 在队列中加入一些HTML代码,无需爬取(mostly for tests)
c.queue([{
    html: '<p>This is a <strong>test</strong></p>'
}]);

在控制台输入node server.js运行; 或者使用IDE工具中的Debugger工具

爬虫Crawler经典模型伪代码:

c = new Crawler();

handler = [{
    'uri': url,
    'jquery':true,
    'callback': function(){
     data = crawler_get_data();
     res = db_store_data(data);      # 也可以在这里获取新的url,并将新的url添加到爬虫中
    }
}];

c.queue(handler)

3. 使用Cheerio即jQuery的核心实现来操作DOM元素,所有操作DOM的API和jQuery是一模一样的

优点:

a. 熟悉的语法,和jQuery操作DOM是一模一样的

b. 解析速度快,至少是JSDOM的8倍

c. 极其灵活,使用htmlparser2,几乎可以解析所有的html和xml

(1)解析html

$ = cheerio.load(html, {})

(2)选择器

(3)属性操作

attr()

removeAttr()

addClass()

removeClass()

hasClass()

(4)遍历

find()

parent()

next()

prev()

siblings()

children()

each()

map()

filter()

first()

last()

eq()

(5)操作DOM

append()

prepend()

before()

after()

remove()

replaceWith()

empty()

html()

text()

(6)解析和渲染

html()

toArray()

clone()

如何将HTML页面提取出部分文本内容
  • 去除网页中的HTML标签
  • 将网页中的HTML标签替换为空字符串
  • 使用cherrio模块实现内容提取

使用Node.js搭建数据爬虫crawler的更多相关文章

  1. 基于Node.js的强大爬虫 能直接发布抓取的文章哦

    基于Node.js的强大爬虫 能直接发布抓取的文章哦 基于Node.js的强大爬虫能直接发布抓取的文章哦!本爬虫源码基于WTFPL协议,感兴趣的小伙伴们可以参考一下 一.环境配置 1)搞一台服务器,什 ...

  2. Node.js 网页瘸腿爬虫初体验

    延续上一篇,想把自己博客的文档标题利用Node.js的request全提取出来,于是有了下面的初哥爬虫,水平有限,这只爬虫目前还有点瘸腿,请看官你指正了. // 内置http模块,提供了http服务器 ...

  3. 使用Node.js搭建静态资源服务器

    对于Node.js新手,搭建一个静态资源服务器是个不错的锻炼,从最简单的返回文件或错误开始,渐进增强,还可以逐步加深对http的理解.那就开始吧,让我们的双手沾满网络请求! Note: 当然在项目中如 ...

  4. 使用 Node.js 搭建微服务网关

    目录 Node.js 是什么 安装 node.js Node.js 入门 Node.js 应用场景 npm 镜像 使用 Node.js 搭建微服务网关 什么是微服务架构 使用 Node.js 实现反向 ...

  5. node.js主从分布式爬虫

    前言 前文介绍过用Python写爬虫,但是当任务多的时候就比较慢, 这是由于Python自带的http库urllib2发起的http请求是阻塞式的,这意味着如果采用单线程模型,那么整个进程的大部分时间 ...

  6. 使用 Node.js 搭建 Web 服务器

    使用Node.js搭建Web服务器是学习Node.js比较全面的入门教程,因为实现Web服务器需要用到几个比较重要的模块:http模块.文件系统.url解析模块.路径解析模块.以及301重定向技术等, ...

  7. node.js搭建代理服务器请求数据

    1.引入node.js中的模块 var http = require("http"); var url = require("url"); var qs = r ...

  8. node.js 89行爬虫爬取智联招聘信息

    写在前面的话, .......写个P,直接上效果图.附上源码地址  github/lonhon ok,正文开始,先列出用到的和require的东西: node.js,这个是必须的 request,然发 ...

  9. Node.js大众点评爬虫

    大众点评上有很多美食餐馆的信息,正好可以拿来练练手Node.js. 1. API分析 大众点评开放了查询商家信息的API,这里给出了城市与cityid之间的对应关系,链接http://m.api.di ...

随机推荐

  1. 结合JDK源码看设计模式——简单工厂、工厂方法、抽象工厂

    三种工厂模式的详解: 简单工厂模式: 适用场景:工厂类负责创建的对象较少,客户端只关心传入工厂类的参数,对于如何创建对象的逻辑不关心 缺点:如果要新加产品,就需要修改工厂类的判断逻辑,违背软件设计中的 ...

  2. 4 Redis 配置文件介绍

    2016-12-22 14:28:39 该系列文章链接NoSQL 数据库简介Redis的安装及及一些杂项基础知识Redis 的常用五大数据类型(key,string,hash,list,set,zse ...

  3. Node.js面试题之2017

    译者按: 从ECMAScript标准,Node.js语法以及NPM模块角度来看,Node.js的发展让人目不暇接,那么面试题也得与时俱进. 原文: Node.js Interview Question ...

  4. Oracle11g: datetime

    --上一月,上一年 select add_months(sysdate,-1) last_month,add_months(sysdate,-12) last_year from dual; --下一 ...

  5. linux c ---raise 使用范例的代码

    把做工程过程中比较好的代码片段收藏起来,下面代码内容是关于linux c ---raise 使用范例的代码,希望对各位有所用途. #include <sys/types.h> #inclu ...

  6. php怎么做网站?如何用PHP开发一个完整的网站?

    1.PHPer应具备的知识 (1)PHP知识: 熟练掌握基础函数,PHP语句(条件.循环),数组(排序.读取),函数(内部 构造),运算(数学 逻辑),面向对象(继承 接口 封装 多态静态属性)等. ...

  7. Python爬虫之Requests库的基本使用

    import requests response = requests.get('http://www.baidu.com/') print(type(response)) print(respons ...

  8. 如何解决分配到Autoconfiguration IPV4 地址

    配置完服务器静态IP后,在CMD窗口中查看ip地址,发现是Autoconfiguration IPV4. 上网搜索了,是关于虚拟服务器的,但是我没有配置虚拟服务器,有点奇怪. 使用下面的教程,可以解决 ...

  9. LinuxCPU性能监控工具---mpstat

    mpstat是 Multiprocessor Statistics的缩写,是实时系统监控工具.其报告与CPU的一些统计信息,这些信息存放在/proc/stat文件中.在多CPU系统里,其不但能查看所有 ...

  10. hashlib模块

    老师博客:http://www.cnblogs.com/Eva-J/articles/7228075.html#_label12 摘要算法 什么是摘要算法呢?摘要算法又称哈希算法.散列算法.它通过一个 ...