使用Crawler框架搭建自己的爬虫框架MyCrawler

自己写一个爬虫框架的目的：

• 完美架构
  • 在实际的数据采集编码过程中，发现代码比较乱，抓取数据，存储数据的代码混杂在一起，为了构建比较完美的数据采集框架
• 敏捷开发
  • 将数据采集进行标准流程化，每个标准流程都封装成组件，在实际开发过程中直接调用组件即可，只需编写核心的逻辑
• 代码生成
  • 可直接生成大部分的代码，开发者只需补充核心逻辑

爬虫框架与Web框架的对比：

	爬虫框架	Web框架
脚本类型	不区分客户端和服务端； 控制台程序，是独立的进程	区分服务端和客户端，且是服务端程序； 运行的容器是Web服务器
入口脚本	是爬虫脚本在运行的入口；例如：main.js	使用唯一的入口脚本，是服务区接收Web请求的入口；例如index.php
处理	已进程为核心	采用路由分发，控制器为中心的模式
数据存储	主要为数据插入存储	包括数据的增删改查
页面	从页面中采集数据	编写页面并使用数据渲染页面
中间件	过滤爬虫存储数据的职责链，通常指数据的除重去噪	过滤HTTP请求的职责链

爬虫框架MyCrawler的特性：

• 使用面向对象方法封装数据采集类
• 使用面向对象方法封装数据存储类
• 代码生成器
• 自动数据去重

UML中类关系详解

• 虚线箭头指向依赖
• 实线箭头指向关联
• 虚线三角指向接口
• 实线三角指向父类
• 空心菱形能分离而独立存在，是聚合
• 实心菱形精密关联不可分，是组合

MyCrawler爬虫框架类图

新建一个空项目，命名为MyCrawler

初始化package.json文件

npm init --yes

例如：

F:\project\MyCrawler>npm init --yes
Wrote to F:\project\MyCrawler\package.json:

{
  "name": "MyCrawler",
  "version": "1.0.0",
  "description": "",
  "main": "index.js",
  "scripts": {
    "test": "echo \"Error: no test specified\" && exit 1"
  },
  "keywords": [],
  "author": "",
  "license": "ISC"
}

下载安装Crawler框架

npm install crawler

例如：

F:\project\MyCrawler>npm install crawler
npm notice created a lockfile as package-lock.json. You should commit this file.
npm WARN MyCrawler@ No description
npm WARN MyCrawler@ No repository field.

+ crawler@
added  packages from  contributors and audited  packages .699s
found  vulnerabilities ( low,  moderate)
  run `npm audit fix` to fix them, or `npm audit` for details

注意：如果安装失败，则切换使用另一个网络重试，因为有可能是网络不好，或者网络无法达到目的主机