先来段求分小视频：

https://www.iesdouyin.com/share/video/6550631947750608142/?region=CN&mid=6550632036246555405&titleType=title&timestamp=1525407578&utm_campaign=client_share&app=aweme&utm_medium=ios&iid=30176260384&utm_source=qq&tt_from=mobile_qq&utm_source=mobile_qq&utm_medium=aweme_ios&utm_campaign=client_share&uid=92735989673&did=30176260384

本文的教学视频地址：

https://v.qq.com/x/page/b0643tut4ze.html

前言
 
本喵最近工作中需要使用node，并也想晋升为全栈工程师，所以开始了node学习之旅，在学习过程中，
我会总结一些实用的例子，做成博文和视频教程，以实例形式来理解体会node的用法，所以跟小猫一起由浅及深的学node吧！
近期都会是些基础文章，主要用来了解node的各种功能，非常适合对node有所了解但没有开发node基础的前端工程师，
等基础掌握后，后续会进行进阶的探索和总结哟
 
 
本文将以抓取百度搜索结果中关键词的相关搜索为例子，教会大家以nodejs制作最简单的爬虫：
 
 
将使用的node模块及属性介绍：
 
request：
 
     用于发送页面请求，抓取页面代码
     GET请求
     

cheerio：
        
   cheerio 是一个 jQuery Core 的子集，其实现了 jQuery Core 中浏览器无关的 DOM 操作 API：
   本例子中将使用load方法，以下是一个简单的示例：
     
 
express：
 
     基于Node.js 平台,快速、开放、极简的 web 开发框架，这里主要用来做简单的路由功能，就不做详细介绍了，主要是用了get，具体可以参考官网。
 
 
具体实现：
 
1.首先，我们要使用express搭建简单的node服务
 

  1.  const request = require('request');
  2.  const app = express();
  3.  
  4.  app.get('/:key',function(req,res){
  5.      console.log(req.params.key)
  6.  
  7.  })
  8.  
  9.  app.listen(3000,()=>{
  10.      console.log("service start on port 3000");
  11.  })
 
使用命令行运行node demo.js,并在浏览器中访问 localhost:3000/key 运行结果为
 
 
 
2. 使用request实现页面抓取功能
 
  1.  const express = require('express');
  2.  const request = require('request');
  3.  const app = express();
  4.  
  5.  app.get('/:key',function(req,res){
  6.      console.log(req.params.key)
  7.      let spider = new Spider();
  8.      spider.fetch("http://www.baidu.com/s?wd="+req.params.key,(err,body)=>{
  9.          if(!err){
  10.              res.send(body.toString());
  11.          }
  12.      })
  13.  })
  14.  
  15.  app.listen(3000,()=>{
  16.      console.log("service start on port 3000");
  17.  })
  18.  
  19.  class Spider{
  20.      fetch(url,callback){
  21.          request({url: url, encoding : null}, (error, response, body)=>{
  22.              if (!error && response.statusCode === 200){
  23.                  callback(null ,body);
  24.              }else{
  25.                  callback(error ,'<body></body>');
  26.              }
  27.          });
  28.      }
  29.  }
使用命令行运行node demo.js,并在浏览器中访问 localhost:3000/key 运行结果为
 

 
3.使用cheerio将页面代码解析为jquery格式，并用jQuery语法找到抓取的内容位置，这样这个爬虫就实现了！

  1.  const express = require('express');
  1.  const request = require('request');
  2.  const app = express();
  3.  const cheerio = require('cheerio');
  4.  
  5.  app.get('/:key',function(req,res){
  6.      let spider = new Spider();
  7.  
  8.      spider.fetch("http://www.baidu.com/s?wd="+req.params.key,(err,$)=>{
  9.          spider.fetchCallback(err,$,res)
  10.      })
  11.      console.log("http://www.baidu.com/s?wd="+req.params.key)
  12.  })
  13.  
  14.  app.listen(3000,()=>{
  15.      console.log("service start on port 3000");
  16.  })
  17.  
  18.  class Spider{
  19.      fetch(url,callback){
  20.          request({url: url, encoding : null}, (error, response, body)=>{
  21.              if (!error && response.statusCode === 200){
  22.                  callback(null ,cheerio.load('<body>'+body+'</body>'));
  23.              }else{
  24.                  callback(error ,cheerio.load('<body></body>'));
  25.              }
  26.          });
  27.      }
  28.      fetchCallback(err,$,res){
  29.          if(!err){
  30.              let keyList = [];
  31.              let table = $('body').find("#rs table").html();
  32.              res.send(table);
  33.          }
  34.  
  35.      }
  36.  }
 
使用命令行运行node demo.js,并在浏览器中访问 localhost:3000/index 运行结果为
tips：
有些网站不是utf-8编码模式，这时可以使用iconv-lite来解除gb2312的乱码问题
当然各个网站都有反爬虫功能，可以通过 研究怎么模拟一个正常用户的请来规避部分问题（百度的中文搜索也会被屏蔽）
本文只是个入门，后序有机会将和大家详细讨论进阶版
 
谢谢大家的关注
 
 

每天几分钟跟小猫学前端之node系列：用node实现最简单的爬虫的更多相关文章

  1. 只需几分钟跟小猫学前端（内含视频教程）：nodejs基础之用express、ejs、mongdb建设简单的网站

    开门见山视频教程 https://v.qq.com/x/page/d0645s79xrq.html 前 言: 这是小猫的第二篇node教程,第一篇教程是一个简单的试水,小猫的node教程面向对象为没有 ...

  2. 原生JS实现轮播+学前端的感受（防止走火入魔）

    插件!插件!天天听到有人求这个插件,那个插件的,当然,用第三方插件可以大幅提高开发效率,但作为新手,我还是喜欢自己来实现,主要是我有时间! 今天我来给大家分享下用原生JS实现图片轮播的写法 前辈们可以 ...

  3. 重学前端 --- Promise里的代码为什么比setTimeout先执行？

    首先通过一段代码进入讨论的主题 var r = new Promise(function(resolve, reject){ console.log("a"); resolve() ...

  4. ife 零基础学院 day 1 - 我为什么想学前端

    与前端结缘   我是后端研发,毕业四年,用了四年C#,一开始写ASP.NET,有时会在asp页面写简单的js和html,做点css样式调整.当时的感触是前端调试太费劲了,因为没有js.html.css ...

  5. 结合jquery的前后端加密解密 适用于WebApi的SQL注入过滤器 Web.config中customErrors异常信息配置 ife2018 零基础学院 day 4 ife2018 零基础学院 day 3 ife 零基础学院 day 2 ife 零基础学院 day 1 - 我为什么想学前端

    在一个正常的项目中,登录注册的密码是密文传输到后台服务端的,也就是说,首先前端js对密码做处理,随后再传递到服务端,服务端解密再加密传出到数据库里面.Dotnet已经提供了RSA算法的加解密类库,我们 ...

  6. 重学前端--js是面向对象还是基于对象？

    重学前端-面向对象 跟着winter老师一起,重新认识前端的知识框架 js面向对象或基于对象编程 以前感觉这两个在本质上没有什么区别,面向对象和基于对象都是对一个抽象的对象拥有一系列的行为和状态,本质 ...

  7. 15分钟带你了解前端工程师必知的javascript设计模式(附详细思维导图和源码)

    15分钟带你了解前端工程师必知的javascript设计模式(附详细思维导图和源码) 前言 设计模式是一个程序员进阶高级的必备技巧,也是评判一个工程师工作经验和能力的试金石.设计模式是程序员多年工作经 ...

  8. css与javascript重难点，学前端，基础不好一切白费！

    JavaScript是一种属于网络的脚本语言,已经被广泛用于Web应用开发,常用来为网页添加各式各样的动态功能,为用户提供更流畅美观的浏览效果.通常JavaScript脚本是通过嵌入在HTML中来实现 ...

  9. 学前端的第一门语言HTML

    学前端最终要做的就是制作各种各样的网页,html就相当于网页的骨架,所以我们学习前端的第一步就是先学html,接下来学习什么是html. 什么是HTML? HTML指的是超文本标记语言(Hyper T ...

随机推荐

  1. <<精通iOS开发>>第14章例子代码小缺陷的修复

    大熊猫猪·侯佩原创或翻译作品.欢迎转载,转载请注明出处. 如果觉得写的不好请多提意见,如果觉得不错请多多支持点赞.谢谢! hopy ;) 首先推荐大家看这本书,整本书逻辑非常清晰,代码如何从无到有,到 ...

  2. 【一天一道LeetCode】#345. Reverse Vowels of a String

    一天一道LeetCode 本系列文章已全部上传至我的github,地址:ZeeCoder's Github 欢迎大家关注我的新浪微博,我的新浪微博 欢迎转载,转载请注明出处 (一)题目 Write a ...

  3. Android官方命令深入分析之Device Monitor

    Android Device Monitor是一个提供了图形化界面的可以对Android应用进行调试和分析的独立的工具.Monitor工具不需要IDE环境,比如Android Studio.包括以下工 ...

  4. 用SpriteBuilder简化"耕牛遍地走"的动画效果(三)

    接下来的代码和原文差不多,建立一个数组用来存放动画帧,然后用数组来初始化一个CCAnimation动画对象.接着将牛放在屏幕中心,然后运行动画: NSMutableArray *walkAnimFra ...

  5. Caffe框架,训练model并测试数据

    1. 训练model #!/usr/bin/env sh ./build/tools/caffe train --solver=examples/focal_length/focal_solver.p ...

  6. 关于React Native 火热的话题，从入门到原理

    本文授权转载,作者:bestswifter(简书) React Native 是最近非常火的一个话题,介绍如何利用 React Native 进行开发的文章和书籍多如牛毛,但面向入门水平并介绍它工作原 ...

  7. Chapter 2 User Authentication, Authorization, and Security（11）：在已还原的数据库中修正登录映射错误

    原文出处:http://blog.csdn.net/dba_huangzj/article/details/39496517,专题目录:http://blog.csdn.net/dba_huangzj ...

  8. 【leetcode79】Single Number III

    题目描述: 给定一个数组,里面只有两个数组,只是出现一次,其余的数字都是出现两次,找出这个两个数字,数组形式输出 原文描述: Given an array of numbers nums, in wh ...

  9. Python学习笔记 - 数据类型和变量

    Python中有整数和浮点数,表示方法和C语言一样 浮点数也很像,不过Python可以用单引号把字符串括起来 字符串是以单引号'或双引号"括起来的任意文本,比如'abc',"xyz ...

  10. 《java入门第一季》之Calendar类小案例获取任意二月天数

    import java.util.Calendar; import java.util.Scanner; /* * 获取任意一年的二月有多少天 * * 分析: * A:键盘录入任意的年份 * B:设置 ...