最近因为剧荒,老大追了爱奇艺的一部网剧,由丁墨的同名小说《美人为馅》改编,目前已经放出两季,虽然整部剧槽点满满,但是老大看得不亦乐乎,并且在看完第二季之后跟我要小说资源,直接要奔原著去看结局……

随手搜了下,都是在线资源,下载的话需要登录,注册登录好麻烦,写个爬虫玩玩也好,于是动手用 node 写了一个,这里做下笔记

工作流程

  • 获取 URLs 列表(请求资源 request 模块)
  • 根据 URLs 列表获取相关页面源码(可能遇到页面编码问题,iconv-lite 模块)
  • 源码解析,获取小说信息( cheerio 模块)
  • 保存小说信息到 Markdown 文件,并且加适当修饰以及章节信息(写文件 fs、同步请求资源 sync-request 模块)
  • Markdown 转 PDF (使用 Pandoc 或者 Chrome 的打印功能)

获取 URLs

根据小说的导航页,获取小说所有章节的 URL,并且以 JSON 数组的方式存储。

  • 首选通过 http.get() 方法获取页面源码
  • 获取到源码,打印发现中文乱码,查看发现 charset = 'gbk',需要进行转码
  • 使用 iconv-lite 模块进行转码,中文显示正常后开始解析源码,获取需要的 URL,为了更方便地解析,需要引进 cheerio 模块,cheerio 可以理解为运行在后台的 jQuery,用法与 jQuery 也十分相似,熟悉 jQuery 的同学可以很快的上手
  • 将源码加载进 cheerio,分析了源码后得知所有章节信息都存于被 div 包裹的 a 标签中,通过 cheerio 取出符合条件的 a 标签组,进行遍历,获取章节的 title 和 URL,保存为对象,存进数组,(因为链接中存储的 URL 不完整,所以存储时需要补齐)
  • 将对象数组序列化,写进 list.json 文件
  1. var http = require("http")
  2. var fs = require("fs")
  3. var cheerio = require("cheerio")
  4. var iconv = require("iconv-lite")
  5. var url = 'http://www.17fa.com/files/article/html/90/90747/index.html'
  6. http.get(url, function(res) { //资源请求
  7. var chunks = []
  8. res.on('data', function(chunk) {
  9. chunks.push(chunk)
  10. })
  11. res.on('end', function() {
  12. var html = iconv.decode(Buffer.concat(chunks), 'gb2312') //转码操作
  13. var $ = cheerio.load(html, {
  14. decodeEntities: false
  15. })
  16. var content = $("tbody")
  17. var links = []
  18. $('div').children('a').each(function(i, elem) {
  19. var link = new Object()
  20. link.title = $(this).text()
  21. link.link = 'http://www.17fa.com/files/article/html/90/90747/' + $(this).attr('href') //补齐 URL 信息
  22. if (i > 5) {
  23. links.push(link)
  24. }
  25. })
  26. fs.writeFile("list.json", JSON.stringify(links), function(err) {
  27. if (!err) {
  28. console.log("写文件成功")
  29. }
  30. })
  31. }).on('error', function() {
  32. console.log("网页访问出错")
  33. })
  34. })

获取的列表示例

  1. [{
  2. "title": "3 法医司白",
  3. "link": "http://www.17fa.com/files/article/html/90/90747/16548771.html"
  4. }, {
  5. "title": "4 第1个梦 ",
  6. "link": "http://www.17fa.com/files/article/html/90/90747/16548772.html"
  7. }, {
  8. "title": "5 刑警韩沉 ",
  9. "link": "http://www.17fa.com/files/article/html/90/90747/16548773.html"
  10. }, {
  11. "title": "6 最初之战",
  12. "link": "http://www.17fa.com/files/article/html/90/90747/16548774.html "
  13. }]

获取数据

有了 URLs 列表,接下来的工作就很机械了,遍历 URLs 列表请求资源,获取源码,解析源码,获取小说,写文件,但是,因为最终将所有的章节保存入一个文件,要保证章节的顺序,因此写文件需要 同步操作,实际上,我在编码的时候所有的操作都改成了同步方式

获取源码

通过解析读取的 list.json 文件,获取到 URLs 列表,遍历列表获取资源,因为需要确保章节的顺序,所以这里引进 sync-request 模块进行同步 request 请求资源,请求资源后照例转码

  1. var http = require("http")
  2. var fs = require("fs")
  3. var cheerio = require("cheerio")
  4. var iconv = require("iconv-lite")
  5. var request = require('sync-request')
  6. var urlList = JSON.parse(fs.readFileSync('list.json', 'utf8'))
  7. function getContent(chapter) {
  8. var res = request('GET',chapter.link)
  9. var html = iconv.decode(res.body, 'gb2312') //获取源码
  10. }
  11. for (let i = 0; i < urlList.length; i++) {
  12. getContent(urlList[i])
  13. }

解析源码,获取小说

还是通过 cheerio 模块获取小说内容,避免影响观感,写操作之前去除内容中的的 html 标签

  1. function getContent(chapter) {
  2. var res = request('GET',chapter.link)
  3. var html = iconv.decode(res.body, 'gb2312')
  4. var $ = cheerio.load(html, {
  5. decodeEntities: false
  6. })
  7. var content = ($("div#r1c").text()).replace(/\&nbsp;/g, '')
  8. }

保存小说

写操作也需要同步操作,因此使用了同步写函数 fs.writeFileSync() 和 同步添加函数 fs.appendFileSync(),第一次写使用写函数,之后的内容都是进行 append 操作,为了改善阅读体验,每个章节前添加标题

**也可以在内容前添加 拍

  1. var http = require("http")
  2. var fs = require("fs")
  3. var cheerio = require("cheerio")
  4. var iconv = require("iconv-lite")
  5. var path = require('path')
  6. var urlList = JSON.parse(fs.readFileSync('list.json', 'utf8'))
  7. function getContent(chapter) {
  8. console.log(chapter.link)
  9. http.get(chapter.link, function(res) {
  10. var chunks = []
  11. res.on('data', function(chunk) {
  12. chunks.push(chunk)
  13. })
  14. res.on('end', function() {
  15. var html = iconv.decode(Buffer.concat(chunks), 'gb2312')
  16. var $ = cheerio.load(html, {
  17. decodeEntities: false
  18. })
  19. var content = ($("div#r1c").text()).replace(/\&nbsp;/g, '')
  20. if (fs.existsSync('美人为馅.md')) {
  21. fs.appendFileSync('美人为馅.md', '### ' + chapter.title)
  22. fs.appendFileSync('美人为馅.md', content)
  23. } else {
  24. fs.writeFileSync('美人为馅.md', '### ' + chapter.title)
  25. fs.appendFileSync('美人为馅.md', content)
  26. }
  27. })
  28. }).on('error', function() {
  29. console.log("爬取" + chapter.link + "链接出错!")
  30. })
  31. }
  32. for (let i = 0; i < urlList.length; i++) {
  33. console.log(urlList[i])
  34. getContent(urlList[i])
  35. }

Markdown 转 PDF

我将小说保存在 Markdown 文件中,为了提升阅读体验,可以将 Markdown 文件转换成 PDF 文件,目前我较为喜欢的两种方式,通过 Chrome 的打印功能 以及 pandoc 转换

Chrome 打印

SublimeText 有个插件 markdown preview ,可通过 Alt + m 快捷键在 Chrome 中预览 Markdown,在 Chrome 页面中右键,选择打印,调整好参数后,选择另存为 PDF,简单,粗暴,深得我心

打印效果:

pandoc 转换

pandoc 是十分强大的文件格式转换工具,可以将 Markdown 文件转换成多种格式,今晚在 windows10 下折腾了半天,始终检索不到 pdflatex,关于 pandoc,后面会专门写一篇总结。

PDF 已经发给老大了,现在正在看

关于python、node、爬虫

在之前很长的一段时间里,很想用 Python,很想写爬虫,更想用 Python 写爬虫,甚至成为了心里的一块执念,随着接触的知识更全面,执念也逐渐淡去,少了很多“想”,遇事想着多去动手,实践出真知。


talk is cheap, show me your code

转自个人站点:http://lijundong.com/novel-crawler-by-Nodejs/

Node.js 实现简单小说爬虫的更多相关文章

  1. Centos7 中 Node.js安装简单方法

    最近,我一直对学习Node.js比较感兴趣.下面是小编给大家带来的Centos7 中 Node.js安装简单方法,在此记录一下,方便自己也方便大家,一起看看吧! 安装node.js 登陆Centos ...

  2. 创建node.js一个简单的应用实例

    在node.exe所在目录下,创建一个叫 server.js 的文件,并写入以下代码: //使用 require 指令来载入 http 模块 var http = require("http ...

  3. 基于Node.js实现一个小小的爬虫

    以前一直听说有爬虫这种东西,稍微看了看资料,貌似不是太复杂. 正好了解过node.js,那就基于它来个简单的爬虫. 1.本次爬虫目标: 从拉钩招聘网站中找出“前端开发”这一类岗位的信息,并作相应页面分 ...

  4. 使用Node.js作为后台进行爬虫

    看了一遍又一遍Node.js但是没过多久就又忘了,总想找点东西来练练手,就发现B站首页搜索框旁边的GIF图特别有意思,想着是不是可以写一个小Node.js项目把这些图全部扒下来,于是带着复习.预习与探 ...

  5. [js高手之路]Node.js实现简易的爬虫-抓取博客文章列表信息

    抓取目标:就是我自己的博客:http://www.cnblogs.com/ghostwu/ 需要实现的功能: 抓取文章标题,超链接,文章摘要,发布时间 需要用到的库: node.js自带的http库 ...

  6. 每天几分钟跟小猫学前端之node系列:用node实现最简单的爬虫

    先来段求分小视频: https://www.iesdouyin.com/share/video/6550631947750608142/?region=CN&mid=6550632036246 ...

  7. [js高手之路]Node.js实现简易的爬虫-抓取博客所有文章列表信息

    抓取目标:就是我自己的博客:http://www.cnblogs.com/ghostwu/ 需要实现的功能: 抓取博客所有的文章标题,超链接,文章摘要,发布时间 需要用到的库: node.js自带的h ...

  8. 用node.js实现简单的web服务器

    node.js实现web服务器还是比较简单的,我了解node.js是从<node入门>开始的,如果你不了解node.js也可以看看! 我根据那书一步一步的练习完了,也的确大概了解了node ...

  9. [Node.js]expressjs简单测试连接mysql

    下载好node.js和通过npm安装好express.js后,先写package.json { "name": "application-name", &quo ...

随机推荐

  1. MySQL命令mysqldump参数大全

    参数参数说明--all-databases  , -A导出全部数据库.mysqldump  -uroot -p --all-databases--all-tablespaces  , -Y导出全部表空 ...

  2. MyEclipse汉化后问题

    今天为了教学生如何汉化MyEclipse10.7,所以讲IDE汉化了一下. 个人还是喜欢用英文版,所以就将D:\MyEclipse\MyEclipse 10目录下的配置文件myeclipse.ini里 ...

  3. PHP Date/Time 函数

    Runtime 配置 Date/Time 函数的行为受到 php.ini 中设置的影响: 名称 描述 默认 PHP 版本 date.timezone 规定默认时区(所有的 Date/Time 函数使用 ...

  4. C#中结构的使用

    //声明结构 结构与枚举区别,一个不用声明类型,一个要声明类型 public struct Person { //这里叫字段,做用也是存储内容,变量只可以存一个值,字段可以存多个值 //声明字段前最好 ...

  5. URAL 1008 - Image Encoding(bfs坑爹题)

    坑爹题,两种输入输出互相交换,裸bfs #include <stdio.h> #include <string.h> typedef struct { int x; int y ...

  6. HDU 4611 - Balls Rearrangement(2013MUTC2-1001)(数学,区间压缩)

    以前好像是在UVa上貌似做过类似的,mod的剩余,今天比赛的时候受baofeng指点,完成了此道题 此题题意:求sum(|i%A-i%B|)(0<i<N-1) A.B的循环节不同时,会有重 ...

  7. Secure CRT 如何连接虚拟机里面的CentOS系统——当主机使用无线网的时候 作者原创 欢迎转载

    第一步:设置自己的无线网,并且分享给VM8这个虚拟网卡 第二步:查看VM8网卡的IP地址,如图是192.168.137.1 第三步:设置虚拟机的配置:选择VM8网卡并且是NAT的 第四步:设置虚拟机里 ...

  8. maven管理的项目出现Error configuring application listener of class org.springframework.web.context.ContextL

    eclipse里用maven管理的项目,在运行的时候出现 Error configuring application listener of class org.springframework.web ...

  9. CSS中zoom:1的作用

    兼容IE6.IE7.IE8浏览器,经常会遇到一些问题,可以使用zoom:1来解决,有如下作用:触发IE浏览器的haslayout解决ie下的浮动,margin重叠等一些问题.比如,本站使用DIV做一行 ...

  10. JQuery里属性赋值,取值prop()和attr()方法?

    1.赋值的时候 如果是<input type="checkbox" checked>这样的只有属性名就能生效的属性 推荐prop,即:$('input').prop(' ...