Node.js 实现简单小说爬虫
最近因为剧荒,老大追了爱奇艺的一部网剧,由丁墨的同名小说《美人为馅》改编,目前已经放出两季,虽然整部剧槽点满满,但是老大看得不亦乐乎,并且在看完第二季之后跟我要小说资源,直接要奔原著去看结局……
随手搜了下,都是在线资源,下载的话需要登录,注册登录好麻烦,写个爬虫玩玩也好,于是动手用 node 写了一个,这里做下笔记
工作流程
- 获取 URLs 列表(请求资源
request
模块) - 根据 URLs 列表获取相关页面源码(可能遇到页面编码问题,
iconv-lite
模块) - 源码解析,获取小说信息(
cheerio
模块) - 保存小说信息到 Markdown 文件,并且加适当修饰以及章节信息(写文件
fs
、同步请求资源sync-request
模块) - Markdown 转 PDF (使用 Pandoc 或者 Chrome 的打印功能)
获取 URLs
根据小说的导航页,获取小说所有章节的 URL,并且以 JSON 数组的方式存储。
- 首选通过
http.get()
方法获取页面源码 - 获取到源码,打印发现中文乱码,查看发现
charset = 'gbk'
,需要进行转码 - 使用
iconv-lite
模块进行转码,中文显示正常后开始解析源码,获取需要的 URL,为了更方便地解析,需要引进cheerio
模块,cheerio
可以理解为运行在后台的 jQuery,用法与 jQuery 也十分相似,熟悉 jQuery 的同学可以很快的上手 - 将源码加载进
cheerio
,分析了源码后得知所有章节信息都存于被div
包裹的a
标签中,通过cheerio
取出符合条件的a
标签组,进行遍历,获取章节的 title 和 URL,保存为对象,存进数组,(因为链接中存储的 URL 不完整,所以存储时需要补齐) - 将对象数组序列化,写进
list.json
文件
var http = require("http")
var fs = require("fs")
var cheerio = require("cheerio")
var iconv = require("iconv-lite")
var url = 'http://www.17fa.com/files/article/html/90/90747/index.html'
http.get(url, function(res) { //资源请求
var chunks = []
res.on('data', function(chunk) {
chunks.push(chunk)
})
res.on('end', function() {
var html = iconv.decode(Buffer.concat(chunks), 'gb2312') //转码操作
var $ = cheerio.load(html, {
decodeEntities: false
})
var content = $("tbody")
var links = []
$('div').children('a').each(function(i, elem) {
var link = new Object()
link.title = $(this).text()
link.link = 'http://www.17fa.com/files/article/html/90/90747/' + $(this).attr('href') //补齐 URL 信息
if (i > 5) {
links.push(link)
}
})
fs.writeFile("list.json", JSON.stringify(links), function(err) {
if (!err) {
console.log("写文件成功")
}
})
}).on('error', function() {
console.log("网页访问出错")
})
})
获取的列表示例
[{
"title": "3 法医司白",
"link": "http://www.17fa.com/files/article/html/90/90747/16548771.html"
}, {
"title": "4 第1个梦 ",
"link": "http://www.17fa.com/files/article/html/90/90747/16548772.html"
}, {
"title": "5 刑警韩沉 ",
"link": "http://www.17fa.com/files/article/html/90/90747/16548773.html"
}, {
"title": "6 最初之战",
"link": "http://www.17fa.com/files/article/html/90/90747/16548774.html "
}]
获取数据
有了 URLs 列表,接下来的工作就很机械了,遍历 URLs 列表请求资源,获取源码,解析源码,获取小说,写文件,但是,因为最终将所有的章节保存入一个文件,要保证章节的顺序,因此写文件需要 同步操作,实际上,我在编码的时候所有的操作都改成了同步方式
获取源码
通过解析读取的 list.json
文件,获取到 URLs 列表,遍历列表获取资源,因为需要确保章节的顺序,所以这里引进 sync-request
模块进行同步 request 请求资源,请求资源后照例转码
var http = require("http")
var fs = require("fs")
var cheerio = require("cheerio")
var iconv = require("iconv-lite")
var request = require('sync-request')
var urlList = JSON.parse(fs.readFileSync('list.json', 'utf8'))
function getContent(chapter) {
var res = request('GET',chapter.link)
var html = iconv.decode(res.body, 'gb2312') //获取源码
}
for (let i = 0; i < urlList.length; i++) {
getContent(urlList[i])
}
解析源码,获取小说
还是通过 cheerio
模块获取小说内容,避免影响观感,写操作之前去除内容中的的 html 标签
function getContent(chapter) {
var res = request('GET',chapter.link)
var html = iconv.decode(res.body, 'gb2312')
var $ = cheerio.load(html, {
decodeEntities: false
})
var content = ($("div#r1c").text()).replace(/\ /g, '')
}
保存小说
写操作也需要同步操作,因此使用了同步写函数 fs.writeFileSync()
和 同步添加函数 fs.appendFileSync()
,第一次写使用写函数,之后的内容都是进行 append 操作,为了改善阅读体验,每个章节前添加标题
**也可以在内容前添加 拍
var http = require("http")
var fs = require("fs")
var cheerio = require("cheerio")
var iconv = require("iconv-lite")
var path = require('path')
var urlList = JSON.parse(fs.readFileSync('list.json', 'utf8'))
function getContent(chapter) {
console.log(chapter.link)
http.get(chapter.link, function(res) {
var chunks = []
res.on('data', function(chunk) {
chunks.push(chunk)
})
res.on('end', function() {
var html = iconv.decode(Buffer.concat(chunks), 'gb2312')
var $ = cheerio.load(html, {
decodeEntities: false
})
var content = ($("div#r1c").text()).replace(/\ /g, '')
if (fs.existsSync('美人为馅.md')) {
fs.appendFileSync('美人为馅.md', '### ' + chapter.title)
fs.appendFileSync('美人为馅.md', content)
} else {
fs.writeFileSync('美人为馅.md', '### ' + chapter.title)
fs.appendFileSync('美人为馅.md', content)
}
})
}).on('error', function() {
console.log("爬取" + chapter.link + "链接出错!")
})
}
for (let i = 0; i < urlList.length; i++) {
console.log(urlList[i])
getContent(urlList[i])
}
Markdown 转 PDF
我将小说保存在 Markdown 文件中,为了提升阅读体验,可以将 Markdown 文件转换成 PDF 文件,目前我较为喜欢的两种方式,通过 Chrome 的打印功能 以及 pandoc 转换
Chrome 打印
SublimeText 有个插件 markdown preview
,可通过 Alt + m
快捷键在 Chrome 中预览 Markdown,在 Chrome 页面中右键,选择打印,调整好参数后,选择另存为 PDF,简单,粗暴,深得我心
打印效果:
pandoc 转换
pandoc 是十分强大的文件格式转换工具,可以将 Markdown 文件转换成多种格式,今晚在 windows10 下折腾了半天,始终检索不到 pdflatex,关于 pandoc,后面会专门写一篇总结。
PDF 已经发给老大了,现在正在看
关于python、node、爬虫
在之前很长的一段时间里,很想用 Python,很想写爬虫,更想用 Python 写爬虫,甚至成为了心里的一块执念,随着接触的知识更全面,执念也逐渐淡去,少了很多“想”,遇事想着多去动手,实践出真知。
talk is cheap, show me your code
转自个人站点:http://lijundong.com/novel-crawler-by-Nodejs/
Node.js 实现简单小说爬虫的更多相关文章
- Centos7 中 Node.js安装简单方法
最近,我一直对学习Node.js比较感兴趣.下面是小编给大家带来的Centos7 中 Node.js安装简单方法,在此记录一下,方便自己也方便大家,一起看看吧! 安装node.js 登陆Centos ...
- 创建node.js一个简单的应用实例
在node.exe所在目录下,创建一个叫 server.js 的文件,并写入以下代码: //使用 require 指令来载入 http 模块 var http = require("http ...
- 基于Node.js实现一个小小的爬虫
以前一直听说有爬虫这种东西,稍微看了看资料,貌似不是太复杂. 正好了解过node.js,那就基于它来个简单的爬虫. 1.本次爬虫目标: 从拉钩招聘网站中找出“前端开发”这一类岗位的信息,并作相应页面分 ...
- 使用Node.js作为后台进行爬虫
看了一遍又一遍Node.js但是没过多久就又忘了,总想找点东西来练练手,就发现B站首页搜索框旁边的GIF图特别有意思,想着是不是可以写一个小Node.js项目把这些图全部扒下来,于是带着复习.预习与探 ...
- [js高手之路]Node.js实现简易的爬虫-抓取博客文章列表信息
抓取目标:就是我自己的博客:http://www.cnblogs.com/ghostwu/ 需要实现的功能: 抓取文章标题,超链接,文章摘要,发布时间 需要用到的库: node.js自带的http库 ...
- 每天几分钟跟小猫学前端之node系列:用node实现最简单的爬虫
先来段求分小视频: https://www.iesdouyin.com/share/video/6550631947750608142/?region=CN&mid=6550632036246 ...
- [js高手之路]Node.js实现简易的爬虫-抓取博客所有文章列表信息
抓取目标:就是我自己的博客:http://www.cnblogs.com/ghostwu/ 需要实现的功能: 抓取博客所有的文章标题,超链接,文章摘要,发布时间 需要用到的库: node.js自带的h ...
- 用node.js实现简单的web服务器
node.js实现web服务器还是比较简单的,我了解node.js是从<node入门>开始的,如果你不了解node.js也可以看看! 我根据那书一步一步的练习完了,也的确大概了解了node ...
- [Node.js]expressjs简单测试连接mysql
下载好node.js和通过npm安装好express.js后,先写package.json { "name": "application-name", &quo ...
随机推荐
- 【转】三十分钟学会STL算法
转载自: http://net.pku.edu.cn/~yhf/UsingSTL.htm 这是本小人书.原名是<using stl>,不知道是谁写的.不过我倒觉得很有趣,所以化了两个晚上把 ...
- php在.php文件中设置php.ini,仅对当前文件有效
ini_set (PHP 4, PHP 5, PHP 7) ini_set — 为一个配置选项设置值 折叠返回值 成功时返回旧的值,失败时返回 FALSE. 折叠范例 <?php echo in ...
- zepto源码研究 - ajax.js($.ajax具体流程分析)
简要:$.ajax是zepto发送请求的核心方法,$.get,$.post,$.jsonp都是封装了$.ajax方法.$.ajax将jsonp与异步请求的代码格式统一起来,内部主要是先处理url,数据 ...
- printf格式输出总结
#include<stdio.h> #include<string.h> int main() { ]; ; floa ...
- html5 js跨域
介绍 当我们使用XMLHttpRequest发送请求时,浏览器发现该请求不符合同源策略,会给该请求加一个请求头:Origin,后台进行一系列处理,如果确定接受请求则在返回结果中加入一个响应头:Acce ...
- 转载:JSONObject.fromObject(map)(JSON与JAVA数据的转换)
转载网址:http://blog.sina.com.cn/s/blog_821025b70100wh6v.html JSON与JAVA数据的转换(JSON 即 JavaScript Object Na ...
- IE的有条件注释详解
IE的有条件注释是一种专有的(因此是非标准的).对常规(X)HTML注释的Miscrosoft扩展.顾名思义,有条件注释使你能够根据条件(比如浏览器版本)显示代码块.尽管是非标准的,但是有条件注释对于 ...
- 一个简单的javascript获取URL参数的代码
function request(paras){ var url = location.href; var paraString = url.substring(url.indexOf("? ...
- Number对象
<script type="text/javascript"> /* Number对象. 创建Number对象的方式: 方式1: var 变量= new Number( ...
- 【原创】CLEVO P157SM外接鼠标键盘失灵解决:更换硅脂(附带最新跑分数据)
作者批注:本文允许转载,并且希望给搜索未来人类.蓝天.CLEVO.更换硅脂或者任何有关关键字的朋友提供帮助. 原文地址:http://www.cnblogs.com/c4isr/p/3514140.h ...