NodeJS简单爬虫

NodeJS简单爬虫

• 最近一直在追火星的一本书，然后每次都要去网站看，感觉很麻烦，于是，想起用爬虫爬取章节，务实派，说干就干！

爬取思路

• 1、该网站的页面呈现出一定的规律
• 2、使用NodeJS的request模块发起请求
• 3、对获取到的数据进行处理
• 4、使用NodeJS的fs模块将数据写入文件

源码说明

//声明需要的模块
var request = require('request');
var fs=require("fs");
//小说章节的标题
var title="";
//小说章节的内容
var article="";
//对应的网页序号
var i=1;
//写入流
var ws;

var get=()=>{
	//发起请求
	request('http://www.nitianxieshen.com/'+i+'.html', function (error, response, body) {
		try{
			if (!error && response.statusCode == 200) {
				//截取标题与段落
			    title = body.match(/<div class="post_title">([\s\S]*)<\/h1>/i)[0].split("</div>")[0];
			    article = body.match(/<div class="post_entry">([\s\S]*)<\/div>/i)[0].split("</div>")[0];
			    //去除多余的符号
			    title=title.replace("h1", "").replace("h1", "").replace(/[</a-z_"=>\r\n ]/g, "");
			    article=article.replace(/br/g, "\r\n").replace(/[</a-z1=_".:&;>]/g, "");

			    ws=fs.createWriteStream(title+".txt");
				ws.write(title+"\r\n\r\n","utf8");
				ws.write(article,"utf8");
				ws.end();
				console.log(title+".txt"+" 正在写入...");
				ws.on("finish", ()=>console.log("写入完成！"));
				ws.on("error", ()=>console.log("写入错误！"));
			}
		}catch(err){
			//部分章节的序号不连续，不要停止，等待自动爬取完就好，打印出该log后自动无视掉
			//好吧，其实后面有一段挺长的不连续的...有兴趣的可以再加个判断条件
			console.log("本次爬取失败");
			//目前更新的最新章节序号未到2900，确保能爬取完
			if(i>2900) clearInterval(timer);
		}
	})
}
var timer=setInterval(function(){
	get();
	i++;
}, 2000);//爬取的间隔时间不建议太短，1~2秒比较保险

效果

声明

• 本文章仅供学习，爬取的资源请在爬取后的24小时内删除，勿将爬取到的东西商用，喜欢火星的可以支持火星哈。