Node.js mm131图片批量下载爬虫1.01 增加断点续传功能
这里的断点续传不是文件下载时的断点续传,而是指在爬行页面时有时会遇到各种网络中断而从中断前的页面及其数据继续爬行的过程,这个过程和断点续传原理上相似故以此命名。我的具体做法是:在下载出现故障或是图片已经全部获得时,将存储目录,当前爬行页面和已经获取的图片地址以json形式存储到数据文件中,而用户选择断点续传模式时提取数据文件中的这三条信息,继而从上次中断之处重新运行。
数据文件示例:
- {"url":"http://m.03122.com/gaoqing/9353/27.html","pictures":["http://img.cdjqjy.com/pic/gqimg/94/b36ab1a61b3c19d84386ed69ffcdad16.jpg","http://img.cdjqjy.com/pic/gqimg/94/fd4b2a40df592105725d7374f101d86c.jpg","http://img.cdjqjy.com/pic/gqimg/94/cd742a03afa54603d39b2a0d67190cfb.jpg","http://img.cdjqjy.com/pic/gqimg/94/69493144d80120ce1631d98b77ab667a.jpg"],"folder":"pictures(2017-11-18 15_5_31)"}
Node.js 代码如下:
- //======================================================
- // mm131图片批量下载爬虫1.01
- // 1.00 具备功能
- // 1.01 增加断点续传
- // 2017年11月15日
- //======================================================
- // 内置http模块
- var http=require("http");
- // 内置文件处理模块,用于创建目录和图片文件
- var fs=require('fs');
- // 用于转码。非Utf8的网页如gb2132会有乱码问题,需要iconv将其转码
- var iconv = require('iconv-lite');
- // cheerio模块,提供了类似jQuery的功能,用于从HTML code中查找图片地址和下一页
- var cheerio = require("cheerio");
- // 请求参数JSON。http和https都有使用
- var options;
- // request请求
- var req;
- // 图片数组,找到的图片地址会放到这里
- var pictures=[];
- // 存放图片的目录
- var folder="";
- //--------------------------------------
- // 爬取网页,找图片地址,再爬
- // pageUrl sample:http://www.mm131.com/xinggan/2852.html
- // pageUrl sample:http://www.mm131.com/xinggan/2853.html
- // pageUrl sample:http://www.mm131.com/xinggan/2976.html
- //--------------------------------------
- function crawl(pageUrl){
- console.log("Current page="+pageUrl);
- // 得到hostname和path
- var currUrl=pageUrl.replace("http://","");
- var pos=currUrl.indexOf("/");
- var hostname=currUrl.slice(0,pos);
- var path=currUrl.slice(pos);
- //console.log("hostname="+hostname);
- //console.log("path="+path);
- // 初始化options
- options={
- hostname:hostname,
- port:80,
- path:path,// 子路径
- method:'GET',
- };
- req=http.request(options,function(resp){
- var html = [];
- resp.on("data", function(data) {
- html.push(data);
- })
- resp.on("end", function() {
- var buffer = Buffer.concat(html);
- var body = iconv.decode(buffer,'gb2312'); // 特地增加的,为了让汉字不乱码
- //console.log(body);
- var $ = cheerio.load(body);
- var picCount=0;
- // 找图片放入数组
- $(".content-pic a img").each(function(index,element){
- var picUrl=$(element).attr("src");
- //console.log(picUrl);
- if(picUrl.indexOf('.jpg')!=-1){
- pictures.push(picUrl);
- picCount++;
- }
- })
- console.log("找到图片"+picCount+"张.");
- var nextPageUrl=null;
- // 找下一页
- $(".content-page a").each(function(index,element){
- var text=$(element).text();
- if(text.indexOf('下一页')!=-1){
- nextPageUrl=$(element).attr("href");
- nextPageUrl="http://www.mm131.com/xinggan/"+nextPageUrl;// 把省略部分加上
- console.log("找到下一页.");
- }
- })
- if(nextPageUrl==null){
- console.log(pageUrl+"已经是最后一页了.\n");
- saveFile(pageUrl,pictures);// 保存
- download(pictures);
- }else{
- //console.log("下一页是"+nextPageUrl);
- crawl(nextPageUrl);
- }
- }).on("error", function() {
- saveFile(pageUrl,pictures);// 保存
- console.log("crawl函数失败,请进入断点续传模式继续进行");
- })
- });
- // 超时处理
- req.setTimeout(7500,function(){
- req.abort();
- });
- // 出错处理
- req.on('error',function(err){
- console.log('请求发生错误'+err);
- saveFile(pageUrl,pictures);// 保存
- console.log("crawl函数失败,请进入断点续传模式继续进行");
- });
- // 请求结束
- req.end();
- }
- //--------------------------------------
- // 下载图片
- //--------------------------------------
- function download(pictures){
- var total=0;
- total=pictures.length;
- console.log("总计有"+total+"张图片将被下载.");
- appendToLogfile(folder,"总计有"+total+"张图片将被下载.\n");
- for(var i=0;i<pictures.length;i++){
- var picUrl=pictures[i];
- downloadPic(picUrl,folder);
- }
- }
- //--------------------------------------
- // 写log文件
- //--------------------------------------
- function appendToLogfile(folder,text){
- fs.appendFile('./'+folder+'/log.txt', text, function (err) {
- if(err){
- console.log("不能书写log文件");
- console.log(err);
- }
- });
- }
- //--------------------------------------
- // 取得当前时间
- //--------------------------------------
- function getNowFormatDate() {
- var date = new Date();
- var seperator1 = "-";
- var seperator2 = "_";
- var month = date.getMonth() + 1;
- var strDate = date.getDate();
- if (month >= 1 && month <= 9) {
- month = "0" + month;
- }
- if (strDate >= 0 && strDate <= 9) {
- strDate = "0" + strDate;
- }
- var currentdate =date.getFullYear() + seperator1 + month + seperator1 + strDate
- + " " + date.getHours() + seperator2 + date.getMinutes()
- + seperator2 + date.getSeconds();
- return currentdate;
- }
- //--------------------------------------
- // 下载单张图片
- // picUrl sample:http://img2.mm131.com:55888/pic/2852/1.jpg
- //--------------------------------------
- function downloadPic(picUrl,folder){
- console.log("图片:"+picUrl+"下载开始");
- // 得到hostname,path和port
- var currUrl=picUrl.replace("http://","");
- var pos=currUrl.indexOf("/");
- var hostname=currUrl.slice(0,pos);
- var path=currUrl.slice(pos);
- // 有端口加端口,没有端口默认80
- var port=80;
- if(hostname.indexOf(":")!=-1){
- var arr=hostname.split(":");
- hostname=arr[0];
- port=arr[1];
- }
- //console.log("hostname="+hostname);
- //console.log("path="+path);
- //console.log("port="+port);
- var picName=currUrl.slice(currUrl.lastIndexOf("/"));
- // 初始化options
- options={
- hostname:hostname,
- port:port,
- path:path,// 子路径
- method:'GET',
- headers:{
- 'Referer':'http://www.mm131.com',
- }
- };
- req=http.request(options,function(resp){
- var imgData = "";
- resp.setEncoding("binary");
- resp.on('data',function(chunk){
- imgData+=chunk;
- });
- resp.on('end',function(){
- // 创建文件
- var fileName="./"+folder+picName;
- fs.writeFile(fileName, imgData, "binary", function(err){
- if(err){
- console.log("[downloadPic]文件 "+fileName+" 下载失败.");
- console.log(err);
- appendToLogfile(folder,"文件 "+picUrl+" 下载失败.\n");
- }else{
- appendToLogfile(folder,"文件 "+picUrl+" 下载成功.\n");
- console.log("文件"+fileName+"下载成功");
- }
- });
- });
- });
- // 超时处理
- req.setTimeout(7500,function(){
- req.abort();
- });
- // 出错处理
- req.on('error',function(err){
- if(err){
- console.log('[downloadPic]文件 '+picUrl+" 下载失败,"+'因为'+err);
- appendToLogfile(folder,"文件"+picUrl+"下载失败.\n");
- }
- });
- // 请求结束
- req.end();
- }
- //--------------------------------------
- // 程序入口
- //--------------------------------------
- function getInput(){
- process.stdin.resume();
- process.stdout.write("\033[33m 新建模式输入第一页URL,断点续传模式输入0,请输入: \033[39m");// 草黄色
- process.stdin.setEncoding('utf8');
- process.stdin.on('data',function(text){
- var input=text.trim();
- process.stdin.end();// 退出输入状态
- if(text.trim()=='0'){
- process.stdout.write("\033[36m 进入断点续传模式. \033[39m"); // 蓝绿色
- // Read File
- fs.readFile('./save.dat','utf8',function(err,data){
- if(err){
- console.log('读取文件save.dat失败,因为'+err);
- }else{
- //console.log(data);
- var obj=JSON.parse(data);
- pictures=obj.pictures;
- console.log('提取图片'+pictures.length+'张');
- folder=obj.folder;
- // 创建目录
- fs.mkdir('./'+folder,function(err){
- if(err){
- console.log("目录"+folder+"已经存在");
- }
- });
- crawl(obj.url);
- }
- });
- // Resume crawl
- }else{
- process.stdout.write("\033[35m 进入新建模式. \033[039m"); //紫色
- folder='pictures('+getNowFormatDate()+")";
- // 创建目录
- fs.mkdir('./'+folder,function(err){
- if(err){
- console.log("目录"+folder+"已经存在");
- }
- });
- crawl(input);
- }
- });
- }
- //--------------------------------------
- // 将爬行中信息存入数据文件
- //--------------------------------------
- function saveFile(url,pictures){
- var obj=new Object;
- obj.url=url;
- obj.pictures=pictures;
- obj.folder=folder;
- var text=JSON.stringify(obj);
- fs.writeFile('./save.dat',text,function(err){
- if(err){
- console.log('写入文件save.dat失败,因为'+err);
- }
- });
- }
- // 调用getInput函数,程序开始
- getInput();
2017年11月16日
Node.js mm131图片批量下载爬虫1.01 增加断点续传功能的更多相关文章
- Node.js mm131图片批量下载爬虫1.00 iconv协助转码
//====================================================== // mm131图片批量下载爬虫1.00 // 2017年11月15日 //===== ...
- Node.js nvshens图片批量下载爬虫1.01
//====================================================== // nvshens图片批量下载爬虫1.01 // 用最近的断点续传框架改写原有1.0 ...
- Node.js meitulu图片批量下载爬虫1.01版
在 http://www.cnblogs.com/xiandedanteng/p/7614051.html 一文我曾经书写过一个图片下载爬虫,但原有程序不是为下载图片而设计故有些绕,于是稍微改写了一下 ...
- Node.js abaike图片批量下载爬虫1.02
//====================================================== // abaike图片批量下载爬虫1.02 // 用最近的断点续传框架改写原有1.01 ...
- Node.js meitulu图片批量下载爬虫1.051
原有1.05版程序没有断点续传模式,现在在最近程序基础上改写一版1.051. //====================================================== // m ...
- Node.js mzitu图片批量下载爬虫1.00
又攻下一座山头. //====================================================== // mzitu图片批量下载爬虫1.00 // 2017年11月19 ...
- Node.js 4493图片批量下载爬虫1.00
这个爬虫依然需要iconv转码,想不到如今非utf8的网页还这么多.另外此网页找下一页的方式比较异常,又再次借助了正则表达式. 代码如下: //============================ ...
- Node.js monly图片批量下载爬虫1.00
此爬虫又用到了iconv转码,代码如下: //====================================================== // mmonly图片批量下载爬虫1.00 ...
- Node.js m03122图片批量下载爬虫1.00
//====================================================== // m03122图片批量下载爬虫1.00 // 2017年11月18日 //==== ...
随机推荐
- windows系统中,创建临时环境变量
以servlet-api.jar 包为例 set classpath=%classpath%;C:\apache-tomcat-6.0.37\lib\servlet-api.jar
- DelegatingFilterProxy干了什么?
org.springframework.web.filter.DelegatingFilterProxy 一般情况,创建一个Filter是交给自己来实现的.基于servlet规范,在web.xml中配 ...
- Nginx日志统一格式
统一格式如下:nginx.conf 纯文本: log_format main '$remote_addr - $remote_user [$time_local] "$request&quo ...
- What does a (+) sign mean in an Oracle SQL WHERE clause?
This is an Oracle-specific notation for an outer join. It means that it will include all rows from t ...
- canvas元素内容生成图片
转自https://segmentfault.com/a/1190000003853394 想要将canvas元素当前显示的内容生成为图像文件,我们首先要获取canvas中的数据,在HTML5 < ...
- [Arc074E] RGB Sequence
[Arc074E] RGB Sequence Description 今天也在愉快地玩Minecraft!现在MM有一块1?N的空地,每个格子按照顺序标记为1到N.MM想要在这块空地上铺上红石块.绿宝 ...
- 【DFS】【图论】NOIP2014寻找道路
[NOIP2014]寻找道路 题目描述 Description 在有向图G中,每条边的长度均为1,现给定起点和终点,请你在图中找一条从起点到终点的路径,该路径满足以下条件: 1.路径上的所有点的出边所 ...
- 【随机化】Petrozavodsk Summer Training Camp 2016 Day 5: Petr Mitrichev Contest 14, Saturday, August 27, 2016 Problem I. Vier
给你一个1~n的排列,让你找出4个下标a b c d,满足 (a+b)%n=(c+d)%n (w(a)+w(b))%n=(w(c)+w(d))%n,并且是非平凡解. 发现对于每个数i,找出两个数和为其 ...
- 20162304 实验二《Java面向对象程序设计》实验报告
20162304 实验二<Java面向对象程序设计>实验报告 实验内容 初步掌握单元测试和TDD 理解并掌握面向对象三要素:封装.继承.多态 初步掌握UML建模 熟悉S.O.L.I.D原则 ...
- openfire安装完毕后无法登录控制台(忘记密码)的解决方法
openfire登录管理控制提示: Login failed:make sure your username and password are correct and that you’re an a ...