https://cnodejs.org/topic/59d8f43b2543cb3368b1623e var request = require('request'); var fs = require('fs'); function downloadFile(uri, filename, callback){ var stream = fs.createWriteStream(filename); request(uri).pipe(stream).on('close', callback);…

什么是流? 流是可以从一个源读取或写入数据到连续的目标对象.在Node.js,有四种类型的数据流. Readable - 其是用于读操作. Writable - 用在写操作. Duplex - 其可以用于读取和写入操作. Transform - 输出基于输入的地方进行计算的一种双相流. 每种类型的流是一个EventEmitter实例,并抛出的时代不同的实例几个事件.例如,一些常用的事件是: data - 当有数据可读取此事件. end - 当没有更多的数据读取此事件被触发. error - 当有…

这两天发现了一个叫看知乎的站点.是知乎的苏莉安做的,当中爬虫使用的 Node.js.这里就针对上一篇博客中的美剧小爬虫,改用 nodejs 进行实现一下.体验一下强大的 Node.js. 假设之前没实用过 JavaScript,最好还是到 http://www.codecademy.com/  做一下 JavaScript 和 jQuery 的入门练习,高速熟悉一下基本的语法,有其它语言基础一天时间足够. 有基本的了解后.就会发现 JavaScript 的两大特点: 使用基于原型(prototy…

稳定性: 2 - 不稳定 流是一个抽象接口,在 Node 里被不同的对象实现.例如request to an HTTPserver 是流,stdout 是流.流是可读,可写,或者可读写.所有的流是 EventEmitter 的实例. 你可以通过 require('stream') 加载 Stream 基类.其中包括了 Readable 流.Writable 流.Duplex 流和 Transform 流的基类. 这个文档分为 3 个章节.第一个章节解释了在你的程序中使用流时候需要了解的部分.如果…

转自:http://segmentfault.com/a/1190000000519006 nodejs的fs模块并没有提供一个copy的方法,但我们可以很容易的实现一个,比如: var source = fs.readFileSync('/path/to/source', {encoding: 'utf8'}); fs.writeFileSync('/path/to/dest', source); 这种方式是把文件内容全部读入内存,然后再写入文件,对于小型的文本文件,这没有多大问题,比如gru…

图片下载爬虫分两部分:爬页面和下载图片. 爬页面时先看网址是https还是http的,然后选择不同的内置对象: 其次看编码,如果是charset=gb2312的网页就需要iconv帮忙转码,好在大部分都是utf8了这步多数可以省却,之后输出页面代码看看,不乱码就可以进行分析了: 有时候网页使用gzip编码压缩了(网页头字段Content-Encoding是gzip),这时必须用zlib解码再读取: 接下来用cheerio分析页面,用的是和jQuery相似的语法,分析出图片地址和下一页地址就完成任…

Node.js 种子下载器 庆祝 2018 国庆,制作了一个 Node.js 的种子下载器.爬取页面,根据页面的链接,破解另外一个网站,下载种子文件.项目比较简单,爬取页面没有使用任何爬虫框架.项目源码 Node.js 的安装请看我的另外一篇文章,Node.js 的多版本安装. 项目初始化 新建一个文件夹 FBIWarning,在该文件夹下打开命令行 CMD 或者 git bash.运行 npm init -y,该文件夹会生成一个 package.json 文件. 安装依赖包 安装依赖包 cnp…

一.初识node.js 简单的说Node.js 就是运行在服务器端的JavaScript. Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台. Node.js是一个事件驱动I/O服务端JavaScript环境,基于Google的V8引擎,V8引擎执行Javascript的速度非常快,性能非常好. Node.js 的包管理器 npm,是全球最大的开源库生态系统. Node.js官网:https://nodejs.org/en npm官网:https://www.n…

极简 Node.js 入门系列教程:https://www.yuque.com/sunluyong/node 本文更佳阅读体验:https://www.yuque.com/sunluyong/node/duplex-and-transform 双工流就是同时实现了 Readable 和 Writable 的流,即可以作为上游生产数据,又可以作为下游消费数据,这样可以处于数据流动管道的中间部分,即 rs.pipe(rws1).pipe(rws2).pipe(rws3).pipe(ws); 在 No…

在 JavaScript 中,一般只处理字符串层面的数据,但是在 Node.js 中,需要处理网络.文件等二进制数据. 由此,引入了Buffer和Stream的概念,两者都是字节层面的操作. Buffer 表示一块专门存放二进制数据的缓冲区.Stream 表示流,一种有序.有起点和终点的二进制传输手段. Stream 会从 Buffer 中读取数据,像水在管道中流动那样转移数据. 本系列所有的示例源码都已上传至Github,点击此处获取. 一.Buffer Buffer 是 JavaScript…