前言

JavaScript 对于字符串的操作十分便捷,无论是单字节字符还是宽字节字符,都会认为是一个字符。对字符串的简单操作和DOM操作基本上已经可以满足前端工程需求,但Node很多时候需要处理文件和网络I/O,就需要处理大量的二进制数据。所以,在Node中就定义了一个Buffer类,该类用来创建一个专门存放二进制数据的缓存区。本文是《深入浅出nodejs》相关内容的一个总结,是一篇读书笔记,仅供以后查阅。

在 Node.js 中,Buffer 类是随 Node 内核一起发布的核心库。Buffer 库为 Node.js 带来了一种存储原始数据的方法,可以让 Node.js 处理二进制数据,每当需要在 Node.js 中处理I/O操作中移动的数据时,就有可能使用 Buffer 库。原始数据存储在 Buffer 类的实例中。一个 Buffer 类似于一个整数数组,但它对应于 V8 堆内存之外的一块原始内存。

1.Buffer结构

Buffer是一个类似与Array的对象,但它主要是用于字节操作。也拥有一些类似于Array具有的方法,可以使用这些方法进行字节处理。

1.1模块结构

Buffer是一个JavaScript与C++结合的模块,它将性能相关部分使用C++实现,将非性能相关的部分用JavaScript实现。

Buffer所占用的内存不是通过V8分配的,属于堆外内存。由于V8垃圾回收性能的影响,将常用的操作对象用更高效和专用的内存分配回收策略来管理是个不错的思路。

Buffer是Node的一个核心模块,在进程启动时已经加载,并放置在全局对象中,使用Buffer时,不需require()引入,可直接使用。

1.2Buffer对象

Buffer对象类似于数组,它的元素为16进制的两位数(如:1F,0~255)。示例如下:

不同编码的字符串占用的元素个数各不相同,ASCII编码的字符占用一个元素,汉字占用两个元素。

当新建一个Buffer,而没有写入数据时,访问其中的元素,会得到一个0~255的随机值。

我们对Buffer中的一个元素赋值的话,它会默认的转为一个0~255的值,它的转换规则如下:

  • 1.给元素赋值小于0,就将该值逐次加256,直到得到一个0~255的整数;
  • 2.给元素赋值大于255,就逐次减256,直到得到一个0~255的整数;
  • 3.给元素赋值是小数,舍弃小数部分,只保留整数部分。

1.3Buffer的内存分配

处理大量的字节数据不能采用需要一点内存就向系统申请一点内存的方式,这会造成很大的内存申请的系统调用,对操作系统有一定压力。为此Node在内存的使用上应用的是在C++层面申请,在JavaScript中分配的策略。

为了高效的使用申请来的内存,Node采用了slab分配机制。slab就是一个申请好的固定大小的内存区域,有以下三种状态:

  • full:完全分配状态;
  • partial:部分分配状态;
  • empty:没有分配状态。

在node中,需要一个Buffer对象,可以通过以下方式指定对象的大小:

  1. new Buffer(size)

Node以8KB为分界来区分Buffer是大对象还是小对象。在JavaScript层面,以它作为单位单元进行内存的分配。

分配小Buffer对象

如果指定Buffer的大小少于8KB,Node会按照小对象的方式进行分配。Buffer的分配过程中主要使用一个局部变量pool作为中间处理对象,处于分配状态的slab单元都指向它。以下是分配一个全新的slab单元的操作,它会将新申请的SlowBuffer对象指向它:

  1. var pool;
  2.  
  3. function allocPool() {
  4. pool = new SlowBuffer(Buffer.poolSize);
  5. pool.used = 0;
  6. }

slab处于empty状态。

构造小Buffer对象的代码如下:

  1. new Buffer(1024);

这次构造将会去检查pool对象,如果pool没有被创建,将会创建一个新的slab单元指向它:

  1. if(!pool || pool.length - pool.used < this.length) {
  2. allocPool();
  3. }

同时当前Buffer对象的parent属性指向该slab,并记录下是从这个slab的哪个位置(offset)开始使用的,slab对象自身也记录被使用了多少字节,代码如下:

  1. this,parent = pool;
  2. this.offset = pool.used;
  3. pool.used += this.length;
  4. if(pool.used & 7) {
  5. pool.used = (pool.used + 8) & ~7;
  6. }

这时候的slab状态为partial。当再次创建一个Buffer对象时,构造过程中将会判断这个slab的剩余空间是否足够。如果足够就使用剩余空间,并更新slab的分配状态。如果剩余空间不足,将会重新构造slab,原slab中剩余的空间会造成浪费。

这就带来了一个问题,一个slab可能分配给多个Buffer对象使用,只有这些Buffer对象在作用域释放并都可以回收时,slab的8KB空间才会被回收。

分配大Buffer对象

如果需要超过8KB的Buffer对象,将会直接分配一个SlowBuffer对象作为slab单元,这个单元将会被这个大Buffer对象所独占。

上面提到的Buffer对象都是JavaScript层面上的,能够被V8的垃圾回收标记回收。但其内部的parent属性指向的SlowBuffer对象却来自于Node自身C++中的定义,是C++层面上的Buffer对象,所以内存不在V8的堆中。

2.Buffer的转换

Buffer对象可以直接与字符串之间相互转换,目前支持的字符串编码类型有以下几种:

  • ASCII
  • UTF-8
  • UTF-16LE/UCS-2
  • Base64
  • Binary
  • Hex

字符串转Buffer:

  1. new Buffer(str, [encoding]);

当encoding不传入时,默认为utf-8。一个Buffer对象可以存储不同编码类型的字符串转码的值,调用write方法可以实现它:

  1. buf.write(string, [offset], [length], [encoding]);

需要特别注意的是,不同编码所用的字节长度不同,将Buffer反转回来字符串时需要谨慎处理。

Buffer转字符串:

  1. buf.toString([encoding], [start], [end]);

当encoding不传入时,默认为utf-8。可以通过设置encoding,start,end这3个参数实现整体或局部的转换。

3.Buffer的拼接

Buffer在使用时,通常是一段一段的方式传输。以下是常见的从输入流中读取内容的示例代码:

  1. var fs = require('fs');
  2.  
  3. var rs = fs.createReadStream('test.md');
  4. var data = '';
  5. rs.on('data', function (chunk){
  6. data += chunk;
  7. });
  8. rs.on('end', function (){
  9. console.log(data);
  10. });

Buffer学习笔记.的更多相关文章

  1. Protocol Buffer学习笔记

    Protocol Buffer Protobuf基础概念 Protobuf是google开发的数据结构描述语言,能够将结构化数据序列化与反序列化,取代json和xml,常用于服务器通信协议.RPC系统 ...

  2. MySQL学习笔记-cache 与 buffer

    Cache和Buffer是两个不同的概念,简单的说,Cache是加速"读",而 buffer是缓冲"写",前者解决读的问题,保存从磁盘上读出的数据,后者是解决写 ...

  3. Java NIO 学习笔记(一)----概述,Channel/Buffer

    目录: Java NIO 学习笔记(一)----概述,Channel/Buffer Java NIO 学习笔记(二)----聚集和分散,通道到通道 Java NIO 学习笔记(三)----Select ...

  4. Java IO学习笔记一:为什么带Buffer的比不带Buffer的快

    作者:Grey 原文地址:Java IO学习笔记一:为什么带Buffer的比不带Buffer的快 Java中为什么BufferedReader,BufferedWriter要比FileReader 和 ...

  5. DirectX Graphics Infrastructure(DXGI):最佳范例 学习笔记

    今天要学习的这篇文章写的算是比较早的了,大概在DX11时代就写好了,当时龙书11版看得很潦草,并没有注意这篇文章,现在看12,觉得是跳不过去的一篇文章,地址如下: https://msdn.micro ...

  6. JSP学习笔记

    JSP学习笔记 Jsp网页主要分为Elements与Template Data两部分. Template Data:JSP Container不处理的部分,例如HTML内容 Elements:必须经由 ...

  7. linux驱动开发之块设备学习笔记

    我的博客主要用来存放我的学习笔记,如有侵权,请与我练习,我会立刻删除.学习参考:http://www.cnblogs.com/yuanfang/archive/2010/12/24/1916231.h ...

  8. Linux 学习笔记

    Linux学习笔记 请切换web视图查看,表格比较大,方法:视图>>web板式视图 博客园不能粘贴图片吗 http://wenku.baidu.com/view/bda1c3067fd53 ...

  9. SQLite学习笔记(七)&&事务处理

    说到事务一定会提到ACID,所谓事务的原子性,一致性,隔离性和持久性.对于一个数据库而言,通常通过并发控制和故障恢复手段来保证事务在正常和异常情况下的ACID特性.sqlite也不例外,虽然简单,依然 ...

随机推荐

  1. pymysql 解决 sql 注入问题

    1. SQL 注入 SQL 注入是非常常见的一种网络攻击方式,主要是通过参数来让 mysql 执行 sql 语句时进行预期之外的操作. 即:因为传入的参数改变SQL的语义,变成了其他命令,从而操作了数 ...

  2. yolov2-tiny-voc.cfg 参数解析

    一.参数解析 [net] batch=64 # number of images pushed with a forward pass through the network subdivisions ...

  3. SVM的两个参数 C 和 gamma

    SVM模型有两个非常重要的参数C与gamma.其中 C是惩罚系数,即对误差的宽容度.c越高,说明越不能容忍出现误差,容易过拟合.C越小,容易欠拟合.C过大或过小,泛化能力变差 gamma是选择RBF函 ...

  4. Spark记录-SparkSQL远程操作MySQL和ORACLE

    1.项目引入mysql和oracle驱动 2.将mysql和oracle驱动上传到hdfs 3.远程调试源代码如下: import org.apache.spark.sql.SQLContext im ...

  5. JAVA-集合类型Set常用操作例子(基础必备)

    package com.net.xinfang.reflect; import java.util.Comparator; import java.util.HashSet; import java. ...

  6. Gitlab配置阿里邮件通知

    1. 在/etc/gitlab/gitlab.rb 中添加如下内容 $ vi /etc/gitlab/gitlab.rb gitlab_rails['smtp_enable'] = true  git ...

  7. Python分析网页中的<a>标签

    soup = BeautifulSoup(html,"html.parser") html=soup.select("table a") for k in ht ...

  8. 1.springboot:入门程序

    一.Spring Boot 简介 官网英文: Spring Boot makes it easy to create stand-alone, production-grade Spring base ...

  9. mipsel汇编指令学习

    MIPS汇编语言基础 MIPS的系统结构及设计理念比较先进,其指令系统经过通用处理器指令体系MIPS I.MIPS II.MIPS III.MIPS IV.MIPS V,以及嵌入式指令体系MIPS16 ...

  10. K - Find them, Catch them POJ - 1703 (带权并查集)

    题目链接: K - Find them, Catch them POJ - 1703 题目大意:警方决定捣毁两大犯罪团伙:龙帮和蛇帮,显然一个帮派至少有一人.该城有N个罪犯,编号从1至N(N<= ...