node.js中buffer需要知道的一些点

本文为阅读朴灵大大的《深入浅出node.js》笔记:

  在前端开发的时候,我们不曾用过buffer,也没得用。buffer是node环境引入的,用来方便应对二进制数据的处理。这里我们对它应该有基础的理解和正确的定位,方能更好的使用它。

1、buffer不属于v8包含的内容

  buffer是node通过c++实现的,跟其他的一些核心模块类似,并不是说修改v8使,在v8中实现这个功能。

2、buffer不需要require

  我们在使用例如文件模块等等的模块都需要require来引入对应的模块,但buffer不需要,主要原因是因为它太常见了,所以在加载的时候,系统默认就把buffer加载到global上的Buffer上了,所以无需require就可以直接使用它。

3、buffer中用来存储数据的内存不属于v8,不受v8内存限制影响

  buffer占用内存分两部分,一部分是buffer对象,一部分的用来存储数据的pool。new出来的buffer对象是属于v8内存的一个对象,与v8的其它变量一样都满足自动垃圾回收的机制。而用来存储数据的pool是由c++直接向系统申请内存来存储的,有自己的内存处理机制。所以buffer数据存储的内存是数据v8之外,不会受到v8的最大内存限制的问题影响。对应的buffer对象会存放pool所在的位置信息和大小信息。

4、buffer和字符串可以很方便的互相转换,但是他们是不同的

  a)buffer也有length,但buffer的长度主要跟数据具体存储的字节数相关,而字符串却跟对应编码有关。

  b)因为buffer实际上跟对应编码是没有直接关系,所以,你甚至可以在一个buffer里面存储多种编码的内容,只要你能按存放的位置取出对应的内容即可。

  c)平常的数据流操作的时候,使用的其实都是buffer,方便数据的二进制传输,而字符串主要是引擎中字符串操作时使用的。

buffer常见处理技巧:

1、我们经常在读取一个数据流的情况下用chunks+=chunk的形式来把数据流data事件返回的信息拼接在一起:

var rs=createReadStream();
var chunks=‘‘;
rs.on(‘data‘,function(chunk){
    chunks+=chunk;
});
rs.on(‘end‘,function(){
    console.log(chunks);
});

这里主要的问题在于,data事件传入的chunk实际上是一个buffer数据,他的内容可能是截断的,并不是一个完整的字符串,而后面使用了

chunks+=chunk,实际上是把buffer转为字符串再拼接。这里如果是被截断的buffer就可能导致无法正常识别为字符串,展示为乱码。

所以这里应该使用buffer直接拼接为完成的buffer的形式来解决。

var rs=createReadStream();
var chunks=[];
rs.on(‘data‘,function(chunk){
    chunks.push(chunk);
});
rs.on(‘end‘,function(){
    console.log(Buffer.concat(chunks));
});

2、我们可能会有一个很长的字符串,需要在每次用户请求时返回给用户,如:

var longStr=‘‘;
for(var i=0;i<10*1024;i++){
    longStr+=‘a‘;
}
//longStr=new Buffer(longStr);
http.createServer(function(req,res){
    res.writeHead(200);
    res.end(longStr);
});

这种情况下的问题就在于,每次请求调用res.end的时候,都是需要做一次操作等价longStr=new Buffer(longStr);比较浪费cpu,

所以这里应该把这一步的动作提前。把代码中的注释去掉,这样,我们就会把原来的longStr直接存储为Buffer,后续都可以直接使用,不浪费cpu。

本文为阅读朴灵大大《深入浅出node.js》的读书笔记

时间: 2024-08-21 08:39:21

node.js中buffer需要知道的一些点的相关文章

node.js中Buffer缓冲器的使用

一.什么是Buffer Buffer缓冲器是用来存储输入和输出数据的一段内存.js语言没有二进制数据类型,在处理TCP和文件流的时候,就不是很方便了. 所以node.js提供了Buffer类来处理二进制数据,Buffer类是一个全局变量,Buffer在创建的时候大小就固定了,无法改变. Buffer类的实例类似于由字节元素组成的数组,可以有效的表示二进制数据. 二.什么是字节 字节是计算机存储时的一种计量单位,一个字节等于8个位.一个位就代表0或1,每8个位(bit)组成一个字节(byte).

在Node.js中使用RabbitMQ系列二 任务队列

在上一篇文章在Node.js中使用RabbitMQ系列一 Hello world我有使用一个任务队列,不过当时的场景是将消息发送给一个消费者,本篇文章我将讨论有多个消费者的场景. 其实,任务队列最核心解决的问题是避免立即处理那些耗时的任务,也就是避免请求-响应的这种同步模式.取而代之的是我们通过调度算法,让这些耗时的任务之后再执行,也就是采用异步的模式.我们需要将一条消息封装成一个任务,并且将它添加到任务队列里面.后台会运行多个工作进程(worker process),通过调度算法,将队列里的任

【node.js】Buffer(缓冲区)

Node.js中,定义了一个 Buffer 类,该类用来创建一个专门存放二进制数据的缓存区. 创建 Buffer 类 Node Buffer 类可以通过多种方式来创建. 1.创建长度为 10 字节的 Buffer 实例: var buf = new Buffer(10); 2.通过给定的数组创建 Buffer 实例: var buf = new Buffer([10, 20, 30, 40, 50]); 3.通过一个字符串来创建 Buffer 实例: var buf = new Buffer("

笔记-Node.js中的核心API之HTTP

最近正在学习Node,在图书馆借了基本关于Node的书,同时在网上查阅资料,颇有收获,但是整体感觉对Node的理解还是停留在一个很模棱两可的状态.比如Node中的模块,平时练习就接触到那么几个,其他的一些模块暂时只会在学习的时候接触到,不常用便就荒废了.正所谓好记心不如烂笔头,多做笔记还是更有利于理解和记忆.自己做的总结也方便回头复习,所以决定踏上漫长的修炼之旅-- Node提供了许多API,其中一些比较重要.这些核心的API是所有Node应用的支柱,你会不停的用到他们. HTTP服务器 Nod

Node.js的Buffer那些你可能不知道的用法

在大多数介绍Buffer的文章中,主要是围绕数据拼接和内存分配这两方面的.比如我们使用fs模块来读取文件内容的时候,返回的就是一个Buffer: fs.readFile('filename', function (err, buf) { // <Buffer 2f 2a 2a 0a 20 2a 20 53 75 ... > }); 在使用net或http模块来接收网络数据时,data事件的参数也是一个Buffer,这时我们还需要使用Buffer.concat()来做数据拼接: var bufs

Node.js之Buffer

JavaScript 语言自身只有字符串数据类型,没有二进制数据类型.但在处理像TCP流或文件流时,必须使用到二进制数据.因此在 Node.js中,定义了一个 Buffer 类,该类用来创建一个专门存放二进制数据的缓存区,可以让 Node.js 处理二进制数据,每当需要在 Node.js 中处理I/O操作中移动的数据时,就有可能使用 Buffer 库,一个 Buffer 类似于一个整数数组,但它对应于 V8 堆内存之外的一块原始内存. 创建 Buffer 对象(3种方式) var buf = n

node.js中使用net模块创建服务器和客户端

1.node.js中net模块创建服务器(net.createServer) // 将net模块 引入进来 var net = require("net"); // 创建一个net.Server用来监听,当连接进来的时候,就会调用我们的函数 // client_sock,就是我们的与客户端通讯建立连接配对的socket // client_sock 就是与客户端通讯的net.Socket var server = net.createServer(function(client_soc

node.js中通过dgram数据报模块创建UDP服务器和客户端

node.js中 dgram 模块提供了udp数据包的socket实现,可以方便的创建udp服务器和客户端. 一.创建UDP服务器和客户端 服务端: const dgram = require('dgram'); //创建upd套接字 //参数一表示套接字类型,'udp4' 或 'udp6' //参数二表示事件监听函数,'message' 事件监听器 let server = dgram.createSocket('udp4'); //绑定端口和主机地址 server.bind(8888, '1

记一次在node.js中使用crypto的createCipheriv方法进行加密时所遇到的坑

Node.js的crypto模块提供了一组包括对OpenSSL的哈希.HMAC.加密.解密.签名,以及验证等一整套功能的封装.具体的使用方法可以参考这篇文章中的描述:node.js_crypto模块. 本文重点介绍在使用createCipheriv方法时所遇到的坑.对应的解密算法createDecipheriv应该是一样的问题. 按照文档中的描述,createCipheriv方法接受三个参数:algorithm用于指定加密算法,如aes-128-ecb.aes-128-cbc等:key是用于加密