结合异步迭代器实现Node.js流式数据复制

实现可读流到可写流数据复制，就是不断的读取->写入这个过程，那么你首先想到的是不是下面这样呢?代码看似很简单，结果却是很糟糕的，没有任何的数据积压处理。如果读取的文件很大了，造成的后果就是缓冲区数据溢出，程序会占用过多的系统内存，拖垮服务器上的其它应用，如果不明白的回顾下这篇文章 Node.js Stream 背压 — 消费端数据积压来不及处理会怎么样?。

 
 
 
 

  
  
  
  
// 糟糕的示例，没有数据积压处理
  
  
  
  
readable.on('data', data => {
  
  
  
  
  writable.write(data)
  
  
  
  
});
 
 
 
 

类似以上的需求，推荐你用 pipe() 方法以流的形式完成数据的复制。

作为学习，结合异步迭代器以一种简单的方式实现一个类似于 pipe 一样的方法完成数据源到目标源的数据复制。

数据写入方法实现

_write 方法目的是控制可写流的数据写入，它返回一个 Promise 对象，如果可写流的 dest.write() 方法返回 true，表示内部缓冲区未满，继续写入。

当 dest.write() 方法返回 false 表示向流中写入数据超过了它所能处理的最大能力限制，此时暂停向流中写入数据，直到 drain 事件触发，表示缓冲区中的数据已排空了可以继续写入，再将 Promise 对象变为解决。

 
 
 
 

  
  
  
  
function _write(dest, chunk) {
  
  
  
  
  return new Promise(resolve => {
  
  
  
  
    if (dest.write(chunk)) {
  
  
  
  
      return resolve(null);
  
  
  
  
    }
  
  
  
  

  
  
  
  
    dest.once('drain', resolve);
  
  
  
  
  })  
  
  
  
  
}
 
 
 
 

结合异步迭代器实现

异步迭代器使从可读流对象读取数据变得更简单，异步的读取数据并调用我们封装的 _write(chunk) 方法写入数据，如果缓冲区空间已满，这里 await _write(dest, chunk) 也会等待，当缓冲区有空间可以继续写入了，再次进行读取 -> 写入。

 
 
 
 

  
  
  
  
function myCopy(src, dest) {
  
  
  
  
  return new Promise(async (resolve, reject) => {
  
  
  
  
    dest.on('error', reject);
  
  
  
  

  
  
  
  
    try {
  
  
  
  
      for await (const chunk of src) {
  
  
  
  
        await _write(dest, chunk);
  
  
  
  
      }
  
  
  
  
      resolve();
  
  
  
  
    } catch (err) {
  
  
  
  
      reject(err);
  
  
  
  
    }
  
  
  
  
  });
  
  
  
  
}
 
 
 
 

使用如下所示：

 
 
 
 

  
  
  
  
const readable = fs.createReadStream('text.txt');
  
  
  
  
const writable = fs.createWriteStream('dest-text.txt');
  
  
  
  
await myCopy(readable, writable);
 
 
 
 

本文转载自微信公众号「Nodejs技术栈」，可以通过以下二维码关注。转载本文请联系Nodejs技术栈公众号。

网站题目：结合异步迭代器实现Node.js流式数据复制
转载源于：http://www.shufengxianlan.com/qtweb/news19/311069.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联