讓你的數據輸入流更高效的方法

一、使用buffer減少讀寫次數

在處理數據輸入的時候，我們經常會使用文件操作，按照位元組一個個讀取，還會運用到緩存機制，提高讀寫效率。這種方法常見的使用如下：

const fs = require('fs');

const readStream = fs.createReadStream('example.txt');
const writeStream = fs.createWriteStream('example-copy.txt');

readStream.on('data', chunk => {
  writeStream.write(chunk);
});

readStream.on('end', () => {
  writeStream.end();
});

但是依然在每個data事件中，進行了chunk的傳遞，這就導致了讀寫的頻繁。這時候，我們可以藉助buffer緩存，批量讀寫數據：

const fs = require('fs');

const readStream = fs.createReadStream('example.txt');
const writeStream = fs.createWriteStream('example-copy.txt');

readStream.on('data', chunk => {
  const buffer = Buffer.alloc(chunk.length);
  for (let i = 0; i < chunk.length; i++) {
    buffer[i] = chunk[i];
  }
  writeStream.write(buffer);
});

readStream.on('end', () => {
  writeStream.end();
});

這樣一來，每個data事件中，就只會傳遞一次數據，達到流暢的讀寫。

二、使用流處理大數據文件

在數據量大、文件較大的情況下，我們需要使用流方式的讀寫，使得整個文件都能被流暢處理，而不會出現內存溢出等異常情況。例如：

const fs = require('fs');
const zlib = require('zlib');

const gzip = zlib.createGzip();
const readStream = fs.createReadStream('example.txt');
const writeStream = fs.createWriteStream('example.txt.gz');
readStream.pipe(gzip).pipe(writeStream);

這裡的zlib模塊提供了壓縮和解壓縮的功能，和fs模塊搭配使用，可以幫助我們更好地處理大文件，讓讀寫流的效率大大提高。

三、使用Transform變換流處理數據

在以上兩個方法中，我們對讀寫流進行了優化和批量操作，提高了效率。但是在實際開發中，我們可能會需要對數據進行更深層次的轉換和處理，而這時候就需要使用Transform變換流來完成。

const fs = require('fs');
const { Transform } = require('stream');

const upperCaseTr = new Transform({
  transform(chunk, encoding, callback) {
    this.push(chunk.toString().toUpperCase());
    callback();
  }
});

const readStream = fs.createReadStream('example.txt');
const writeStream = fs.createWriteStream('example-uppercase.txt');
readStream.pipe(upperCaseTr).pipe(writeStream);

這樣一來，我們可以對讀入的數據進行更加複雜的處理，例如轉換大小寫、加密解密等，徹底提高數據的利用價值和處理效率。

四、使用pump優化讀寫流

我們在使用讀寫流進行數據處理的時候，常常會遇到一個問題：銷毀流的過程中，有可能出現未完成的寫操作。這時候，我們需要使用pump模塊來優化管道方法，實現完全的流暢讀寫。

const fs = require('fs');
const pump = require('pump');

const readStream = fs.createReadStream('example.txt');
const writeStream = fs.createWriteStream('example-copy.txt');

pump(readStream, writeStream);

這樣一來，就達到了無阻滯的讀寫流管理，可以在各種情況下保證穩定高效的數據處理。