如何用Node.js流处理大规模文件读写？

使用Node.js流处理大规模文件读写的核心是通过可读流（Readable Stream）和可写流（Writable Stream）实现分块数据传输，结合.pipe()方法自动管理背压（backpressure），避免内存溢出。以下链枝是具体实现方案和关键细节：

关键点：

• highWaterMark控制每次读取的块大小（默认64KB），需根据文件类型和系统性能调整。
• .pipe()自动暂停/恢复读取流以匹配写入速度，防止内存堆积。

1. 内存溢出风险：fs.readFile会一次性将整个文件加载到内存，处银颤理10GB文件时需分配同等内存，易导致进程崩溃。
2. 性能瓶颈：大文件加载会阻塞事件循环，延迟其他I/O操作响应。
3. 资源浪费：若只需处理文件部分内容（如逐行解析），全量加载效率低下。

1. 可读流（Readable Stream）

   数据源（如fs.createReadStream），通过'data'事件或.pipe()输出数据块。

   示例：从文件逐块读取数据。

2. 可写流（Writable Stream）

   数据目标（如fs.createWriteStream），接收数据块并写入。

   示例：将数据写入文件或网络。

3. 双工流（Duplex Stream）

   同时具备可读和可写特性（如net.Socket），文件处理中较少直接使用。

4. 转换流（Transform Stream）

   特殊双工流，在传输过程中修改数据（如zlib压缩流）。

   示例：棚搏敏实时压缩文件：const zlib = require('zlib');const readStream = fs.createReadStream('input.txt');const writeStream = fs.createWriteStream('input.txt.gz');const compressStream = zlib.createGzip();readStream.pipe(compressStream).pipe(writeStream);

1. 错误处理

   必须监听流的'error'事件，否则未捕获的错误会导致进程崩溃。

   示例：双向错误处理readStream.on('error', (err) => { console.error('读取错误:', err); writeStream.end(); // 终止写入流});writeStream.on('error', (err) => { console.error('写入错误:', err); readStream.destroy(); // 终止读取流});

2. 背压（Backpressure）

   自动处理：.pipe()通过监听'drain'事件和write()返回值自动暂停/恢复读取。

   手动处理场景：需在中间操作（如耗时计算）中控制流速：let isBackpressureActive = false;readStream.on('data', (chunk) => { if (isBackpressureActive) return; const canContinue = writeStream.write(chunk); if (!canContinue) { isBackpressureActive = true; readStream.pause(); console.log('背压触发：暂停读取'); }});writeStream.on('drain', () => { isBackpressureActive = false; readStream.resume(); console.log('背压解除：恢复读取');});

1. 调整块大小：通过highWaterMark优化（如文本文件用32KB，二进制文件用128KB）。
2. 并行流处理：使用pipeline模块（stream/promises）处理多阶段转换：const { pipeline } = require('stream/promises');const { createReadStream, createWriteStream } = require('fs');const zlib = require('zlib');async function run() { await pipeline( createReadStream('input.txt'), zlib.createGzip(), createWriteStream('input.txt.gz') );}run().catch(console.error);
3. 避免阻塞操作：在流处理中避免同步I/O或CPU密集型任务，必要时用worker_threads分流。

• 文件复制/传输：直接使用.pipe()。
• 实时处理：串联转换流（如解压、加密）。
• 超大规模文件：结合highWaterMark和背压管理确保稳定性。

通过流式处理，Node.js可高效处理GB级甚至TB级文件，同时保持低内存占用和系统响应能力。