Node 二进制合并大量文件

[EridanusSora]

现在有一个需求，需要把大量文件（数千个）二进制按顺序连接，目前的做法是开一个 write stream 不停往里写入，但是经常 OOM，请问各位有没有什么更好的解决方案，谢谢！

[whileFalse]

试试命令行？

cat 1.txt 2.txt 3.txt > all.txt
cat 4.txt 5.txt 6.txt >> all.txt

[heimeil]

应该是读的速度太快，写跟不上就 OOM 了，可以看下这里面的 pipe： http://taobaofed.org/blog/2017/08/31/nodejs-stream/

[EridanusSora]

@heimeil 我想也是这个原因。看了下应该就是我想要的解决方案，谢谢！

[matsuz]

Node 里面我不知道怎么搞，不过其他语言一般是开一个固定大小的 buffer，比如 4KB，每次只读这么多，写入这 4KB 以后再读下一个 4KB

[fanshide]

pipe?

[otakustay]

node 自己的 fs stream 是有 backpressure 处理能力的啊