iconv 这个渣渣居然不支持 pipe。。。。文件都读到 buffer 里去了

[est]

https://sourceware.org/bugzilla/show_bug.cgi?id=6050

https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=328303

用stdbuf -o 0 这么伟大的hack都不能拯救这个渣渣。

zcat myfile | iconv -f gb2312-t UTF-8 | pv > myfifo

观察了n久，pv一动不动！！！！我2G的文件啊！！！

于是果断用一行python代替了iconv

zcat myfile | python -c "for l in __import__('sys').stdin:print l.decode('gb2312', 'ignore').encode('utf8')" | pv > myfifo

用pv >/dev/null试了下效率，速度为40M/s基本跑到了硬盘瓶颈。

[julyclyde]

因为解码算法需要回溯吧？

[est]

@julyclyde 那也可以buffer弄小一点啊。。。。。。。16M的buffer足够了吧。。。

[est]

想了下，不对啊。为啥python的就可以pipe。。。

[jarlyyn]

iconv最奇葩的是

nodejs 用pure js实现的iconv-lite库号称比调用iconv的库快