请问用 Node 的爬虫朋友，有遇到过偶然出现中文变成方块问号字符的情况吗？

[wontoncc]

估计是变成坏掉的不完整的UTF-8字符了，求解决方案。

另外，估计不是编码问题，因为出现问题的字符是随机的，并不固定。

[chemzqm]

可能抓到的是gzip版本，设置请求头 Accept-Encoding:deflate

[wontoncc]

@chemzqm 刚刚测试了一下，还是不行。会不会跟用了 iconv-lite 转码有关？

[orzfly]

随机的？话说js好像不支持0~0xFFFF之外的字符。

[inaction]

@wontoncc 对，有些字符没对应，比如 []

[inaction]

测试：刚才明明发的中文字符：〖〗，变成了[]

[skydiver]

@inaction v2ex确实会转化这个字符。。。不知是不是L大不喜欢这个符号。。。

[wontoncc]

@inaction
@orzfly

那请问还有什么处理GBK的方法？

[juicy]

会不会是你本机缺少相应的字符库，而抓到的数据本身是没问题的？也许在其他有相应字符库的机子上是显示正常的？

[wontoncc]

@juicy 刚刚测试了一下，并不是这个问题。
而且因为是随机的缘故，本来有些字这次请求完好，下一次请求却坏到了。如果是字库问题应该一直都看不到才对。

[juicy]

@wontoncc 那会不会是源头就是坏的呢。。。没准用别的语言爬也是这样的结果。。

[leafduo]

贴代码吧

[wontoncc]

@leafduo 已经附上了。

[wontoncc]

@chemzqm
@orzfly
@inaction
@juicy
@leafduo

非常感谢各位，问题已经解决了。请见 APPEND。

[juicy]

恭喜楼主攻克难题～～～

[chemzqm]

给他提个issue吧，方便其他人。