如何比较靠谱地判断一段文本的编码格式

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3800 天前的主题，其中的信息可能已经有所发展或是发生改变。

有一段文本，编码未知，需要尽量解码出文本内容而不出现乱码，目前只要求中文不出现乱码即可，有什么靠谱的方法没？尝试用了ICU库（http://site.icu-project.org/），发现判断不是特别准确。

文本

乱码

编码

2 条回复 • 1970-01-01 08:00:00 +08:00

cute

2013-12-13 15:48:19 +08:00

python下我使用的chardet.
效果还不错.

scalaview

2013-12-13 17:55:13 +08:00

chardet+1

>>> import urllib
>>> rawdata = urllib.urlopen('http://www.google.cn/').read()
>>> import chardet
>>> chardet.detect(rawdata)
{'confidence': 0.98999999999999999, 'encoding': 'GB2312'}