求推荐好的文学资料，用来搞词库，要求可以下载纯文本的

[ratazzi]

昨天转了搜狗的部分细胞词库，发现输入依然不是很流畅，主要不是特别常用的，今天想到找些好点的文字资料然后利用中文分词取词计算词频，最后加上拼音就成了比较好的词库了，现在主要没有好的资料。

目前分词库用的 pymmseg，如果又更好地话也推荐个吧，限 python 用的。

[Brutal]

http://www.sogou.com/labs/resources.html

[ratazzi]

@Brutal 这个好，多谢了

[hbc]

能不能去 weibo 这样的地方去爬一些下来然后做词库？

[ratazzi]

@hbc 爬的话太慢，没有足够的带宽，机器性能也不行

[hbc]

@ratazzi 可以扔在 SAE 之类的地方，但是怎么拿回来是个问题（定期取回就好了吧？

[ratazzi]

@hbc 目前不考虑抓取

[hbc]

@ratazzi ok :)

[eric_q]

词库大了也卡吧

[ratazzi]

@eric_q 打算处理大量文本后取前面频率高的部分