mmseg不能使用英文和中文混合的词?

2011-11-11 12:22:31 +08:00
 zzxworld
正在使用python的一个分词模块:http://pypi.python.org/pypi/mmseg。
目前碰到一个问题就是添加诸如“T恤”和“Polo衫”的自定义词时,程序依然不能识别。分词结果:
T

Polo
5104 次点击
所在节点    Python
2 条回复
args
2011-11-11 16:05:34 +08:00
这个肯定事先作者没考虑到。直接暴力把中英文分开了。其实我的一个分词程序就是这么做的。。。。
dreamersdw
2011-11-11 16:06:42 +08:00
mmseg 是靠内置的单词表加启发算法实现中文分词的。

你可以先试试向 mmseg/data/words.dic 文件添加需要的词汇。要是还有问题的话,考虑自己修改源码吧。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/21235

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX