分享一个简单易懂、不需要语料库的分词程序~

[moonshile]

先上地址
https://github.com/Moonshile/ChineseWordSegmentation

原理参考的是这篇神文，通俗易懂，作者不愧是中文系出身的！

好吧，我承认是想顺便求几个Star，真是还干净着呢。。

---

觉得有必要贴一下使用方法，非常简单~

from wordseg import WordSegment
doc = u'十四是十四四十是四十，十四不是四十，四十不是十四'
ws = WordSegment(doc, max_word_len=2, min_aggregation=1, min_entropy=0.5)
ws.segSentence(doc)

分词结果为

十四 是 十四 四十 是 四十 ， 十四 不是 四十 ， 四十 不是 十四

[schezukNewTos]

善哉。
不过『本课程』之类的词组怎么解决的？
『是个』这样的搭配是怎么处理的？
偶见词语在一句话中连续出现该怎样应对？

[moonshile]

@schezukNewTos 这些都要看情况，具体来说是要看被分词的对象。
如果被分词的是一篇介绍一门课程的文章，而“本课程”出现足够多次，那么“本课程”就视为一个词语；否则，如果只是一篇泛泛介绍各门课程的文章，那么就会分成“本”和“课程”两个词。
具体了解的话可以看看我给的那篇参考文章，很好懂的～

[ChanneW]

星标后研

[zangbob]

很长的段落或文章，怎么整？不能直接读取.txt吗？

[moonshile]

@zangbob 可以先读到内存中，然后在调用……不过参数需要调整，我正在想办法让它能自适应较佳参数……

[X_Del]

分词与机器学习结合，用待分词的文本提取出个语料库再分词……

[solsol]

M67几年前的旧文拿来骗星……现在的中文分词算法早就不一样啦

[Tiande]

百度的 APIStore 提供的也有分词服务。

[moonshile]

@X_Del 嗯，基本就是这么个思路……

[moonshile]

@solsol 虽然你不需要，但是其他跟我一样刚刚看到的是需要的，收起你的傲慢吧

[saber000]

ws = WordSegment(doc, max_word_len=2, min_aggregation=1, min_entropy=0.5)
ws.segSentence(doc)

为什么doc要传两次?

[moonshile]

@saber000 就如X_Del所说，先用待分词的文本提取出语料库，然后再分词；其实第二次也可以传其他文本，不过是用从第一个文本提取的语料库进行分词

[solsol]

@moonshile 请问我哪一个字傲慢了？被说算法旧就受挫了？学习旧的没什么，拿出来宣传就不好了吧，只能忽悠那些真正需要的人。我提醒别人一句有问题么？多说无益。

[lwbjing]

"工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作"

[Bryan0Z]

@lwbjing 你赢了

[Kabie]

@solsol ...那么“现在的中文分词算法”又是怎么弄的呢。。。

……要提醒至少给个新算法的关键字吧。。。如果这都不屑于给。。。还不算傲慢吗。。。

[warden2h]

@lwbjing 你赢了

[Rorysky]

@solsol #13 老哥，求指点下分词的新算法 关键词～