为了方便工作学习,于是乎借鉴了一些项目并结合自己想法写了个 nlp 工具包。
小明 nlp 目前支持:
- 中文分词,词性标注
- 文本纠错
- 情感分析
- 文本转拼音
中文分词主要基于词典,算法采用了与结巴分词类似的 DAG 图,采用了 HMM+Viterbi 新词识别, 支持自定义词典
文本纠错采用了 bigram + levenshtein 距离实现,文本纠错我主要用在 chatbot 和智能硬件中
项目地址:xmnlp
为了方便工作学习,于是乎借鉴了一些项目并结合自己想法写了个 nlp 工具包。
中文分词主要基于词典,算法采用了与结巴分词类似的 DAG 图,采用了 HMM+Viterbi 新词识别, 支持自定义词典
文本纠错采用了 bigram + levenshtein 距离实现,文本纠错我主要用在 chatbot 和智能硬件中
项目地址:xmnlp
1
nciyuan Mar 1, 2018 via Android
先生?
|
2
northisland Mar 1, 2018
厉害了
|
3
yuewolf Mar 1, 2018
一直用结巴的 STAR 一下。
|