目前 NLP 中，对英语进行分句、分词，最佳体验是哪种？

[yzc27]

最近在研究 NLP，很多模型都是需要对数据进行预处理，进行分句、分词。那么，对于英语来说，目前分句、分词最好的或者比较多人用、效果最佳的是什么包（或者方法）呢？

下面给出个人的猜测：

1. nltk
2. spacy
3. 纯正则分割
4. 暴力用.分句；用空格分词 ...

[liwl]

jiba

[liwl]

结巴分词

[TotoroSora]

之前做项目用的 nltk，配合正则做一些细节调整。周围人也基本都在用 nltk。

[EPr2hh6LADQWqRVH]

英语还用分词？逗我？

英语的词是分好的啊，空格就是分词

[SeaRecluse]

英文正则分割最方便，如果效果不好请先清洗数据。

[lumonix]

我觉得楼主说的是 phrase finding 吧，应该是类似于这片文章里介绍的 https://dl.acm.org/citation.cfm?id=1119287

[aREMbosAl]

英语分词什么意思

[SleipniR]

英语不需要分词，默认空格已经分好了，但是要做词形还原。

[yanaraika]

nltk 不知道高到哪里去了 结巴在技术上是在搞笑吗

[yzc27]

@liwl 結巴不是只針對中文的嗎？我個人只是聽說過結巴，沒去詳細了解。