• 请不要在回答技术问题时复制粘贴 AI 生成的内容
kenneth
V2EX  ›  程序员

关于中英文分词的疑问

  •  
  •   kenneth · Jun 4, 2013 · 4593 views
    This topic created in 4914 days ago, the information mentioned may be changed or developed.
    文章中混合有英文,中文的用什么词库分词呢。
    9 replies  •  1970-01-01 08:00:00 +08:00
    alexkh
    alexkh
    Jun 4, 2013
    1
    jieba分词?
    swulling
    swulling
    Jun 4, 2013
    2
    Python的话,直接Google『中文分词 Python』

    中英文混合分析和中文分词有啥区别么。。多出来的英文部分不要太简单
    kenneth
    kenneth
    OP
    Jun 4, 2013
    3
    @alexkh jieba不错,是一个中文分词,我想如何中文和英文都有,那也一样的?

    @swulling 肯定有区别。只是不知道区别在哪里。
    kenneth
    kenneth
    OP
    Jun 4, 2013
    5
    @swulling 感觉分词效果也不是很好,语料库还是不够。
    Eson
    Eson
    Jun 4, 2013
    6
    分词使用的话,其效果我觉得很大程度上取决于你的词典,不然程序再怎么做也不可能尽如人意
    Hualin
    Hualin
    Jun 4, 2013❤️1
    7
    先对原文进行正则表达式匹配,把英文单词 数字 符号 和其他非中文字符进行 tokenize,然后把新的序列交给中文分词算法。
    比如句子
    string1:我爱 python,,,
    tokenize 为
    string2:我爱 `EN`SYM`SYM`SYM`
    然后交给中文分词,其中 EN 代表 英文单词特征,SYM代表标点符号特征
    然后进行汉字标记
    string3:SSSSSS
    其中 S 表示单独成词的标记,其他 label 可以为 B (一个长词的开始),M(一个长词的词中),E (一个长词的结束)。英文单词和数字以及标点也被认为是 S (单独成词的汉字)。
    buru
    buru
    PRO
    Jun 8, 2013
    8
    @Hualin 你好,想问一下,你有用过elasticsearch吗?可否把这个步骤也交给它进行处理?
    Gestalt
    Gestalt
    Jun 8, 2013
    9
    看你对准确度的要求了……
    CRF++,用这个实现个中文分词然后训练语料好的话似乎召回率能到97%
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2256 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 14:05 · PVG 22:05 · LAX 06:05 · JFK 09:05
    ♥ Do have faith in what you're doing.