求靠谱敏感词过滤方案

[sanyang001]

事情是这样子的： 我们项目需要移动端本地的敏感词检测服务，之前使用三方的收费太贵，现在打算自研。

这几天调研了 DFA 、Trie 、AC 这类的实现方案，对于几 w 的敏感词库，CPU 、内存尚可，有误杀的几率；老板比较有野心，说要搞几十 w 的敏感词库，我觉得移动端方案估计靠不住了。

求 V 站大佬提供一些本地化的检测方案，主要性能要可靠，感激不尽。

[adminvtoex]

DFA 、Trie 这些基于搜索的方案只要遇上谐音、特殊字符混淆等、相似字符等基本就白瞎。第三方基本都是模型审核+人工审核兜底，想又可靠又成本低，目前来说别想了。

[stinkytofu]

几十万的敏感词库!!! 汉字的排列组合都被你们干完了

[binbin0915jjpp]

调用文心一言 如果他说换个话题 就敏感(手动狗头)

[c2const]

自研可能需要长时间实践来迭代哦 :(
特别是各种谐音、拼音、英文，还有 unicode 特殊字符，unicode 超平面字符(比如 emoji 表情)之类的，规则太多了，还要不断更新 :(

[WillBeethoven]

三国杀是我见过的最强文字狱。

[babyoung]

有那么多敏感词吗

[SilentRhythm]

自研最大的问题还是维护词库，新闻天天有，敏感词也一样。

[NessajCN]

建议禁用整个 CJK 编码

[tomczhen]

自研，还要比现有收费贵的第三方服务效果好？
凭啥啊，搞出来自己成立个公司专门提供收费服务不香吗？

[sanyang001]

哦哦，忘记告知了，我们是海外产品，不需要处理中文。

[sanyang001]

@stinkytofu 忘记说了，我们海外的产品，不用考虑太多中文。

[1996v]

github 很多共享的词库

[buaacss]

贡献个低成本的方案

首先是分词，用 hanlp 的多语言分词模型就不错，tok 的分词效率很高。可以把自家的敏感词当作 force 字典加进去，然后对于误杀的，只要保证词长度比敏感词更长就能解决。

然后对每个分词作 ac 自动机检测，只要有一个命中就报错出来。

然后可以再做一层 zero-shot-classification ，把每个敏感词分个类，比如刀属于管制器械，但是刀剑神域是游戏，命中的时候判断刀剑神域是不是管制器械，可以进一步降低误杀概率，hg 上一大堆 zsc 的模型。随便搞一个，之后还能积累一波数据做个微调。

我们的场景相对来说没有太多敏感词，所以主要的性能消耗在 hanlp 的分词，实际运行效率非常高。10 万量级的词库，50 个 30-50 个字符的检测差不多 200-300ms 。

[danhahaha]

这么复杂不如加一个举报按钮

[wyk111wyk]

你们不如自研一个专门的大模型算了

[pengtdyd]

《三方的收费太贵，现在打算自研》这句话根本不成立，自研的成本肯定远远大于使用第三方的成本，你们老板不是一个聪明人。

[vivisidea]

@sanyang001 实际情况会复杂很多，即使是外语，简单的以骂人为例，你以为会规规矩矩的骂"fuck you" 么？
实际上可能是这样的

f*ck you!
fuuuuuck you!
f[emoji]ck you!
f.u.c.k you!
f.......u...---c*k you!
……

[unii23i]

海外产品也这么怕审查吗，还以为可以绕过去
我倒是做了一个常用骂人词库，基本上已经覆盖我们平台的骂人词汇了，这些词汇我们也接了第三方，第三方过滤不了

[sketcherly]

Trie 只缓存前一部分，命中的部分再延迟加载？这样肯定不如全部缓存快
Trie 本身就是空间换时间，又不想空间占用又想快的方案应该是没有，只能尝试一个折中的方案
然后自建逻辑过了的话再走一遍三方服务应该能在保证准确度的前提下降本，但是耗时又会有增加
又快资源占用又小还省钱的方案，em...

[sketcherly]

@sketcherly #19 忽略我，想多了，审核的时候大多应该是正常的，然后还要走一遍三方，没啥效果，当我没说。