或者有什么好的获取敏感词的方法,想了个爬取海量评论做语义初筛再标注,但感觉不太优雅,不知道 v 友们有没有更好的想法带来点启发
或者有什么好的获取敏感词的方法,想了个爬取海量评论做语义初筛再标注,但感觉不太优雅,不知道 v 友们有没有更好的想法带来点启发
|
sEz3br0Ozxa989XXJun 4, 2024
1
|
|
freshgooseJun 4, 2024
2
github 上有人收集了很多
|
|
shiluanzzzJun 4, 2024
3
p 主没明确说敏感词是哪些 zz ?还是通用的
https://platform.openai.com/docs/guides/moderation/overview openai 的这个过滤的 api 可以试试? |
|
vivisideaJun 4, 2024
4
现在已经不流行用敏感词了,直接上 NLP 模型分类,bert 啥的
|
|
Lshl56B4vDqdixwKJun 4, 2024
5
国新办清查词单?
|
|
qviqviJun 4, 2024
6
最好国家出一个标准,不然不好处理
|
|
wangjh0802Jun 5, 2024
7
@qviqvi 这东西还能有标准? 哈哈哈哈哈哈哈哈哈
|
|
azarasiJun 5, 2024
10
什么是敏感词本身就是敏感的
|
|
ray2023Jun 5, 2024
11
https://github.com/cjh0613/tencent-sensitive-words, 之前有个项目用的这个, 但是还是需要自己去维护一下, 因为有些词并不符合自己的规则
|
|
12
@shiluanzzz 政治类的能很容易得到,但歧视类等比较容易模糊词意但又会有的就有点难获取到,谢谢你的链接
@Hayashikawa 这种算是第三方服务了,我这边有需求是自己维护一份来着 @freshgoose yesyes ,有在交友网找到一些公开的词库,在 v 发帖也是想看看有没有更丰富的源 @vivisidea 哥们说的这个也有在做,但就,还是需要维护一份词库 hhh @qviqvi 国家确实也有标准,但是标准只有分类没有内容,具体内容还得自己维护 @ray2023 谢谢老哥的分享 谢谢各位 v 友的分享! |