2025 年某个项目的内容安全年报

2 月 10 日
 realpg
公司运营一个比较热门的小众社区 直观规模是: 静态资源 CDN 每月 35 亿次 HTTPS 请求数

所有用户为强实名, 初期允许微信登陆或者手机号登陆, 纯微信登陆到一定门槛要求验证手机.

该社区允许用户自己发布帖子

该社区允许用户上传图片, 包含: 自己的头像, 随发布内容附图

上传图片直传阿里云 OSS, 调用阿里云的安全引擎扫描用户上传的图片

系统不允许上传文章截长图, 识别到图片内文字超过一定量, 直接触发绕过监管账号永封

上传文字系统接入一个自有的非常小的模型分析大致语义, 进行提炼, 对内容安全进行初步预警, 预警内容推送审核员工作台进行人工审核, 以便内容安全合规

2025 年全年, 共计发生文字性内容预警 29 次, 均为涉政, 其中 24 次为正常讨论涉及国家或者地方政策, 包含抱怨, 不属于恶意, 予以通过. 其中 5 次予以删除.

2025 年全年, 共计发生上传图片直接阿里云风险预警强制删除 379xxx 次, 其中 201XXX 次为涉黄, 1XXX 次为涉血腥暴力, 其余为涉政.

2025 年上半年, 共计发生图片上传时阿里云未预警内容违法违规, 经过至少 14 天后, cdn 侧频繁访问复审报图片违法 7x 次

2025 年下半年, 共计发生图片上传时阿里云未预警内容违法违规, 经过至少 14 天后, cdn 侧频繁访问复审报图片违法 19xx 次

复审图片违法 100%为 政治人物隐喻

出现这类违法, 账号一律永封, 且公司一律报网警.


数据表明, 2025 年下半年以后, 天天有人创造出新的涉政梗图并刻意大肆传播, 即使没人关注(小众社区, 连黄图都没人发没人看, 很多扫描涉黄的只是单纯的一些梗图而不是刻意分享黄图). 严重怀疑 ai 生成技术泛滥导致的可以很容易创造新的梗图, 代表就是各种维尼熊
3911 次点击
所在节点    程序员
28 条回复
realpg
2 月 10 日
@404www #20
你真有一个公司真用 E5 来办公 就不会翻车
我在 E5 上开了 700 多个邮箱 都有人再用
404www
2 月 10 日
@realpg #21 e5?开发者免费那个?能用 700 多邮箱吗,而且这个不是玄学吗
rb6221
2 月 10 日
全年 17w 图片涉政问题,平均到每天就是每天 400 多次?你们这小众论坛的用户构成有点离谱的
只是文字也就算了,关键是图片都这么高强度
我理解如果不是用户本身兴趣很大或者你们监管的问题,要么用户只发纯文字隐喻讨论(比如 NGA 赢区),要么是抱怨、阴阳怪气型居多(如 vv 图)
你这个触发删除应该是特别危险的那一类吧,这都能有每天 400 多次,大开眼界
realpg
2 月 10 日
@rb6221 #23

不是特别危险啊 单纯的有些人作死反复上传啊...

而且 我们有即时临时沟通 短存储 图片存储有效期就 4 小时 这类是随机开的 live thread

而且我们的安全级别开的比较高 有误判的 毕竟人力少
realpg
2 月 10 日
@404www
能 无限多 但是只有 25 个 office 正版授权 邮箱数量是随便开的 包含共享邮箱 普通邮箱

这些邮箱对应我公司项目 每个项目 1~4 邮箱, 都高强度收发邮件 有 api 处理 也有对应的实体管理人

我 E5 玩的多 这个 E5 触发人工审查的时候我是知道的, 就是我们突然大量传了文件到 one drive, 之后到日子就迟迟不续期, 人工滥用审查了半个月, 然后被判定合规了, 开始继续定期更新了. 再往后怎么突然一次性传 1TB 文件 都不会触发审查了

现在我这边 E5 高强度员工在用 各种业务邮件 还使用 microsoft api 公司开发了不少应用 各种系统也都 based on microsoft

因为我们公司在北方, 办公都是联通网, 北方联通对微软新加坡的速度非常快, 不需要梯子, 随便跑 10MB/s 的速度, 用着非常舒服

公司员工各种文档, 还有给客户上下游分享文件也全基于 onedrive

从操作行为分析角度来说 我们这是一个非常正规的开发公司
GPLer
2 月 11 日
这些都是敏感内容的审核,单纯的人身攻击或者广告内容有对应方案吗
realpg
2 月 11 日
@GPLer #26
有版主呢.有举报呢.
GPLer
2 月 11 日
@realpg #27
这样啊,我还以为会有什么商业上的自动化解决方案呢😂,不过还是谢谢了,长见识了,内容很有帮助。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1191916

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX