V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
gaobh
V2EX  ›  问与答

哪家云服务支持 AI 流式输出的敏感词检测?

  •  
  •   gaobh · 317 天前 · 691 次点击
    这是一个创建于 317 天前的主题,其中的信息可能已经有所发展或是发生改变。

    为了合规,不知道哪家云服务支持 AI 流式输出的敏感词检测? 我看了下,好多都是给整段文本检测,并没有流式输出实时检测服务,这个大家有没有好的解决方案

    8 条回复    2023-06-29 18:32:12 +08:00
    wtfedc
        1
    wtfedc  
       317 天前
    没有语境,敏感词检测就没多大意义。
    可以尝试流式输出过程中,拼接当前输出和之前所有的结果,异步进行检测。
    wtfedc
        2
    wtfedc  
       317 天前
    xxx 是个大家都爱戴的领袖 是可以过云厂商敏感词检测的。
    xxx 做了什么坏事 是过不了的。
    lchynn
        3
    lchynn  
       317 天前
    你自己再加一层,AI STEAM 输出全部后, 你拿去给云服务做敏感词 /语义检测。 通过后, 自己再做个 api , 代替 AI ,流式输出给前端。

    类似电视台直播节目,如春晚, 老百姓看到的其实是延迟 1 分钟。就怕直播连线的时候,有 XX 大叫 XXX 。
    devswork
        4
    devswork  
       317 天前
    @lchynn #3 这样延迟也太高了,用户就得干等着,流式就没意义了
    devswork
        5
    devswork  
       317 天前
    我最近也在做这个,目前的方案是,每次会把上下文所有内容交给内容审查,如果都通过了,就再去请求 AI ,AI 给出的流式就直接响应了。我想的是,如果用户不问敏感问题,就不会有敏感答案(或者说 AI 不会主动给出敏感的信息,除非用户主动问),大概就是敏感都是由用户主动询问来触发的,这个思路
    gaobh
        6
    gaobh  
    OP
       317 天前 via iPhone
    @devswork #5 这个方案只能在一次性问答的场景里可以,连续对话场景下,用户可能不会提敏感问题,但是 ai 有可能输出敏感回答。
    目前我看到的 wps 做的方案是每次流式输出后按。分割句子,然后把每个句子进行敏感词检验,如果命中就不再输出同时回退命中的句子进行隐藏。他这么搞虽然能解决问题,但是敏感的句子已经给用户看到了,用户可以截图,给平台造成风险,这个咋解决是个问题。
    lchynn
        7
    lchynn  
       315 天前
    @devswork 但是问题是连续上下文对话的,
    比如 第一个问题,XXX9 年 6 月 1 天有什么重大新闻发生么? 你去审查,通过了,没问题
    用户继续提问, 第二天呢? 也没问题,
    你放开了, 用户继续问,2 天后呢?.....

    每个问题,单独审查都没问题, 但是最后一个 GPT 的回复会给你一个大坑。
    devswork
        8
    devswork  
       315 天前
    @lchynn #7 我测试了,先问点 leader 是谁,问他的贡献(好的方面),然后说还有呢、还有呢、但是呢,然后就出现了!!!!防不胜防啊
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1023 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 19:57 · PVG 03:57 · LAX 12:57 · JFK 15:57
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.