我测试出 Jev 的一个实用方向：给 AI Agent 做事实质检，进一步用在 RAG 核查

[Taylor77]

我的结论：Jev 值得用来低成本筛查 AI 有没有把事情记错。 让它核对一个具体事实，比让它重新判断整个任务更有意思。

比如： 用户说：周五有读书会，开场时间还没公布。 AI 记成：周五 19:00 开始。

格式正确、保存成功，但时间是编的。Jev 可以对照原文，把这种“看起来合理、实际没有依据”的事实标出来。

我做了一组小规模合成实验：

• 32 条保留检查中，Jev 和 GPT-5.5 都找到了 16 条问题，对另外 16 条正常事实没有误报。
• 同轮各 80 次调用，中位耗时分别为 0.87 秒和 4.10 秒。
• 按实验记录费率估算，Jev 的核查调用成本明显更低。

之前我让 Jev 同时参与多个字段的决策，效果反而变差。缩小成“这个事实，原文到底有没有说”，才找到了值得继续试的方向。

更让我感兴趣的是：如果检查足够便宜，哪些原来只能人工抽查的工作，可以更频繁地检查？

下面这些是应用猜想，尚未实测：

1. 客服、会议纪要、CRM AI 承诺退款，政策里有依据吗？纪要里的负责人和截止日期，是大家明确同意的，还是模型补全的？“客户感兴趣”有没有被写成“客户确认购买”？ 让系统先筛出疑点，人工优先看这些记录，可能比逐条翻原文省心。

2. RAG 知识库与问答优化 将回答拆成关键事实，与检索片段逐项核对：引用是否支持结论？有没有遗漏适用条件、混用不同版本？ 疑点可以用于触发重新检索、改写或人工复核；确认的问题还能积累成回归测试。也可以先找出知识库里疑似冲突的片段，再检查它们是否在相同条件下表达了矛盾结论。

3. Ontology ／知识图谱辅助整理 先由其他模型提取候选实体、关系和类型，再核对： 原文是否支持这条关系？ 这个实体是否符合已有类型定义？

明确的结构约束用代码检查，语义疑点再交给模型。如果有效，也许能减少人工逐条审阅候选知识的成本。

潜在价值，是让“原始资料 → 知识整理 → AI 回答”每个环节都多一次低成本核查，把人的注意力集中到疑点上。

不过，本次实验中的候选事实由人工给定，也确实发现过漏检，还没验证生产环境能省多少人力。回答符合检索材料，不代表材料本身正确；检查候选关系，也不等于能自动设计合理的 ontology 。

接下来真正想测的是：每发现一个真实错误花多少钱，以及人工核查时间到底减少了多少。

完整实验、原文： https://tryjevai.com/blog/jev-ai-fact-checking

大家手上的业务里，有没有这种核对费神、出错又不容易发现的环节？尤其做 RAG 或知识图谱的朋友，觉得这种接法有没有试验价值？

[charsunny]

我也在做类似的事，不过是人工对照。东坡文章 4,655 篇跟维基文库互校，85 个「刻」逐字核出处，专门抓那种格式对、出处却是编的。你说缩小成「这个事实原文有没有说」挺准，范围一大就容易漏。

[Taylor77]

@charsunny 纯人工吗？ 4655 篇，人多的话还行。不过可以试试 JEv ，对比跑跑看如何。
但确实是个思路，以后所有的文档校核，确实是个不错的场景