做了一个 Jev AI Playground，尝试让 AI 在不确定时别急着“猜”

[Taylor77]

最近在研究一个我觉得挺有意思的问题：

现在很多 LLM 应用遇到信息不完整、存在歧义的时候，往往还是会直接“猜一个答案”。

但真实业务里，很多时候我们并不希望 AI 猜。

比如：

“王老师说下周四 8:00 到单位，具体讨论时间看你安排。”

这里其实存在很多不确定性：

• 8:00 是见面时间，还是她到单位的时间？
• 应该直接创建 8:00 的日程吗？
• 还是应该先追问确认？

所以我最近做了一个小项目：Jev AI Playground。

目前主要想实验三种 primitive：

• Live Choice：让 AI 在几个候选项之间做结构化选择
• Noul：处理信息不足、歧义和需要进一步确认的情况
• Score：对候选结果进行评分

我的想法不是再做一个 ChatGPT 套壳，而是尝试把 LLM 的一些“不确定决策”从自由生成里拆出来，变成更容易控制和验证的流程。

现在做了一个可以直接体验的 Playground：

Jev AI Playground： https://tryjev.ai/

目前还是比较早期的版本，主要想验证：

1. 这三种 primitive 是否真的容易理解；
2. Playground 能不能让开发者快速理解 Jev 在解决什么问题；
3. 哪些真实场景最适合这种方式。

如果你平时也在做 Agent / AI Workflow / LLM 应用，很希望听听大家的意见。

尤其想知道：

你们实际开发 AI 应用的时候，有没有遇到过“模型不应该猜，而应该停下来判断 / 追问”的场景？

欢迎拍砖。

[fuyou97]

访问不了

[Taylor77]

抱歉，刚发现发帖时把域名写错了 😂
正确地址是： https://tryjevai.com/
感谢提醒！

[594mantou]

怎么跟 https://jevplayground.com 差不多

[Taylor77]

更新一下这个项目。
上次发这个 Playground 时，我主要还在研究 Jev 的 Choice / Noul / Score 到底怎么用。后来我真的把 Jev 接进了一个 AI 日程助手，并针对上面提到的“8:00 到单位 ≠ 8:00 开会”这类问题做了 3 组对照。
结果挺出乎我预期：
现有流程：42/48
只改善 LLM context：46/48
改善 context + Jev：38/48
也就是说，这轮实验里 加 Jev 反而比不加差。在 holdout 中 Jev 也没有修正原方案的错误，反而引入了新的 mismatch 。 粘贴的 Markdown (1)
复盘后我现在觉得，比“再加一个模型”更重要的是先把 context/evidence flow 做对。如果继续测 Jev ，我会把它负责的 decision 缩得非常窄，而不是让它再判断整个 Agent 的行为。
完整实验记录放这里了：
https://tryjevai.com/blog/jev-ai-agent-scheduling-test
算是给上次这个帖子的一个后续，也把负结果一起记录下来。

新帖里也开了一贴讨论具体实验结果，就不在这里重复贴完整数据了。https://www.v2ex.com/t/1247068