[分享&&求赐教] 开源了一个对话 Agent 多维评测小框架，请教大家是怎样评估置信度以及提高评测正确率的？

[yuandoudouzm]

最近在做带工具调用的对话 Agent ，换 Prompt / 模型之后，经常不知道整体是变好了还是变差了。

网上那些大模型排行榜，多半在比「回答好不好看、聊起来顺不顺」；
我想评的是另一件事：对着一次完整交互，看意图理解对不对、工具用得靠不靠谱、最终结果能不能用。
于是搓了个轻量框架开源出来：

GitHub： https://github.com/Bingo-choco/ai-evaluation

大概长什么样

输入一份结构化交互日志（用户问题 + 中间过程 + 最终回复），输出三维分：

• 意图理解
• 工具调用
• 结果输出

0/1/2 + 简短理由；不好的样本会打问题标签。前端可以上传批次、看进度和聚合结果，也能导出。

链路很短（ LangGraph ，共享状态，不是 Agent 互聊）：

解析 → 规则短路 → 相似样本召回(few-shot) → 拼 Prompt → 压缩(防超 token) → 多路打分合并 → 置信度/聚合

硬错误走规则，能短路就不用调 LLM ；拿不准的再交给多路 Judge 投票。

优点 / 缺点（实话）

还行的地方： 省一点评测成本；有 few-shot 对齐口径；打完分还有简单置信度自检。
不行的地方： 本质还是 LLM 当裁判，会漂；规则和语义有时打架；工程还比较糙。

想请教

你们线上怎么保障对话 / 工具型 Agent 的质量？怎样去评估这个评测结果的可信性已经提高可信性

纯规则断言、LLM-as-Judge 、人工抽检，还是 Langfuse / DeepEval 之类？有没有比较省事的组合，求轻喷。