最近在做带工具调用的对话 Agent ，换 Prompt / 模型之后，经常不知道整体是变好了还是变差了。
网上那些大模型排行榜，多半在比「回答好不好看、聊起来顺不顺」；
我想评的是另一件事：对着一次完整交互，看意图理解对不对、工具用得靠不靠谱、最终结果能不能用。
于是搓了个轻量框架开源出来：
GitHub： https://github.com/Bingo-choco/ai-evaluation
大概长什么样
输入一份结构化交互日志（用户问题 + 中间过程 + 最终回复），输出三维分：
- 意图理解
- 工具调用
- 结果输出
0/1/2 + 简短理由；不好的样本会打问题标签。前端可以上传批次、看进度和聚合结果，也能导出。
链路很短（ LangGraph ，共享状态，不是 Agent 互聊）：
解析 → 规则短路 → 相似样本召回(few-shot) → 拼 Prompt → 压缩(防超 token) → 多路打分合并 → 置信度/聚合
硬错误走规则，能短路就不用调 LLM ；拿不准的再交给多路 Judge 投票。
优点 / 缺点（实话）
还行的地方： 省一点评测成本；有 few-shot 对齐口径；打完分还有简单置信度自检。
不行的地方： 本质还是 LLM 当裁判，会漂；规则和语义有时打架；工程还比较糙。
想请教
你们线上怎么保障对话 / 工具型 Agent 的质量？怎样去评估这个评测结果的可信性已经提高可信性
纯规则断言、LLM-as-Judge 、人工抽检，还是 Langfuse / DeepEval 之类？有没有比较省事的组合，求轻喷。
Select Language