遇到一个很头疼的问题,希望大家帮忙想想办法:
问题描述: 在使用 AI 协助工作时,经常遇到 AI"智商下降"的情况,但这种状态很难被直观识别,导致浪费大量时间。
核心难点: AI 智商高低都会犯错,关键区别在于纠错模式:
• 高智商状态:虽然会犯错,但经过几轮纠正后能走向正确方向,最终解决问题
• 低智商状态:会在错误的道路上反复纠错,每次纠错又产生新的错误,形成恶性循环,越纠越偏
识别困难: 低智商 AI 依然表现得"很努力在解决问题",看起来积极主动,但实际上是在错误的路径上越走越远。因为高智商 AI 也会犯错,所以单纯看"是否出错"无法区分。
实际影响: 今天就遇到了这种情况,AI 花了几个小时在一个本来很简单的任务上打转,明显已经没有能力完成需求了,但从表现上看不出来。
求助内容: 有没有什么快速测试方法,能在短时间内(比如 5 分钟内)判断 AI 当前是否处于"降智"状态?避免在低效状态下浪费时间?
1
gelen98 1 天前 via Android
推荐火山引擎的 豆包 1.6
1 开启思考模式,很难降智。 2 便宜,使用 API 一个月 100 不到 3 辅助开发效果很好,把文档给 ai ,写清楚需求,基本上都可以两遍改好。 openai 有经常降智的骚操作不推荐。 各种整合平台,都很有可能降智,不然他们怎么赚钱?也不推荐。 claude 拉动美国和中国人的对立,是一家忠实的美国公司,虽然不会降智,不过不推荐用。 豆包虽然没有像 qwen 那样开源,不过用 API 都是一样付费的。貌似还便宜一点? |
2
cest 1 天前
靠经验,看回复的口音
每个人的 prompt 写法都不太一样 不同 model 回你的定型文也不太一样 用多了,就能听出 llm 说话就是那几个口音(每个 model 都有自己的几个) 如果来了个口音重的,你脑海里都是那味道了 就该知道这个 session 已经完了,请到无敌嘴炮王了 不如重新开始,重写初始 prompt 祈祷这次能 roll 到好分支上,召唤到有用的大神 |
3
xuejianxianzun 1 天前
@cest 哈哈,原来这也有随机要素
|
![]() |
4
sublime8 1 天前
重新开一个会话。因为上下文被严重压缩,所以看起来一直在绕圈圈,不开新会话没法解决。
|
5
likooo125802023 1 天前
快来看,有人用 AI 用的魔怔了。
|
![]() |
6
ijse 1 天前
再开另一个 AI 监视它的回答,把问题抛给另一个 AI 解决
|
7
aarontian 23 小时 29 分钟前
同 2L ,我觉得就是凭经验,辨别口音,和能力(不太好观察,除非能力有明显下降)
想精准点就只能是跑 benchmark 之类的,但可能不太适合个人去做 |
8
julyclyde 17 小时 13 分钟前
三字经也算钱哦
|