哪些因素会导致人低估大语言模型？

[shendaowu]

最近我发现个让四个大语言模型出错的问题。就是写个 rrweb-player 的例子。实际比这复杂一点。但是我估计应该跟那个复杂的一点没什么关系。我试了 deepseek 、gemini 、Trae 、没有 Claude code 的 fable 5 。最后那个是中转，真实性未知。最后发现是 rrweb-player 最新版有 bug： https://github.com/rrweb-io/rrweb/issues/1872 。说实话，发现有 bug 之前我对大语言模型真有点失望，发现之后又恢复到不吹不黑的状态了。

[sentinelK]

简单粗暴的讲，如果 LLM 能给你“惊艳”的感觉，说明你对于对应领域的认知不到“中位数”。
反之亦然。

[kyro00000]

没用过的人会高估吧，低估我觉得都是成年人，不会看扁任何人。
理论考试可能还行，但深入到行业应用领域。。还差点意思
关键很多知识，就是师傅带徒弟，也不会有人发网上去。

[Rorysky]

@sentinelK 傲慢之罪

[sentinelK]

@Rorysky 目前的 Coding Agent ，本质上就是针对你的提示词，加上你已有的既定程序，进行信息检索+加工。最终进行代码输出。

如果一下子就能写的非常漂亮，只能说明：
1 、这个需求或者说逻辑链条非常常见。
2 、最佳实践的统计学优势很强（有通识的最佳范式）

所以如果开发者认为这样的结果很“惊艳”，就只能说明显你不懂当前需求的最佳范式或者说共识，不了解共识，说一句认知不到中位数，也不过分吧。

[defaw]

讲个笑话研究级人工智能写个 shell 转义写不对

[maocat]

大语言模型只是一个知识面广，耐心十足，会撒谎的普通人

[nVic]

@sentinelK ？ gpt 可以用新路径证明新的数学问题。

[Rehtt]

@sentinelK #1 确实，上一次自己写前端还是 5 年前，现在用 llm 写前端就给我一种很惊艳的感觉。而做其他的感觉就一般般

[vfs]

@nVic 有例子吗? 我想验证一下

[cde979]

@sentinelK #1 简单粗暴地讲，把所有人的惊艳都解释成无知，是一种典型的“我懂你们都不懂”的认知优越感，通常出现在认知半瓶水阶段。 --Chatgpt

[yafoo]

我也发现 AI 只是知识面广而已，AI 能解决的问题都是现实网络上或者说他的知识里已经有解决方案的。AI 做的只是一个搬运工。如果遇到的问题本身现实网络上都没有解决方案，这时问 AI ，AI 怎么改都不行，我已经遇到过太多次了，都说 AI 很牛逼，但是我遇到的太多问题 AI 根本解决不了。

除非有一天 AI 能够创新，创新性的解决问题，那时才会真的让人惊艳。

[sentinelK]

@cde979 你这个例子就很典型的指出了 LLM 的问题。
1 、他把“不到中位数”，等价于“无知”。
2 、他主观臆断一个人的动机，“是一种典型的“我懂你们都不懂”的认知优越感”。

充分说明，在上下文不充沛（你最起码得用 Agent 让 GPT 爬一下我所有发言），语义理解不清晰（明显他的上下文没有楼主的内容）的前提下，会做出非常离谱的错误判断。

[zhongzhaoguo]

@sentinelK 我听到一句跟你这句话意思相反的话：只有当你具备足够的品味和判断力，才会被 Agent 真正惊艳。把视野局限在 LLM 上的，恰恰说明认知还停留在中位数以下。

[luzemin]

@maocat 谄媚和幻觉一直都是 LLM 的问题

[sentinelK]

@zhongzhaoguo 这本来就是个伪命题。目前 Agent 的“能力”根本就不能定量分析。而且 Agent 能做的其实就是“上下文加工”，不太能理解"局限在 LLM"的本质逻辑是什么。

[lscho]

@zhongzhaoguo 被 Agent 惊艳到和被 LLM 惊艳到是两码事。

换句话说，被 Agent 到，恰恰说明 LLM 没有那么惊艳。

[coefu]

大部分不是这个领域的人的 高估低估 都是外行的八卦。

领域的发展也不会因为外行的高估低估有什么改变，因为能做出改变的不是这些人。

[srolos]

这个话题真的有趣但又难有定论，我觉得所有 llm 做得好的任务本质都是靠大量的训练数据过拟合到 ffn 插值/查表。本质上没有那么强的泛化/智能，只是海量数据下所有问题都有了近似正确的插值伪装。