感觉 AI 推理目前瓶颈还是比较明显

[wcwcxiaobin]

现在有 AI 了，但是你想做的事情，你还是必须得去学，甚至你如果想做的比较出色，你还是得学的更好。 当然现在有 AI ，学习的时候知识壁垒确实小了。

虽然各家现在都理论上支持 1m 上下文，但是估计很多程序员还是按照每次控制在 256k 使用这样。 我觉得各家在针对 1m 上下文时使用的 kv cache 方式可能是不一样的，不同的 kv cache 方式可能会有不同的优缺点，比如一段上下文，O 家可能遗漏细节 A ，A 家可能遗漏细节 B 。

这可能就会产生一个现象，比如某某说使用 O 家的模型去查 bug 搞了好几轮无法搞定，使用 A 家的模型一次性搞定。相反的论调一样会出现。

这可能不是模型智商的问题，智商是可以不断训练增强的。而且估计每次模型厂商如果对自己原本的 kv cache 方式进行大概优化，估计就有人喷什么幻觉严重，估计要进行一段时间优化才能达到较好的效果。

感觉目前还是你需要学习的东西变多了，如果你以前是一个多面手，你可以做更多的事情，你多了一个不会抱怨的文员，或者说是码农。

以上是我纯云纯猜测，大神可以提出自己的高端见解

[keshawnvan]

和你见解一致。
1.专业人做专业事，即使有 AI 也需要学习对应领域的知识
2.上下文基本都是名义上支持 1M ，实际用下来注意力全是问题
3.我现在重依赖不同模型互相 review 方案，90%以上的场景都能发现问题

[wcwcxiaobin]

@keshawnvan 因为我用显卡部署本地小模型的时候，我发现不同的本地模型使用的 kv cache 的方式不一样，压缩方式不一样，就是丢弃不一样的内容

[teli]

原理摆在哪里
冷门问题、复杂问题，不管哪家模型，可能都不行
上下文的 1M ，我是没发现有什么意义

[yidinghe]

transformer 本身就不完美，当信息密度极高的时候，不到 100K 模型就会出现幻觉。我怀疑厂商吹的 1M 上下文，基本上是用 0 堆砌的。。。

[jony83]

这是注意力机制问题。

[sentinelK]

LLM 的表现有很大程度上不光是模型本身，还有运行环境，kv cache 优化等很多层级的问题。
随便折腾一次自部署就能了解个大概了。