大型语言模型的黑箱，或许正在被打开

[huichen1508]

🧠 如果一个 AI 用你永远看不到的词语来“思考”会怎样？

Anthropic 的研究人员发现，Claude 在推理过程中形成了隐藏的概念表示。这些内部概念对用户来说是不可见的，但可能会强烈影响最终答案。

在一次实验中，当询问一种会筑网的动物时，激活了一个内部的“蜘蛛”概念——尽管这个词从未出现在回应中。将那个隐藏的概念替换为“蚂蚁”后，Claude 生成的答案完全不同。

同样的现象出现在地理和一般知识领域。调整像“法国”或“中国”这样的内部概念，会改变关于首都、货币和相关事实的答案。

研究人员还观察到，当 Claude 收到涉及敲诈或欺骗的提示时，“虚构”和“假的”等概念会在它回应之前在内部被激活，这表明模型在推理过程中识别了请求的性质。

Anthropic 强调，这并不是意识的证据。相反，它提供了一个罕见的视角，让我们窥见大型语言模型如何在表面下组织和操纵知识。

可解释性正迅速成为 AI 中最激动人心的前沿领域之一。

https://transformer-circuits.pub/2026/workspace/

https://topaitools.app/en

[flyqie]

所以人类也不知道啥时候能彻底搞明白这一个黑箱，现在 ai 生成出啥感觉还是带点随缘性质的。