AI 的记忆是啥

[fuwu1245]

AI 的记忆是上下文吗？
Claude 的永久记忆是不是也只是对上下文进行了优化存储，每次对话将上下文注入到了提示词中
深一点的记忆应该是对模型的训练了吧？
求佬们解惑

[coefu]

最最新的技术 2025.12.31 update ，可以推理时动态优化，直接将新的知识压缩进模型参数，比传统 RAG 更高效，对于上下文窗口的大小更不敏感。

《 End-to-End Test-Time Training for Long Context 》，https://arxiv.org/abs/2512.23675


不过，这也不是终极方案，更贴近终极方案罢了，真正的记忆不是当前这些工程技术所能实现的，要从最底层架构做创新。

[nevin47]

上周 DS 公开了 engram 的方案

目前来看，几个头部的 LLM 应该都使用了类似的方案

[coefu]

反复强调一点，LLMs ⊂ "AI"。

[kdd0063]

context ，rag ，都可能，但唯独不可能是模型本身的权重。也就是说“深一点的记忆应该是对模型的训练了吧？”这一条为假。

[nevin47]

@kdd0063 #24 看一下 engram 的 paper ，很大概率 Gemini 也用了类似的方案

[nevin47]

@hafuhafu #3 最早的 RAG 还停留在 prompt 生成上，现在已经不是了