Transformer 架构的影响力会成功类似冯诺依曼架构一样，奠定 AI 初阶时代吗

[YanSeven]

先统治个 10 年先。

[mintist]

世界模型的因果性推理估计搞不定，不过相关性目前最优解。

[riscv]

当年我还觉得 jquery 终结前端了呢。。

[loryyang]

我觉得基本上已经成为事实了，虽然模型能力的上限提升变慢了许多，但是大批量的周边应用开始出现，对整个社会的改变非常明显
只是这个框架感觉只是初级阶段，不是最终答案

[guichen]

我觉得 AI 模型终将进化到能实时更新权重，每个 session 都是主模型上的一个分叉，是一个独立人格，你和模型的对话都内化成了它的权重，所以它能长期的记住你的喜好、你的项目的背景，就和人一样的能在一件事情上持续学习，有长期记忆。
AI 的逻辑能力已经很强了，再有了这个技术，AI 就可以再一次史诗级进化，不再需要冗长的上下文提示就能记住一个庞大项目的业务背景，你可能还没它了解你的项目，到这一步应该可以代替 99%的工作了

[iorilu]

已经是了

也许还很初级, 但以及足以形成革命, ai 从嘴上谈资变为真正可用的资源

[lujiaosama]

第一次 AI 冲击已经初步形成了.

[agmtopy]

@riscv 哈哈哈 当年我也是这感觉

[kloudmuka]

除非有颠覆性的架构出现，否则 Transformer 就是这个时代的起源。也许当 skynet 按下发射核弹按钮的那一刻，人类会希望自己能穿越到 2017 年，阻止发表那篇名叫 Attention is All You Need 的论文。

[LunarConcerto]

Transformer 架构不是最终答案，但是目前也足够革了大家的命。

词预测这种方向虽然看起来在思考，但实际上不具备类似人类的从无到有的逻辑推演能力，未来大概率会被更先进的思想替代。

[skuuhui]

Transformer 提出到现在已经超过 10 年了。而且 Transformer 就是个 token 预测。你敢想象你和别人讲话，你永远是在哪里接话茬吗。现在已经有很多更先进的架构和论文了。只是发展还需要时间。

[YanSeven]

@skuuhui 佬能提几篇新架构吗，想去瞅瞅

[whoosy]

现阶段 transformer 仍是主流，不过我觉得 transformer 就像内燃机，它可以统治一个时代，但下一代可能是电动机、混动机，比如 Mamba

[Geon97]

站在现在的角度看是的

[dismantle]

起码属于奠基者, 就像近代史的开端是虎门销烟一样