GPT 出来这么久了，有没有高手能讲解下 GPT 的原理？比如动辄上千亿的参数，比如 EMERGE?

[whooami]

[liprais]

提问之前先搜索

[whooami]

@liprais 嗯，只是想来看看 V2EX 的高手们有没有不一样的角度。

[1map]

想知道不一样的角度，把自己的观点先写出来

[mystrylw]

提问之前先问 chatgpt

[LaurelHarmon]

这有啥讲的，来个 attention is all you need 压压惊？ emerge 是玄学，世界上没人说得清。

[sentinelK]

1 、涌现只是现象，并不知晓原理。其中一种揣测是说，我们因为生物神经元的局限性，所以其实人类定义的事务都是有潜在逻辑联系的，只不过是一种混沌的、隐藏的、潜意识的逻辑联系。适当的随机、抗过拟合会让局部最优解恰巧命中这些“隐藏的逻辑”。

同时这也是机器学习 AI 的最大价值所在，既通过“统计学工具+大量并行计算”的形式来发现我们人脑发现不了的规律与相关性特征。

2 、XXX 个参数是一种量化方式，是通过计算得来的。公式网上比较普遍，因为比较复杂恕不赘述。

[czfy]

是挺久，GPT 1.0 在 2018 年就发布了
资料一大把，最简单就是看 wiki 、看 paper

https://en.wikipedia.org/wiki/Generative_pre-trained_transformer

[whooami]

@1map 好吧，我先去学会制冷再来讨教

[whooami]

@LaurelHarmon
@sentinelK
@czfy
一并感谢，我先去拜读一下