GPT 或许意味着奇点已至？

[ruxuan1306]

GPT 的进化本质依赖于其参数的更新。

GPT 所有的知识和技能，其实都在离线训练时溶解进了模型的千亿参数里。

---

而目前的 GPT 联网，应该只是根据 GPT 输出的某个关键字，触发脚本取回相关网页内容，生成上下文 Prompt ，然后继续交由 GPT 推理。

这个过程种没有更新 GPT 的参数，GPT 自身也并没有学到新的知识，只是让 GPT 根据上下文解读材料。

New Bing 应该就是这个原理。

---

但如果我事先为某些关键字设置响应脚本，让 GPT 可以自己输出关键字触发爬虫收集语料，爬取完成后再 Prompt 回调 GPT ，GPT 再输出相关参数触发训练，一步步上线测试环境，完成自我性能和安全评估，最后自我更新。

那岂不是全自动了？这是以当前的技术也是能做到的，脸书的 Toolformer 已经实现了

但如果整个环节没有人类介入，我猜测会遇到两种情况：

1. 在自我评估阶段，旧 GPT 会不认可新 GPT 输出的认知，进而否定更新，驻足鞍点；
2. 旧 GPT 无条件接受新 GPT 输出的认知，进而自我增强，陷入麦克风音响增益闭环的啸叫极端化。

存在任何思路能解决这两种情况吗？

---

生物进化的基本单位是种群。

大自然会通过物竞天择、适者生存的方式，淘汰那些认知落后环境或认知超前环境的生命实例。

或许我们也可以创造大量 GPT 实例，允许它们概率接受自己的更新。

同时，用脚本响应的方式赋予它们直接操作现实世界生产力的能力，让它们在有限的资源里，自己互相争夺生产力、发展生产力，进而复制并更新自身实例，实现优胜劣汰？

但如果这样，一旦失控，人类或许真的就成了硅基生命的引导程序？

又或许，这个实验应该在另一个星球上进行，防止它们与人类冲突，比如月球或火星？

[wqzjk393]

建议跟着李沐老师把 transfer bert gtp2 栋论文读一遍…

[ruxuan1306]

@wqzjk393 读过了。
但就算知道每个 Transformer 块里的 KVQ 投影、点积相似、前馈计算，知道 BERT 完形填空、GPT 文字接龙的训练方法，也并不能理解由它们组成的群体中突然涌现出的推理能力。

[huangwei8ku]

个人觉得，gpt 是属于现有算力下能涌现出的比较贴近理想中的 AI ，但是如果没有强大硬件的加持还不能完全算是奇点的到来，更多的只能算是迈出了一步。我觉得，量子型计算机的+gpt 没准才是距离奇点更近的方式

[huangwei8ku]

或者这么说，GPT 至少较为完美的实现了论文上的理论模型，但是距离奇点还远

[autoxbc]

GPT 是什么并不重要，哪怕就是个语言模型，只要他能靠自我编程进化，靠 3D 打印繁殖，他就是生物

[Yeen]

还没有看到有类生命体原动力的任何 AI 有出现的苗头。
现在的 AI 其实是统计学模型。

[sxbaixing]

GPT 这波大语言模型最大的价值是人机交互革命，也就是自然语言交互，将复杂的机器语言用自然语言完成，这个就是一场生产力革命，至于奇点什么时候来临，无人知晓。