ChatGPT 其实是通用人工智能的对立面

[swhhaa]

有一种观点认为 人脑是大量神经元组成的神经网络，经过上百万年遗传进化(类似深度学习中的训练)，智力也累计量变而质变，终于实现了所谓的智能。

但我觉得如果把神经网络的训练比作人类基因的遗传进化，那神经网络就缺少人类真正学习的过程。 比如，人类学会写代码并不是遗传出来的，而是通过接受自然语言形式的知识习得写代码的功能。 我更倾向把神经网络的训练比作个人的学习过程而不是遗传进化。人类遗传进化类似神经网络的一些超参数，例如层深，层的结构..。

那么对于 ChatGPT ，很明显。它的学习只能是,在代码层接受大量数据来调参。并不能通过它向人类提供的接口而学习。你当然可以对 ChatGPT 告诉它说 "Hi, 从今天起你叫小白，我将用小白来称呼你。"，它也会短暂的记住“小白“是它的名字，但它只是在将 "Hi, 从今天起你叫小白，我将用小白来称呼你。"这句话添加到了输入中，根据输入计算输出来回答你。

你不能像教一个姗姗学步的孩子一样，从 1+1=2 一直教到微积分。ChatGPT 没有长期存储模块，当然这只是一方面，其实这也解释了为什么 ChatGPT 只接受 4096 个 Token 。

我想定义一个新名词“智力”，智力是结构的体现，而不是功能的象征，其中结构是功能的元数据，不随功能而改变。智力则决定了功能的上限，也决定了学习的效率。简单来说，人的智力并不会随着学会新知识而提高。对于同一个人，刚出生的婴儿和大学教授的智力是相同的。类比到深度学习，神经网络的智力在网络结构确定时也已确定，调参只增加它的功能而不是智力。所以人类遗传进化增长的是智力，因为大脑结构已经改变了。神经网络的训练增长的是功能。

说会通用人工智能。我理想中的通用人工智能首先应该是一个单机的结构，一个人的智力并不依靠互联网。第二通用人工智能要对外暴露学习接口，自然语言形式是最好的，视觉，听觉都可以，甚至神经网络的调参接口也可以。而 ChatGPT 并没有这样的接口。(所以可以本地跑的 LLM 模型是通用人工智能吗？理论上是的，但它的智力十分低下，你教会一个孩子 1+1=2 ，只需要对他用自然语言说出来就可以，但你教会一个从零开始的 LLM ，不知道要用多少数据，训练多长时间。这就是智力决定学习的效率。)

所以一个通用人工智能可以不会写代码，不知道 1+1=2 ，甚至连自己的名字都不知道。但我不介意从零开始指导她(只要她的智力足够高)。而 ChatGPT 正在走一条相反的道路，首先利用海量的计算能力和整个互联网的数据训练一个通晓天地万物的智能机器，但你却没法指导它成为你自己的模样，它属于 OpenAI 却不是你自己。

最后我并不质疑 ChatGPT 的价值，无论商业还是科研方面，ChatGPT 都已经成功证明了自己。我只是觉得世上不应该只有 xxGPT ，通用人工智能的道路满是荆棘，但光辉却洒满大地。希望通用人工智能早日实现。

一个 AI 小白的碎碎念。(前进提要:https://www.v2ex.com/t/893146)

[billzbc]

分享一个上周直播课的文档，通俗的介绍了一些 AGI 的原理：

https://drive.google.com/file/d/1nlTyxUCD9EZf6t-FEXC4GP6qC64BqkMZ/view?usp=sharing

[ijava]

感觉 100 年以后应该是能有意识的

[swim2sun]

人类飞上天并不是靠模仿鸟，而是通过空气动力学，同样实现“智能”不一定要人机器像让一样思考

[aliveyang]

可以本地跑啊，只不过这个本地的成本很高

[yzqtdu]

未来的研究发现可能会颠覆我们当前的认知甚至超出我们当前的想象能力，今天的”我认为”判断都可能太武断。另外，情景学习其实可以看作模型在隐式地进行微调，参见 Why Can GPT Learn In-Context?
Language Models Secretly Perform Gradient Descent as Meta-Optimizers
https://arxiv.org/pdf/2212.10559.pdf

[jspatrick]

我感觉缺少的那个灵动的点是主观能动性，是自我思考与学习，而不是被动输入，现在就有点像膝跳反射一样，说到底缺少了那么点真正的灵魂

[neoblackcap]

@Ricardoo 人类的基因组数据就 6.2GB 左右，ChatGPT 的模型怕不是比这个大多了。但是从各种深一点的推论来看，它远没有达到人类的智能。只能说底层的数学模型没法很好地描述“智能”。
与其将 ChatGPT 称之为人工智能，我更加倾向于这是人类未了解空气动力学之前仿照鸟类做的飞行器。

[WuSiYu]

有没有一种可能，chatgpt （ instructgpt ）的关键技术之一就是 RLHF （ Reinforcement Learning from Human Feedback ）
有没有一种可能，一个很重要的研究点就是 fewshot 、oneshot 乃至 zeroshot 的表现

与其发表“形而上学”的观点，不如先去了解一下现实吧

[aliezoip]

chatgpt 是按照一个工具在做

[Chihaya0824]

@swhhaa 啊，我是就把整个帖子前 20 楼丢进去提问他整理下准确和不准确的地方
It is true that the training material for ChatGPT contains natural language, and before being processed by the model, it undergoes various preprocessing steps, such as tokenization and vectorization. However, the model still learns to process and generate human-like text based on the patterns and structure of natural language present in the training data.

I apologize for any misinterpretation of the author's point of view. It's important to note that while ChatGPT is a powerful language model, it is not an example of a general artificial intelligence. The process of fine-tuning the model for specific tasks indeed does not conflict with the author's perspective. There are various ways AI can learn and interact with the environment, and natural language is just one of those methods.
上面是他的回复

[icoming]

只会直线想事情，稍微复杂一点的事情，问答是绕来绕去的，能把人气死

[009694]

虽然 op 很认真的在讨论，但是看得出来 语文能力堪忧、逻辑能力堪忧、哲学思考堪忧，然后还带了些中二

[swhhaa]

@thinker007
@swim2sun
是的。所以我也并没有讨论大脑是如何工作的。我认为 AGI 至少应该行为表现的像大脑，大脑可以通过接收自然语言，视频，音频..学习，而且效率远大于目前的 ChatGPT 。

[obama]

ChatGPT 本质上是一个模拟结构，训练也是不断通过不断喂数据不断优化，是“连续可微的”，这与非零即一的传统计算机在实现方式上有本质的不同，而传统计算机则是“离散的”，程序的演化只能通过修改排错来实现。而一些数学机械化任务则非对即错，是离散的，当前更适合传统结构的计算机来完成，而生成类任务是连续的，ChatGPT 当然更擅长。至于如何打通连续和离散的根本，百年之前康托尔就提出过“连续统假设”这个论题了

[silypie]

你可以了解一下 LeCun 的“世界模型” https://www.infoq.cn/article/87rqw0eatxh0u0agdt0w

[Ricardoo]

@neoblackcap chatgpt 是稠密模型，有相当大部分参数可以蒸馏剪枝，也许理解了模型黑盒后可以压缩到非常小。最后的比喻非常形象，有一种“人类妄想通过科技蛮力比肩神明”的原始力量 ^_^

[sillydaddy]

@silypie #95
「正如 Meta AI 首席人工智能科学家 Yann LeCun 所指出的那样，一个从未摸过方向盘的青少年可以在大约 20 个小时内学会开车，而当今最好的自动驾驶系统也需要数百万甚至数十亿带标签的训练数据和数百万次虚拟环境中的强化学习试验。即便如此，它们驾驶汽车也还是不如人类可靠。」

感觉 LeCun 拿这个举例子，比外行还要外行。

这不就是预训练大模型在做的事情吗：大模型预训练的基础能力就是对这个世界的常识认知(比如物体识别、障碍物、动机预测)，开车仅仅需要微调训练即可？
就好比现在训练 ChatGPT 在每个句子中的每个字之间插入一个新的字，或者让 ChatGPT 统计段落的字数。唯一的区别是现在 ChatGPT 的预训练，只是通过自然语言和代码的语料来完成的(还有图像)。

[sillydaddy]

@silypie
我忘了是在哪里看到过了，llya 说 LeCun 说的，跟 OpenAI 在做的，其实没有什么大的区别。我理解的就是，大模型训练得到的能力，肯定是跟训练的输入有关的啊，你拿互联网的语料训练它，它肯定得不出世界运行的逻辑啊，但如果把现实世界的输入和反馈给到它一起训练呢？

[lambdaq]

> 你不能像教一个姗姗学步的孩子一样，从 1+1=2 一直教到微积分。ChatGPT 没有长期存储模块，当然这只是一方面，其实这也解释了为什么 ChatGPT 只接受 4096 个 Token 。

实际上人也没有长期存储模块。不信的话你和 chatgpt 一起比赛做一个四位数乘除法。都不允许用草稿纸。你看你算得对还是 chatgpt 算得对。

人很多自以为 nb 的记忆、推理能力实际上是需要借助外部工具才能实现的。

[dongzhuo777]

先说明我没有去研究过 AI 相关的学术论文，但就目前我对 chatgpt 的使用情况下来。我觉得它还不具有逻辑思维的能力。最多就是个万能百科全书，过滤掉广告垃圾，高级一点的谷歌、百度而已。我认为真正的智能是有自己的逻辑思维，哪怕这个思维逻辑是错误的。但目前来看现在的 AI 并没有。毕竟它不会思考