ChatGPT 其实是通用人工智能的对立面

2023-04-06 10:09:54 +08:00
 swhhaa

有一种观点认为 人脑是大量神经元组成的神经网络,经过上百万年遗传进化(类似深度学习中的训练),智力也累计量变而质变,终于实现了所谓的智能。

但我觉得如果把神经网络的训练比作人类基因的遗传进化,那神经网络就缺少人类真正学习的过程。 比如,人类学会写代码并不是遗传出来的,而是通过接受自然语言形式的知识习得写代码的功能。 我更倾向把神经网络的训练比作个人的学习过程而不是遗传进化。人类遗传进化类似神经网络的一些超参数,例如层深,层的结构..。

那么对于 ChatGPT ,很明显。它的学习只能是,在代码层接受大量数据来调参。并不能通过它向人类提供的接口而学习。你当然可以对 ChatGPT 告诉它说 "Hi, 从今天起你叫小白,我将用小白来称呼你。",它也会短暂的记住“小白“是它的名字,但它只是在将 "Hi, 从今天起你叫小白,我将用小白来称呼你。"这句话添加到了输入中,根据输入计算输出来回答你。

你不能像教一个姗姗学步的孩子一样,从 1+1=2 一直教到微积分。ChatGPT 没有长期存储模块,当然这只是一方面,其实这也解释了为什么 ChatGPT 只接受 4096 个 Token 。

我想定义一个新名词“智力”,智力是结构的体现,而不是功能的象征,其中结构是功能的元数据,不随功能而改变。智力则决定了功能的上限,也决定了学习的效率。简单来说,人的智力并不会随着学会新知识而提高。对于同一个人,刚出生的婴儿和大学教授的智力是相同的。类比到深度学习,神经网络的智力在网络结构确定时也已确定,调参只增加它的功能而不是智力。所以人类遗传进化增长的是智力,因为大脑结构已经改变了。神经网络的训练增长的是功能。

说会通用人工智能。我理想中的通用人工智能首先应该是一个单机的结构,一个人的智力并不依靠互联网。第二通用人工智能要对外暴露学习接口,自然语言形式是最好的,视觉,听觉都可以,甚至神经网络的调参接口也可以。而 ChatGPT 并没有这样的接口。(所以可以本地跑的 LLM 模型是通用人工智能吗?理论上是的,但它的智力十分低下,你教会一个孩子 1+1=2 ,只需要对他用自然语言说出来就可以,但你教会一个从零开始的 LLM ,不知道要用多少数据,训练多长时间。这就是智力决定学习的效率。)

所以一个通用人工智能可以不会写代码,不知道 1+1=2 ,甚至连自己的名字都不知道。但我不介意从零开始指导她(只要她的智力足够高)。而 ChatGPT 正在走一条相反的道路,首先利用海量的计算能力和整个互联网的数据训练一个通晓天地万物的智能机器,但你却没法指导它成为你自己的模样,它属于 OpenAI 却不是你自己。

最后我并不质疑 ChatGPT 的价值,无论商业还是科研方面,ChatGPT 都已经成功证明了自己。我只是觉得世上不应该只有 xxGPT ,通用人工智能的道路满是荆棘,但光辉却洒满大地。希望通用人工智能早日实现。

一个 AI 小白的碎碎念。(前进提要:https://www.v2ex.com/t/893146)

15846 次点击
所在节点    程序员
128 条回复
Cha0s1
2023-04-07 23:37:27 +08:00
根据我的理解,LZ 理想中的 AGI 需要先有一个阶段,即几乎不具备知识,但有完备的智力,在此基础上能够仅通过必要的(和人类相当的)材料就可以完成新知识的学习。但 ChatGPT 归根结底是个语言模型,训练过程就是依靠大量语料,指望他在学习的过程中,并不学特定的知识,同时又具备人类的智力,个人觉得基本不可能。

当然,我觉得 LZ 的思路还是很有意思的,可以想象几个场景:

一个 100 年前的人穿越到现在,眼前大部分事物他可能都没见过,但当我们和他对话时,只会觉得他一无所知,但不会觉得他有智力障碍。我们能不能训练出这样一个模型,什么都不会,但什么都能学且学习成本很低?

或者降低下难度,有没有可能训练出一个“文科生”,在预训练阶段没见过任何和计算机有关的语料,然后给它几本计算机教材,它就会简单的编程了?

我认为后者是可能实现的。无论是通过 in-context 还是 fine-tune 。当然,如果仅仅通过 prompt ,你可能会说这种情况下参数没有改变,因此学习的知识其实没有内化到模型里。但目前模型的本质都是参数而已,如果你认为训练只是用知识来增加功能,而通过 in-context learning 学习又没改变参数只是把特定输入放进函数 f 再输出,这样改不改参数两头堵,那我确实想不到目前的范式下该怎么办才符合你说的学习过程。

实际上我觉得模型在训练过程中是学习到了大量语言规律和真实世界的逻辑关系的,如果你还觉得这不够“通用”,那限制大概只是来源于它认识世界只能通过语言这个单一的方式。
swhhaa
2023-04-08 10:03:30 +08:00
@probe301 手机回复。简单说下,dx 里的 x 是数据, 不是 fx 里面的 x 。关于 gx 你可以类比高斯密度函数,密度函数的值没有物理意义,但它积分后就可以表示概率。关于你说的讨论话题,更应该是 1 。但我认为不存在主动改自身结构的智能,这里的“结构“指开始接收训练数据那一刻的全部状态。比如人的大脑,在成长过程中人脑神经元物理结构确实有变化,但假设两个刚出生婴儿的大脑物理分子层面上一模一样,出生后接收的外界信息也一模一样,一段时间后我认为这两个大脑在物理层面上也是一模一样的,我说的结构就是大脑在开始接收数据前的状态。所以 agi 的核心应该是去找出这个结构让它的 gx 足够高,而不是用一个很低的 gx 训练大量数据达到一个很高的| f |。


@Cha0s1 例子很好。我先认为你说的文科生就是 fin-tune 。但是否是 fine-tune 我觉得不是核心。fine-tune 只改变 f 却不改变 g 。假设现在的 ChatGPT 就是你说的文科生,并假设它不会写代码,我要教会它写代码只通过和它对话的方式肯定是不行的,只能用梯度下降的方式。但文科生可以,你和他对话就行。梯度下降的方式有它的优点,但对人来说是一种效率很低的学习方式。
swhhaa
2023-04-08 10:05:28 +08:00
@swhhaa 另外我理解的通用和是否多模态没有任何关系,如果我能通过和 chatgpt 对话的方式教会它写代码,我也认为它是通用的。
probe301
2023-04-08 13:50:42 +08:00
@swhhaa


> 但我认为不存在主动改自身结构的智能,这里的“结构“指开始接收训练数据那一刻的全部状态

从实践角度, 这世上哪有啥固定不变的东西? 一个人三岁到三十岁, 脑结构怎么可能不变?
换个思路, 智能体不可以扩展自己吗? 当我想展现出 "数学智能" 时, "我+笔记小抄+文献库" 不能算个复合智能体吗?

我感觉你想表达的这个 "结构" 的含义, 其实有点像 "认知主体 (人 /动物 /硅基体) 的先天认识形式"?


> 我要教会它写代码只通过和它对话的方式肯定是不行的,只能用梯度下降的方式

这楼里之前有网友贴过论文了, 上下文学习可以看作模型的隐式微调


> 如果我能通过和 chatgpt 对话的方式教会它写代码,我也认为它是通用的

我感觉你可能低估了 ChatGPT 的能力
不知道楼主对 提示词工程 了解多少, 可以看看这个人的研究
https://www.zhihu.com/question/582621456/answer/2891745513
注意最后他长图里的例子, 当教给 ChatGPT 啥是 "模式 A+B" 之后 (近似理解为函数复合), ChatGPT 自动学会了模式 A+B+C
这还没完, 他做了很多实验, 一直研究到 ChatGPT 能否自己模拟自己
他的实验, 是侧重模式识别的,
你关心的是 "理解抽象定义并具体应用" (演绎式的), 这我目前没找到亮眼的例子, 找到了分享给你
当然以目前能力 "假设 chatgpt 不会写代码, 临时去教 chatgpt 写代码" 我也觉得没戏, 跟你看法一致

---

此外, 楼主似乎觉得智能体应该表现出 "训练推断没明显分界" 的特性, 我的理解是:

从最终要达成目标上, 赞同
从当前实践上, "训练+推断两阶段分离" 的好处, 要远胜过 "训练与推断融为一体" 的好处, 原因:

1 当下阶段, 分离了有利于 debug, 方便研究
2 视角拉远, "训练+推断两阶段分离" 可以模拟 "融为一体" 的效果,
你可能反驳: 以人为制定的步骤, 模拟出 "推理后把新知识内化到原模型", 不算本事
我的观点: 先用着再说, 小步前进有益于理解 AI 的行为, 也有益于理解人本身
3 方便产品设计: 也许以后 ChatGPT 可以加个 "把用户标注的问答记忆到用户私人 LoRA 里" 的功能, 融一起可就摘不出来了, 考虑到 LoRA 可叠加合作, 也许以后一边干活一边顺手训练出符合你个人代码风格的微调层, 然后把它分享给小伙伴
swhhaa
2023-04-08 15:22:00 +08:00
@probe301
1. 是的,这个“结构”确实玄学,我这里图方便定义成“结构”,可能就会导致难以理解。

2. 微调有价值,但我认为它的能力也是有限的。如果某个 ChatGPT 的新功能可以通过梯度下降的方式训练出来,这个功能也可以直接通过和它对话来让它实现,我才认为勉强达到了通用的门槛,当然这里还有一个效率的问题。

3. 你发的知乎我没太仔细看。同第 2 点,无论 ChatGPT 现在多强大,但肯定有不如人的地方。如果是 AGI ,直接和她对话让它学到这些和人的差距就可以,但和 ChatGPT 对话只能是微调,我觉得没法做到梯度下降训练的效果。我质疑这点主要是因为,有一次我让 ChatGPT 写一段获取日语单词中单个汉字的假名的代码,可能需求比较奇葩,互联网上的资料从没人写过类似的需求,我让它改了很多次,无论怎么教它,都写不对。我用的是 v3.5 ,不知道 v4 版本的怎么样,但即便可以写出来,也一定存在某个需求它做不到,但你又教不会它。因为只能微调。

4. 最后那段没看太懂你的意思,就不回复了。
swhhaa
2023-04-09 10:02:04 +08:00
一篇知乎上相关的问题
https://www.zhihu.com/question/581851946/
swhhaa
2023-04-09 10:02:42 +08:00
TransAM
2024-01-02 21:36:34 +08:00
最大的错误就是: [和人脑结构一样] 和 [具有类似人脑的智能] 是个单向的推理。

和人脑结构不一样也可能具有智能。这样的例子比比皆是。

飞机没有鸟的结构照样能飞,潜水艇没有鱼的结构照样能游泳,屠宰机器没有人类双臂的结果照样能杀动物。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/930154

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX