ChatGPT 其实是通用人工智能的对立面

2023-04-06 10:09:54 +08:00
 swhhaa

有一种观点认为 人脑是大量神经元组成的神经网络,经过上百万年遗传进化(类似深度学习中的训练),智力也累计量变而质变,终于实现了所谓的智能。

但我觉得如果把神经网络的训练比作人类基因的遗传进化,那神经网络就缺少人类真正学习的过程。 比如,人类学会写代码并不是遗传出来的,而是通过接受自然语言形式的知识习得写代码的功能。 我更倾向把神经网络的训练比作个人的学习过程而不是遗传进化。人类遗传进化类似神经网络的一些超参数,例如层深,层的结构..。

那么对于 ChatGPT ,很明显。它的学习只能是,在代码层接受大量数据来调参。并不能通过它向人类提供的接口而学习。你当然可以对 ChatGPT 告诉它说 "Hi, 从今天起你叫小白,我将用小白来称呼你。",它也会短暂的记住“小白“是它的名字,但它只是在将 "Hi, 从今天起你叫小白,我将用小白来称呼你。"这句话添加到了输入中,根据输入计算输出来回答你。

你不能像教一个姗姗学步的孩子一样,从 1+1=2 一直教到微积分。ChatGPT 没有长期存储模块,当然这只是一方面,其实这也解释了为什么 ChatGPT 只接受 4096 个 Token 。

我想定义一个新名词“智力”,智力是结构的体现,而不是功能的象征,其中结构是功能的元数据,不随功能而改变。智力则决定了功能的上限,也决定了学习的效率。简单来说,人的智力并不会随着学会新知识而提高。对于同一个人,刚出生的婴儿和大学教授的智力是相同的。类比到深度学习,神经网络的智力在网络结构确定时也已确定,调参只增加它的功能而不是智力。所以人类遗传进化增长的是智力,因为大脑结构已经改变了。神经网络的训练增长的是功能。

说会通用人工智能。我理想中的通用人工智能首先应该是一个单机的结构,一个人的智力并不依靠互联网。第二通用人工智能要对外暴露学习接口,自然语言形式是最好的,视觉,听觉都可以,甚至神经网络的调参接口也可以。而 ChatGPT 并没有这样的接口。(所以可以本地跑的 LLM 模型是通用人工智能吗?理论上是的,但它的智力十分低下,你教会一个孩子 1+1=2 ,只需要对他用自然语言说出来就可以,但你教会一个从零开始的 LLM ,不知道要用多少数据,训练多长时间。这就是智力决定学习的效率。)

所以一个通用人工智能可以不会写代码,不知道 1+1=2 ,甚至连自己的名字都不知道。但我不介意从零开始指导她(只要她的智力足够高)。而 ChatGPT 正在走一条相反的道路,首先利用海量的计算能力和整个互联网的数据训练一个通晓天地万物的智能机器,但你却没法指导它成为你自己的模样,它属于 OpenAI 却不是你自己。

最后我并不质疑 ChatGPT 的价值,无论商业还是科研方面,ChatGPT 都已经成功证明了自己。我只是觉得世上不应该只有 xxGPT ,通用人工智能的道路满是荆棘,但光辉却洒满大地。希望通用人工智能早日实现。

一个 AI 小白的碎碎念。(前进提要:https://www.v2ex.com/t/893146)

14192 次点击
所在节点    程序员
128 条回复
swhhaa
2023-04-06 11:26:29 +08:00
@binux 你说的有道理。但我觉得孩子学到可以理解"1+1=2"的语言输入远小于任何一个神经网络达到相同程度的语言理解力所需的输入,归根结底是因为智力上的本质区别。所以我觉得神经网络结构确定后无论怎么调参,智力都有限,即便 ChatGPT ,通用人工智能应该聚焦在怎么设计结构而不是怎么训练。
kop1989smurf
2023-04-06 11:26:34 +08:00
名词之争没什么意义。
我也认为机器学习 AI 并不是“AI”,只是统计学上的局部最优解。但我也同样认为纠结“真正的学习”、“智力”等等其实没什么意义。

AI 拟人,其实是一种一厢情愿的意淫。就像人类认为的外星人都是两个眼镜一个鼻子的碳基生物一样。
机器学习 AI 的优势,就是通过强大的并行算力和数据,挖掘人脑没有发现的规律。既然是挖掘,那就一定不会与人的路径完全一样。

所以机器学习 AI ,并不是实现 AI 的唯一道路,我也认为一定不是最佳道路。
只是现在只能这么做,且基于目前的科技、数学水平,这么做最好而已。

btw:机器学习其实是上世纪 80 年代的概念。但基于当时并行算力与统计学的局限,被串行脚本策略 AI 吊打。
swhhaa
2023-04-06 11:29:10 +08:00
@yangyaofei 谢谢。我只是论文看腻了,感觉神经网络路走歪了,怎么调都搞不出通用人工智能,发点牢骚。
iloveoovx
2023-04-06 11:30:11 +08:00
基本逻辑理解全都有问题
甚至最简单的,智力本身。目前广义定义的智力是通过问题回答来测的,根本没有所谓的客观标准。当然,你定义了“结构的体现”,妄想着有一个“客观不变”的“智力”,但是不好意思,即便是神经结构也是在不断改变的,所以不存在教授和儿童智力一致这种事实。所以那些后面推论全都是错的。
llwwbb7
2023-04-06 11:31:12 +08:00
@binux 然而你教会一条狗 1+1=2 甚至学会简单的加减运算,并不需要你会狗语或者狗会人语
swhhaa
2023-04-06 11:36:33 +08:00
@iloveoovx 我还定义了结构是功能的元数据,不随功能而改变...神经网络的结构当然有变化,但如果神经网络的结构随着功能变化而变化,例如参数值,那就不是我定义的“结构"。


@llwwbb7 确实不需要,我也没说通用人工智能一定要通过自然语言学习,通过梯度下降学也可以,但效率就是问题了。
pkoukk
2023-04-06 11:38:23 +08:00
+1 名词之争没有意义,它可能不是你心目中的 AGI ,但是已经基本符合当前学术界定义的 AGI 了
yvescheung
2023-04-06 11:40:05 +08:00
事实上只要你不断和 GPT 聊天,聊天时把所有聊天记录都作为上下文,你也可以把 GPT 调教成你想要的样子。
openai 训练 GPT 模型相当于是模拟人类的进化,而学习相当于是调用 API 。
raysonlu
2023-04-06 11:46:35 +08:00
我坚持自己的两个观点:
1 )现阶段的手机,对比以前的,已经多了不少的输入(传感器、gps 、联网、摄像头等)和输出,而且还能帮我们在明地或者暗地里“做了不少事”,但我们最多只能说它“智能”,而不是有了“意识”;
2 )人类如果作为造物者也搞不清楚自己的意识怎样产生,不可能做出“能产生意识的产物”。
swhhaa
2023-04-06 11:52:17 +08:00
@yvescheung 表示怀疑。首先 ChatGPT 的 token 数量有限制,就算没有限制,给它一部上百万字的小说,你觉得它能搞记住多少里面的内容?除非你用梯度下降去训练它。
yvescheung
2023-04-06 11:59:54 +08:00
你给一个人类百万字的小说,你觉得他能记住多少里面的内容?或者说你上学时学过的课本,你现在还能记住多少里面的内容?
swulling
2023-04-06 12:04:01 +08:00
Talk is cheap.

LLM 是不是通向 AGI 的道路不知道,但是其他的路连看都看不见。
与其批判 LLM 走错路了,不如自己走一条正路,如果你用别的方法实现了哪怕 LLM 1/10 的能力,那你肯定会火起来~
manasheep
2023-04-06 12:08:05 +08:00
你能否认它 通用 吗?
swhhaa
2023-04-06 12:09:44 +08:00
@swulling 我没这个能力。只是希望业界认真搞 AGI 的别跟风去研究 ChatGPT ,反正不是我理想中的 AI 。
akira
2023-04-06 12:10:15 +08:00
人工智能为啥就必须和 人 一样去学东西? 物种都不是一个
leonshaw
2023-04-06 12:15:29 +08:00
感觉量子效应应该在底层起到关键作用。
swhhaa
2023-04-06 12:16:08 +08:00
@yvescheung 如果学习相当于调 API ,那人类的所有知识直接通过自然语言的形式告诉 ChatGPT 就可以了,为啥还需要训练。

@akira 难道神经网络的训练不是另一种意义的学习吗
IwfWcf
2023-04-06 12:23:47 +08:00
现在的调参和架构设计需要人来参与,但等 AI 水平足够高时就可以让 AI 自己来进行了。就像 AlphaGo 一开始是用人类棋谱来学习,但等 AlphaGo 水平够高后就靠自我对弈来提升了
swhhaa
2023-04-06 12:25:02 +08:00
@manasheep 狭义上的通用就是 ChatGPT 这样,一个预先训练好的大模型,啥都懂,啥都会,但不能通过它提供的能力自然而然的学习。广义上的通用是这样的,她开始啥都不会,甚至 1+1=2 都不会算。但你可以教她,先从学会说话开始,学会说话后,教她 1+1=2 ,教她使用互联网,然后对她说,你已经是一个成熟的 AI 了,今天我想写一段 xx 功能的 python 代码,但我不会。你自己去互联网上学学怎么写代码,然后给我写一下这个功能。
IwfWcf
2023-04-06 12:25:43 +08:00
至于单体效率是没有意义的,因为从一个分布式系统的角度考虑,人组成的集群可扩展性是很有限的,但机器效率再低可扩展性也完爆人类

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/930154

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX