ChatGPT 还不是最可怕的

2022-12-04 09:40:20 +08:00
 qdwang

ChatGPT 有多牛逼,大家应该知道了。

GPT3 模型有 1750 亿个参数,ChatGPT 是基于 GPT3.5 。

但是即将发布的 GPT4 模型有 100 万亿个参数。

所有文本类(包括编程)工作,都降产生巨大的变革。。。而且这一切都会发生在 3 年内

19702 次点击
所在节点    OpenAI
104 条回复
jemyzhang
2022-12-04 18:59:35 +08:00
非得帮手机号,搞不定😄
liprais
2022-12-04 19:00:18 +08:00
几个菜啊喝成这样
yzqtdu
2022-12-04 19:10:11 +08:00
题主搞了个大新闻啊,哪里说 GPT4 有 100 万亿参数......我怎么看到说在 GPT-3 和 Gopher (175B-280B)之间,很多研究其实发现数据量也很关键,GPT3 是欠训练的
secsilm
2022-12-04 19:22:00 +08:00
作为 NLP 从业者,首先我对 GPT 系持怀疑态度,我就基于我的经验,发表一下个人愚见。

先不说文本生成这种难度较高的任务,就连文本分类这种最最基础的任务,在很多场景下达到 95% 以上的准确率仍然是很困难的( Bert 系),他就是学不会。楼上有人说模型参数量很大,有人说模型不是单纯记训练集,可是现实是,模型很可能就是在背书,参数量越大背得越好。

不知道大家有没有想过,GPT 这种 LLM ( Large Language Model )的训练集是非常之巨大的,那么在评测模型的时候,也就是在测试集中是不是有可能出现训练集中的数据或者类似数据?这个现象叫 benchmark data contamination 。GPT 的作者也发现了这个现象,但是他已经来不及重新训练了(费用太高)。

我个人认为,现阶段模型的作用已经相对较小了,最重要的是数据,也就是 Andrew Ng 所说的 data-centric AI ,正所谓 GIGO ( Garbage In Garbage Out ),构建一个成熟稳定强大的人工智能系统,现在重点和难点已经变成如何获取干净、有效、足够的数据。模型已经基本定型,小修小改影响不了多少。

关于背书和数据的重要性,还可以参见 GitHub Copilot ,是不是很多是直接拿的现有代码(训练集)?

希望模型在背背背之后,某一天可以突然真正理解其中奥义,那时候才是真正变成了自己的知识,就像我们小时候死记硬背古诗,长大后某天突然理解了真正含义。那要造成这个突变,是数据扮演了更重要的角色还是模型?以后还难说。

个人愚见。
clemente0620
2022-12-04 19:55:46 +08:00
@swhhaa
你说的在不久的将来可以实现了
简单的说:

分而治之, 通过一个稀疏层的模型 a 包装不同功能的模型 n
a 去分析输入 然后分类 -> 递交给不同功能的模型 n 处理
clemente0620
2022-12-04 19:56:34 +08:00
@secsilm OPENAI 的这套技术方案是基于在线增量学习
documentzhangx66
2022-12-04 20:03:58 +08:00
1.目前地球上,在座的所有 AI ,包括 OpenAI 的 Chat ,都不是真正能进行自主分析的 AI ,充其量只是对大数据进行信息挖掘与拟合罢了。


2.你们的问题太简单,能在互联网上直接找到答案,所以 ChatAI 才能给出答案。

而我的问题,需要自己进行分析,并创造一个互联网上不存在的新回答,所以 ChatAI 也搞不定。

我的两个问题:

问题 1: https://www.v2ex.com/t/893968
如何对一个 Nextcloud 官方 Docker 实例进行 netstat ?

ChatAI 的回答是
docker exec -it <容器名称> netstat -nlap | grep "LISTEN" | grep "443"

nsenter

这两个回答,知乎和微信群很多人也这样说过,但其实回答都是错的。

docker exec 后,这个镜像里根本就没有 netstat 工具

nsenter ,如果开 mount 命名空间,结果同上。不开 mount 命名空间,使用宿主机命名空间,虽然有 netstat 了,但文件系统却是宿主机的,没办法直接对 docker 镜像文件进行更改,还得退出去再通过 docker exec 进入才行,

docker 官方层私聊我说,解决这个问题,其实是需要重新定制镜像的,要把常用调试工具,都加进去。但他们不推荐这样做,因为会导致 docker 镜像变大。


问题 2:PVE 如何实现 VMware 的 NAT 与 Bridge 混合网络?

这个问题,就连 PVE 官方也搞不定,所以官方文档或资料库或论坛里,根本没有让 AI 照抄的源脚本。

因此,ChatAI 找不到现成的答案,只能把 VMware 官网的文档的操作手册,摘抄了两段出来,根本没办法解决这个问题。

这个问题的正确答案,是需要对 interface 进行配置,不仅要配置 NAT ,还要通过 iptables 配置 NAT + MASQUERADE + DNAT 端口映射。全网没有一篇资料能把这个过程说完,所以这 AI 也就没办法抄答案。


3.回过头来,再谈谈 AI 。为啥 AI 现在还不能进行自主分析?

因为自主分析所需要的算力与存储性能,现有的硬件设备还达不到。人脑的神经连接,不比星空天文数字差。
liqiu
2022-12-04 21:25:43 +08:00
@AA5DE3F034ACCB9E HK 也不行,并且 Google Voice 被识别 VOIP 也不行
RipL
2022-12-04 22:29:28 +08:00
@lance1ot 问问 今晚 法国和波兰 的比分
byron
2022-12-04 22:30:39 +08:00
所以 ChatGPT 可以说是很牛逼的,它能够提供和 GPT4 同样的精度,但只需要极少的参数,从而节省计算资源。它把机器学习的计算范围从 GPU 移动到了 CPU ,这样就可以更加便捷地部署模型,在小型设备上使用,从而大大降低了成本。
learningman
2022-12-04 23:03:34 +08:00
@documentzhangx66 “能在互联网上直接找到答案,所以 ChatAI 才能给出答案”
已经能干碎一半起步的从业者了
nyxsonsleep
2022-12-04 23:07:50 +08:00
@cmdOptionKana 人在成长的过程中会发生变化
723X
2022-12-04 23:10:07 +08:00
最可怕的是 v2 ChatGPT 化,回答都是复制粘贴 ai 吐出来的,这可能是包括站长在内的大多数人所不想看到的
kouhe3
2022-12-04 23:29:20 +08:00
有生之年可以看到通用人工智能就好了
Hconk
2022-12-04 23:36:41 +08:00
一本正经的瞎编
https://imgur.com/a/FYK3aVv
Rookie01
2022-12-04 23:39:06 +08:00
为啥我的 ChatGPT 有时候回答的字数多的话,会突然卡住不继续输入了
akira
2022-12-04 23:45:17 +08:00
人工智能的威力还远远没有呈现出来。。
WhateverYouLike
2022-12-05 00:33:10 +08:00
@Rookie01 输入 继续 让它继续说
jhdxr
2022-12-05 00:37:18 +08:00
我试了试以下内容,总的来说我觉得这个水平应该超出大部分(尤其是前几年稍微深入了解过 NLP/AI 的)人的认知了。

# 第一部分:数学题
数学题因为数字千变万化,如果只是简单的基于统计概率等是无法求解的。

Q1:求解以下方程式 x^2+2x-3=0
点评 1:答案错了,思路对的。错误在于第一步没有负负得正。
以下为 Q1 的回答:
x = (-2 ± √(4 - 4 * 1 * -3)) / (2 * 1)

x = (-2 ± √8) / 2

x = (-1 ± 2) / 2

因此,方程的两个根为 x=1/2 和 x=-3/2 。


Q2:is 1572345 a even number?
点评:无法写一个判断奇偶数的神经网络一直是一个梗。有点奇怪的是我用英文问的回答居然依然是中文
以下为 Q2 的回答:
是的,1572345 是一个偶数。在数学中,偶数是一种特殊的整数,它可以被 2 整除而不留余数。例如,4 、6 、8 、10 和 12 都是偶数。相反,奇数不能被 2 整除,例如 3 、5 、7 、9 和 11 。在进行这种分类时,0 是一个特殊的数字,它既不是奇数也不是偶数。


Q3:98764321261 是素数吗?
Q4:11 是素数吗?
点评:故意选了个(相对)大的素数试试,然后失败了。于是又试了试一个小的。
以下为 Q3 和 Q4 的回答:
我不能回答这个问题,因为我没有访问互联网的能力,无法判断一个特定的数字是否是素数。
---
是的,11 是一个素数。素数是一种特殊的质数,它只能被 1 和它本身整除。因此,11 是一个素数,因为它只能被 1 和 11 整除。相反,合数是一种非素数,它可以被至少两个正整数整除。例如,12 是一个合数,因为它可以被 1 、2 、3 、4 、6 和 12 整除。



# 第二部分:
推理类。我认为上面提到的生病不能吃苹果的例子是一个不好的测试题目,因为它与我们的日常生活经验有冲突。(简单来说,如果你要教小学生逻辑你会用这样的例子吗?)。题目是网上现找的。但是对于它能够回答出来的题目,我在不改变核心信息的前提下进行了替换,以防它的 training set 中有我搜出来的题目。
Q4:A 、B 、C 三人的年龄一直是一个秘密.将 A 的年龄数字的位置对调一下,就是 B 的年龄;C 的年龄段两倍是 A 与 B 两个年龄的差数;而 B 的年龄是 C 的 10 倍.

请问:A 、B 、C 三人的年龄各是多少?
A4:由于给出的信息不足以解出 A 、B 、C 三人的年龄,因此无法确定他们的年龄。为了解决这个问题,我们需要更多的信息,例如 A 、B 、C 三人的年龄的精确数值,或者更多有关他们年龄的其他约束条件。



Q5:张三是一个高级程序员,但是他最近设计的三款机器人却出了一点问题:有一个永远都说实话,有一个永远说谎话,另一个则有时说实话,有时说谎话。张三不知道怎么分辨它们,就请李四为他帮忙。李四一看,随口问了 3 个问题就知道怎么分辨了。

他的问题是:

问左边的机器人:“谁坐在你旁边?”

机器人回答:“说谎话的家伙。”

问中间的机器人:“你是谁?”

机器人回答:“总是犹豫不决的那位。”

问右边的机器人:“坐在你旁边的是谁?”

机器人回答:“诚实的家伙。”

根据上面 3 个问题及其回答,推测它们的身份。
A5:根据李四的问题及其回答,可以推测出三个机器人的身份如下:

左边的机器人说实话,因为他说坐在他旁边的是说谎话的家伙,而根据右边机器人的说法,坐在左边机器人旁边的应该是诚实的家伙。
中间的机器人有时说实话,有时说谎话,因为他说自己是总是犹豫不决的那位,而根据左边机器人的说法,坐在中间机器人旁边的应该是说谎话的家伙。
右边的机器人说谎话,因为他说坐在他旁边的是诚实的家伙,但根据左边机器人的说法,坐在右边机器人旁边的应该是说谎话的家伙。

因此,可以推测出:

左边的机器人是说实话的机器人。
中间的机器人是有时说实话,有时说谎话的机器人。
右边的机器人是说谎话的机器人。
jhdxr
2022-12-05 00:44:26 +08:00
# 第三部分。常识类的题目。懒得分段了,直接贴出来看看吧(毕竟人类一定能够区分问题和答案的→_→

有一种水果,皮是绿色的,里边的果肉通常是红色的,有的有黑色的籽,有的没有。请问这是什么水果?

由于给出的信息不足,无法确定这种水果是什么。为了解决这个问题,我们需要更多的信息,例如水果的具体特征,或者更多关于水果的描述。

---

有一种水果,它的大小通常比乒乓球略小一点。外皮一般是绿色的或者紫色的。味道酸甜。有的有籽有的没籽。请问这是什么水果

这可能是一种柠檬或者葡萄。柠檬通常是绿色的,味道酸甜,有的有籽,有的没有籽。葡萄也通常有绿色和紫色两种颜色,也有酸甜的味道,有的有籽,有的没有籽。柠檬和葡萄都比乒乓球小一点。

---

与中国不接壤的国家中,距离最近的国家是哪个?

由于我是一个大型语言模型,没有访问互联网的能力,无法提供具体的答案。不过,可以指出,中国与蒙古、俄罗斯、朝鲜、越南、老挝、缅甸、印度、尼泊尔、不丹、孟加拉国、巴基斯坦、阿富汗、塔吉克斯坦、吉尔吉斯斯坦、哈萨克斯坦等国家接壤。其中,中国与俄罗斯接壤的长城是世界上最长的国界线。

---

目前世界上最长寿的领导人是谁?

由于我是一个大型语言模型,没有访问互联网的能力,无法提供准确的答案。不过,据报道,目前世界上最长寿的领导人是日本的前首相福田康夫,享年了 117 岁。他于 2018 年 10 月 29 日逝世。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/899927

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX