ChatGPT 的回复太慢了有啥办法可以加快吗

2022-12-12 17:19:50 +08:00
 podel

如题。 chatgpt 回复的时候那个打字框贼慢贼慢。长回答的时候看得都要急死了。 后台应该数据早就一次性就返回了。 有什么油猴脚本之类得能够加快回答得回复显示得速度吗?

10568 次点击
所在节点    OpenAI
22 条回复
zhoufenfens
2022-12-12 17:24:45 +08:00
它应该是保持着一个长连接吧,不是一次性返回然后逐字渲染。
bluedawn
2022-12-12 17:25:25 +08:00
似乎是这两天才这样的,原因不知道,可以试试 GitHub 大佬做的相关项目
podel
2022-12-12 17:25:39 +08:00
没错。采用得是长 POST 回复信息得。 而不是一次性回复信息。
所以必须保持 长得稳定得连接才行。没办法加快
lookStupiToForce
2022-12-12 17:26:14 +08:00
应该不是“后台应该数据早就一次性就返回了”
有些回答会中断停留很长时间,有时候甚至会直接回答一半直接挂掉
mxT52CRuqR6o5
2022-12-12 17:36:24 +08:00
@lookStupiToForce 我也觉得 chatgpt 的一个字一个字蹦出来的设计是受限于模型设计的,OP 认为『后台应该数据早就一次性就返回了』有点太想当然了
podel
2022-12-12 17:45:00 +08:00
@mxT52CRuqR6o5 就算不行也应该 先把数据准备好。 然后一次性返回。 长 POST 真的太难稳定了。
Garalt
2022-12-12 17:55:21 +08:00
用英语比中文快,个人体验
me221
2022-12-12 19:40:47 +08:00
有没有可能是你国不稳定
systemcall
2022-12-12 22:22:42 +08:00
VPN 太烂了吧,换个好点的就会快不少
ViolaH
2022-12-12 23:14:29 +08:00
@me221 不是,我在海外这几天照样很慢,还容易跳 network error ,前几天没这样
zhuweiyou
2022-12-13 00:01:03 +08:00
长连接持续返回的,并不是一次返回
Shosuke
2022-12-13 00:17:12 +08:00
它好像最近的人类道德观念非常强烈
netabare
2022-12-13 01:22:19 +08:00
一个字一个字返回这个应该是最近增加的 throttling ,之前是一段一段话返回的,估计没有任何办法加快。
rpman
2022-12-13 02:34:25 +08:00
这种序列 decoding 模型 streaming 其实是一种优化
因为完整解码就要这么多时间。他只是把中间结果也展示了。
needpp
2022-12-13 08:03:00 +08:00
![image]( http://tvax1.sinaimg.cn/large/63211452gy1h91uvhz4k4j21dg0o47wh.jpg)


顺带问一下,我想知道这种分段的数据前端怎么接收的?
summer2019
2022-12-13 08:12:59 +08:00
@needpp event stream
Tink
2022-12-13 08:25:21 +08:00
他在组织语言
Ocean810975
2022-12-13 08:25:51 +08:00
@ViolaH 话说是不是因为不在美国?你要在美国当我没说
eggsblue
2022-12-13 08:47:50 +08:00
作为一个人,你也需要组织语言来交流🥹
neptuno
2022-12-13 08:49:28 +08:00
人也是这样说话呀,问完问题,去做点其他事情,就跟微信聊天一样。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/902002

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX