OpenAI 接口访问速度问题

2023-03-29 23:03:26 +08:00
 MarlonFan

发现使用 stream 模式能非常快的响应结果. 但是如果直接使用 gpt3.5-turbo 模式的话, 每个问题的答案生成需要 20s 左右。 不知道大家有什么好办法么?

目前使用了新加坡机场 和 aws 日本节点, 都非常的慢。

2477 次点击
所在节点    程序员
8 条回复
charmToby
2023-03-29 23:07:00 +08:00
就用 Stream 模式就行，很快的，可以了解下 SSE ，很简单的，每次返回一个字，和官网效果一样。
swulling
2023-03-29 23:08:13 +08:00
总时长是一样的，只是 stream 让你感觉快了而已
cocomiko
2023-03-29 23:13:06 +08:00
stream 从第一个字到最后一个字也差不多要花 20s 左右
tool2d
2023-03-29 23:14:38 +08:00
你写代码只能用 stream 模式，用非 stream 实在太慢了。
yrj
2023-03-30 00:36:28 +08:00
如果不是做聊天，没必要搞打字效果。。
TomsOutside
2023-03-30 00:42:53 +08:00
感觉跟你的问题有关，偏综合性的，比较性的，会更慢一些
kerb15
2023-03-30 01:09:10 +08:00
接机器人的时候就很蛋疼，因为各种场景和应用下的机器人，基本都不支持流式输出
MarlonFan
2023-03-31 00:00:51 +08:00
感谢大家，了解了，可能确实体感占据很大一部分因素

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/928314

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX