xuliang12187 最近的时间轴更新 xuliang12187 最近的时间轴更新 |
xuliang12187V2EX 第 514954 号会员，加入于 2020-10-28 13:44:41 +08:00 |
xuliang12187 最近回复了
2 天前 回复了 xuliang12187 创建的主题 › 程序员 › Google 云平台 Vertex AI 服务 流式输出非常慢， gemini-3-pro-preview 模型，首个流式输出超过 17s，有没有好的解决方案 |
@fov6363 vertex 先阶段 没有 endpoint 独立实例概念，现在只有 global 全球的。说是有不同付费级别。那个是针对业务并发量高。并不能解决 接口延迟问题
2 天前 回复了 xuliang12187 创建的主题 › 程序员 › Google 云平台 Vertex AI 服务 流式输出非常慢， gemini-3-pro-preview 模型，首个流式输出超过 17s，有没有好的解决方案 |
@chenluo0429 调过一样，很慢都超过 17s
2 天前 回复了 devloperchen 创建的主题 › 程序员 › Android Studio AI 工具要怎么才能正常使用啊！ |
gemini-3-pro-preview 用这个模型速度咋样。Google 云平台 Vertex AI 服务 流式输出非常慢 超过 17s ，你那边有啥解决方案嘛
2 天前 回复了 xuliang12187 创建的主题 › 程序员 › Google 云平台 Vertex AI 服务 流式输出非常慢， gemini-3-pro-preview 模型，首个流式输出超过 17s，有没有好的解决方案 |
用了 gemini-2.0-flash 模型首个 token 输出 300ms 200 字的故事，3-4s 就返回了全部内容了 gemini-2.5-flash 首 token 超过 3s 很慢，总时间长度超过 5s ，gemini-3-pro-preview 首个 token 超过 12s ，我们用的 google cloud 企业服务 vertex AI apI 接口。
Select Language