为什么国内大模型速度比 chagpt 慢很多

[yiwanjidanmian]

我大段文本，gpt-4o 3 秒左右就能返回，国内比如智谱清言，文心一言就要 10 秒多才能返回，有没有知道原因啊，真难搞

[kyor0]

这不正常么

[jr55475f112iz2tu]

虽然 4o 本身就是牺牲质量换速度
但除了技术比不过，你觉得还能有什么其他影响因素？

[TheJustin]

老黄专程送 H200 给奥特曼，国内还在用上一代的阉割算力，阉割不说，数量还跟不上……

[Antihank]

体会到了登子扼颈的窒息吧

[ktqFDx9m2Bvfq3y4]

还有就是人才的意愿问题，如果给人才一个选择的机会，去美或中，答案就是原因。

[ronyin]

百度文心一言还有人用么。。

[pi7m1Dr691wfl95q]

gpt-4o sleep()写太小了

[weijancc]

我目前对比了所有国内 AI 产品,抖音的豆包和讯飞的 AI 比较快, 但是训分的 UI 太丑了.. 抖音的回答质量会稍微弱一点, 但是够用了.

[kenvix]

没钱
实际上你自己部署开源的国内大模型就会发现速度也很快的...比如阿里 Qwen1.5

[Retas]

moonshot 基本秒回

[yiwanjidanmian]

@Retas 那我试试

[Reid]

@Retas moonshot 输入长文本，经常卡住啊

[ardour]

算力都不在一个级别

[frankkly]

@pingpz #7 华为：别逼我写 sleep(0)

[JoeDH]

国内的那回复都是一个一个字返回来的，gpt 的是一大段直接吐出来给你

[Donaldo]

没钱 没卡

[kenvix]

@eastjoehan #15 你这说的，哪个 LLM 不是 token by ken ？

[wweerrgtc]

也许是需要审核 输入和输出的内容

[zhangdp]

可能需要分析审核内容耗时了，不允许违法的特别的反动的词语

[macaodoll]

问就是制裁没显卡，