GPT4 API 好像无法保证每次输出都一样？

This topic created in 800 days ago, the information mentioned may be changed or developed.

这些参数都设为 0 了，但是同样的请求依旧可能得到不同的输出，不知道大家有没有遇到这种 case

temperature = 0d
topP = 0
frequencyPenalty = 0
presencePenalty = 0

这个是正常情况还是有什么方式可以限制同样的输入同样的输出

如果是正常情况，我想了一下好像也合理，就像让他讲个笑话，他不一定讲的都是同一个笑话一样。

输出

一致性

参数

8 replies • 2024-03-21 10:09:41 +08:00

ex1gtnim7d

Mar 20, 2024

尽管将温度参数设置为 0 、top_p 参数设置为 0 ，也不能完全保证在相同的输入提示下生成的文本完全一致，主要原因是因为在 GPU 计算过程中存在固有的非确定性。

这是因为浮点数计算中的微小差异可能会导致最终选择的 token 有微小变化，特别是当前两个最有可能的 token 之间的差异很小时，会偶尔选择不同的 token ，从而产生不同的结果。

同时，为了提高模型端点的速度，通常使用 GPU 进行计算，而 GPU 计算是并行的（非确定性的）。

在现代的 GPU 神经网络计算中，这种非确定性是无法避免的。

而且，如果模型被部署在不同的区域以实现负载均衡，不同区域的硬件和环境也可能会对模型的计算产生微小的影响，进一步增加了非确定性。

作者：月明
链接： https://www.zhihu.com/question/595912240/answer/3160446512
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。