这是一个创建于 266 天前的主题，其中的信息可能已经有所发展或是发生改变。
这些参数都设为 0 了，但是同样的请求依旧可能得到不同的输出，不知道大家有没有遇到这种 case
temperature = 0d
topP = 0
frequencyPenalty = 0
presencePenalty = 0
这个是正常情况还是有什么方式可以限制同样的输入同样的输出
如果是正常情况，我想了一下好像也合理，就像让他讲个笑话，他不一定讲的都是同一个笑话一样。
temperature = 0d
topP = 0
frequencyPenalty = 0
presencePenalty = 0
这个是正常情况还是有什么方式可以限制同样的输入同样的输出
如果是正常情况，我想了一下好像也合理，就像让他讲个笑话，他不一定讲的都是同一个笑话一样。
8 条回复 • 2024-03-21 10:09:41 +08:00
 |
1
kerb15 OP 尽管将温度参数设置为 0 、top_p 参数设置为 0 ，也不能完全保证在相同的输入提示下生成的文本完全一致，主要原因是因为在 GPU 计算过程中存在固有的非确定性。
这是因为浮点数计算中的微小差异可能会导致最终选择的 token 有微小变化，特别是当前两个最有可能的 token 之间的差异很小时，会偶尔选择不同的 token ，从而产生不同的结果。 同时，为了提高模型端点的速度，通常使用 GPU 进行计算，而 GPU 计算是并行的（非确定性的）。 在现代的 GPU 神经网络计算中，这种非确定性是无法避免的。 而且，如果模型被部署在不同的区域以实现负载均衡，不同区域的硬件和环境也可能会对模型的计算产生微小的影响，进一步增加了非确定性。 作者：月明 链接： https://www.zhihu.com/question/595912240/answer/3160446512 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 |
 |
2
dbg 265 天前 via Android
亲，你应该了解下大语言模型的原理，它们的输从原理上就是随机的。
|
|
3
dbg 265 天前 via Android
输出
|
 |
4
imes 265 天前 via Android
LLM 本质上是预测下一个 token 是什么，也就是“全靠猜”（只不过猜对的概率很大），更不存在“逻辑”这个概念。每次输出都是一场新的“猜测”，要保持前后，只能人为缓存。
|
 |
5
oliwans 265 天前 via iPhone
聊聊你对这个社会的看法，滔滔不绝说完了，我在问你同样的问题，你完整能给我背一遍刚刚的回答吗？你想要的是大模型还是固定模型？
|
 |
6
xmumiffy 265 天前
|
 |
7
kaidong21 265 天前
设置种子 seed
|
Select Language