我们在调用LLM的API时,有时候需要调整温度(temperature)参数,这个参数有什么用呢?

ChatGPT1年前 (2023)发布 残剑@葫芦娃AI
9.9K 0 0

我们在调用LLM的API时,有时候需要调整温度(temperature)参数,这个参数有什么用呢?

在Google的“生成式AI学习”课程的“Encoder-Decoder Architecture: Overview 编码器-解码器架构”这期视频里面,里面谈到了temperature参数的作用。

如果温度很高,它会使得所有Token的得分变得接近于0,这意味着这个Token更有可能被选中。会有更多的多样性,更多的内容可以被预测,这会使得模型变得更有创造性。但如果温度太高,神经网络只会预测出无意义的东西。

如果温度非常低,最高的概率得分会被乘以一个非常大的数,这会使得最高得分的Token有更大的被选中的概率,也就是说,模型的行为会更加确定。

© 版权声明

相关文章

暂无评论

暂无评论...