我们在调用LLM的API时,有时候需要调整温度(temperature)参数,这个参数有什么用呢?
在Google的“生成式AI学习”课程的“Encoder-Decoder Architecture: Overview 编码器-解码器架构”这期视频里面,里面谈到了temperature参数的作用。
如果温度很高,它会使得所有Token的得分变得接近于0,这意味着这个Token更有可能被选中。会有更多的多样性,更多的内容可以被预测,这会使得模型变得更有创造性。但如果温度太高,神经网络只会预测出无意义的东西。
如果温度非常低,最高的概率得分会被乘以一个非常大的数,这会使得最高得分的Token有更大的被选中的概率,也就是说,模型的行为会更加确定。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...