樱桃小公举1. 从厨师到诗人：温度参数的本质解析
在大型语言模型的工作机制中，温度(Temperature)参数就像一位创意总监手中的调节旋钮，它直接决定了模型输出的"保守程度"与"创新程度"。这个看似简单的参数背后，蕴含着概率分布的深刻数学原理。
1.1 概率分布的重新标定
温度参数的本质是对模型输出的原始logits进行缩放处理。具体来说，给定原始logits向量z，经过softmax计算后的概率分布为：
code复制p_i = exp(z_i/T) / Σ_j exp(z_j/T)
当T=1时，这就是标准的softmax函数。但当T≠1时，整个概率分布的特性会发生显著变化：
- 低温(T<1)：放大高概率词的权重，使概率分布更"尖锐"。例如当T=0.1时，原本概率为0.9的词可能被放大到0.99，而0.1的词被压缩到0.0001
- 高温(T>1)：压缩概率差异，使分布更"平缓"。T=2可能使0.9的词降到0.6，0.1的词升到0.15
技术细节：在实际实现中，温度参数作用于softmax前的logits值。这种处理方式在深度学习中被广泛使用，从早期的神经机器翻译到现在的GPT系列模型都沿用这一设计。
1.2 实际应用中的温度选择
不同任务需要不同的温度设置，这取决于我们期望的输出特性：
| 任务类型 | 推荐温度范围 | 效果说明 |
|---|---|---|
| 事实性问答 | 0.1-0.3 | 确保答案准确、一致 |
| 创意写作 | 0.7-1.0 | 鼓励多样性表达 |
| 头脑风暴 | 1.0-1.2 | 最大化创意产出 |
| 代码生成 | 0.3-0.6 | 平衡准确性与灵活性 |
在文案创作实践中，我发现温度设置为0.7左右往往能产生最佳效果。例如当要求生成广告标语时：
- 温度=0.3："优质产品，值得拥有"（准确但平淡