大模型温度系数：控制输出随机性的关键参数

1. 温度系数：大模型输出的随机性调节阀

在大型语言模型的实际应用中，我们常常会遇到这样的矛盾：一方面希望模型输出稳定可靠的结果，另一方面又期待它能产生富有创意的回答。这种平衡的秘诀就藏在那个看似简单的参数——温度系数（temperature）里。作为从业者，我经常需要根据不同的应用场景调整这个参数，今天就来详细拆解它的工作原理和实战技巧。

温度系数本质上是一个概率分布的缩放因子，它通过数学变换改变模型输出token的概率分布形态。不同于随机种子（seed）这类影响生成过程的参数，温度系数直接作用于模型的输出层，在不改变模型推理结果的前提下，调整下一个token的选择策略。理解这个参数的运作机制，能让我们在内容生成、对话系统、代码补全等场景中更精准地控制模型行为。

2. 温度系数的数学原理剖析

2.1 从logits到概率的转换过程

每个语言模型在生成文本时，都会先计算所有候选token的logits值（原始得分）。这些logits经过softmax函数转换为概率分布：

python复制import torch

def temperature_scaling(logits, temperature):
    scaled_logits = logits / temperature
    return torch.softmax(scaled_logits, dim=-1)

这个简单的数学操作会产生惊人的效果。当temperature=1时，模型保持原始概率分布；当temperature→0时，最大logits值被无限放大；当temperature>1时，logits间的相对差异被压缩。

2.2 概率分布形态的变化机制

假设模型对三个候选token的原始logits为[3, 2, 1]，我们来看不同温度下的变化：

• 低温(t=0.1): softmax([30, 20, 10]) → [0.9999, 0.0001, 0.0000]
• 常温(t=1): softmax([3, 2, 1]) → [0.665, 0.244, 0.090]
• 高温(t=2): softmax([1.5, 1, 0.5]) → [0.474, 0.320, 0.206]

这个例子清晰地展示了温