1. 模型蒸馏中的温度系数:概念与作用
温度系数(Temperature)是模型蒸馏(Knowledge Distillation)中最核心的超参数之一,它直接决定了知识从教师模型(Teacher Model)向学生模型(Student Model)传递的方式和效果。这个看似简单的参数,在实际应用中却有着精妙的设计哲学。
在标准的分类任务中,模型最后一层通常会使用softmax函数将logits转换为概率分布。传统softmax的计算公式为:
[ q_i = \frac{\exp(z_i)}{\sum_j \exp(z_j)} ]
其中( z_i )是第i个类别的logit值。当引入温度系数T后,softmax的计算变为:
[ q_i = \frac{\exp(z_i/T)}{\sum_j \exp(z_j/T)} ]
这个简单的数学变换带来了深远的影响。当T=1时,就是常规的softmax;当T>1时,会"软化"(soften)概率分布,使得各个类别之间的概率差异变小;当T<1时,则会"锐化"(sharpen)概率分布。
实际经验:温度系数通常取值在1到20之间,最常见的是在3到10的范围。过高的温度会导致概率分布过于平滑,失去有意义的监督信号;而过低的温度则无法充分发挥蒸馏的效果。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 温度系数的数学本质与可视化理解
2.1 概率分布的平滑效应
让我们通过一个具体例子来理解温度系数的作用。假设有一个5分类任务,教师模型输出的原始logits为:[3.0, 2.0, 1.0, 0.0, -1.0]。
当T=1时,对应的softmax概率为:[0.643, 0.237, 0.087, 0.032, 0.012]
当T=2时,概率变为:[0.422, 0.275, 0.179, 0.117, 0.076]
当T=5时,进一步变为:[0.256, 0.221, 0.192, 0.166, 0.144]
可以看到,随着T增大,各个类别之间的概率差异逐渐减小。这种"平滑"效果使得学生模型不仅能学习到最可能的类别,还能感知到类别之间的相对关系。
2.2 从信息论视角解读
从信息论的角度看,温度系数实际上是在调整概率分布的信息熵。原始的概率分布(T=1)通常具有较低的熵,因为模型会对正确类别赋予很高的置信
