信息熵、交叉熵与KL散度：机器学习中的核心概念与应用-AI智能范式网

信息熵、交叉熵与KL散度：机器学习中的核心概念与应用

行影旅行·2026-08-27·阅读 22 GEO检测（免费）

信息熵交叉熵KL散度

|难度：普通|阅读约 14 分钟

1. 信息熵：从不确定性到信息度量

信息熵（Entropy）是信息论中最基础也最重要的概念之一，它量化了一个随机变量的不确定性。1948年，克劳德·香农在他的开创性论文《通信的数学理论》中首次提出了这个概念。

1.1 信息熵的数学定义

对于一个离散随机变量X，其概率分布为P(x)，信息熵H(X)定义为：

H(X) = -Σ P(x) log P(x)

这个公式中的负号确保了熵值为非负数，因为概率P(x)在0到1之间，其对数log P(x)为负值。

在实际计算中，对数的底数通常取2（比特）、e（纳特）或10（哈特），取决于应用场景。在机器学习领域，自然对数（底数为e）更为常见。

1.2 信息熵的直观理解

想象一个天气预报系统：

如果某地每天都是晴天（P(晴天)=1），那么天气的熵为0，因为没有任何不确定性
如果晴天和雨天各占50%（P(晴天)=0.5，P(雨天)=0.5），熵达到最大值1比特
如果有多种天气状态且概率均等，熵会更高

这个例子展示了熵如何衡量系统的不确定性。在机器学习中，我们经常用熵来衡量：

数据集的纯度（决策树）
模型预测的不确定性（分类任务）
信息压缩的极限（数据压缩）

1.3 信息熵在机器学习中的应用

在决策树算法中，信息增益（Information Gain）就是基于熵的概念。它衡量了使用某个特征进行分割后，不确定性减少的程度：

IG(S,A) = H(S) - Σ (|Sv|/|S|) H(Sv)

其中：

H(S)是原始数据集的熵
Sv是特征A取值为v的子集
|Sv|/|S|是该子集的权重

提示：在实际编程中，计算熵时需要考虑数值稳定性问题。当P(x)接近0时，log P(x)会趋向于负无穷，可能导致数值问题。常见的解决方案是添加一个极小值ε（如1e-15）来避免除以零或log(0)的情况。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 交叉熵：从理论到实践的关键桥梁

交叉熵（Cross Entropy）是信息熵概念的延伸，它衡量了两个概率分布之间的差异。在机器学习中，交叉熵损失函数几乎成为了分类任务的标准选择。

2.1 交叉熵的数学定义

对于两个离散概率分布P和Q，交叉熵H(P,Q)定义为：

H(P,Q) = -Σ P(x) log Q(x)

其中：

P是真实分布（通常是one-hot编码的标签）
Q是模型预测的分布

交叉熵可以理解为：使用分布Q对来自分布P的事件进行编码所需的平均比特数。

2.2 为什么交叉熵适合作为损失函数

在分类任务中，我们通常使用softmax函数将模型输出转换为概率分布。交叉熵损失具有以下优良性质：

当预测概率Q接近真实概率P时，损失值趋近于0
当预测概率Q远离真实概率P时，损失值迅速增大
梯度计算简单，有利于反向传播

以三分类问题为例：

真实标签：[1, 0, 0]（第一类）
预测1：[0.9, 0.05, 0.05] → 交叉熵≈0.105
预测2：[0.6, 0.2, 0.2] → 交叉熵≈0.511
预测3：[0.3, 0.35, 0.35] → 交叉熵≈1.204

可以看到，随着预测偏离真实标签，交叉熵损失迅速增加。

2.3 交叉熵的PyTorch实现

在PyTorch中，交叉熵损失有两种常见实现方式：

python复制# 方式1：使用nn.CrossEntropyLoss（包含softmax）
criterion = nn.CrossEntropyLoss()
output = model(input)
loss = criterion(output, target)

# 方式2：手动实现
def cross_entropy(output, target):
    log_probs = F.log_softmax(output, dim=1)
    loss = -torch.sum(target * log_probs) / output.size(0)
    return loss

注意：nn.CrossEntropyLoss已经包含了softmax操作，因此模型的最后一层不需要再加softmax激活函数。如果在模型输出后手动添加softmax，会导致数值不稳定和性能下降。

3. KL散度：衡量分布差异的利器

Kullback-Leibler散度（KL Divergence），也称为相对熵，是衡量两个概率分布差异的重要工具。在知识蒸馏、变分推断等领域有广泛应用。

3.1 KL散度的数学定义

对于两个概率分布P和Q，KL散度定义为：

DKL(P||Q) = Σ P(x) log (P(x)/Q(x)) = H(P,Q) - H(P)

其中：

H(P,Q)是P和Q的交叉熵
H(P)是P的熵

KL散度有以下重要性质：

非负性：DKL(P||Q) ≥ 0
不对称性：DKL(P||Q) ≠ DKL(Q||P)
当且仅当P=Q时，DKL(P||Q)=0

3.2 KL散度在知识蒸馏中的应用

知识蒸馏（Knowledge Distillation）是一种模型压缩技术，通过让小型学生模型模仿大型教师模型的行为来实现。KL散度在这里扮演关键角色：

教师模型对输入数据生成软标签（soft targets）
学生模型尝试匹配这些软标签
损失函数通常使用KL散度衡量两个输出分布的差异

具体实现代码如下：

python复制def distillation_loss(student_output, teacher_output, temperature=3.0):
    # 应用温度缩放
    student_probs = F.softmax(student_output / temperature, dim=1)
    teacher_probs = F.softmax(teacher_output / temperature, dim=1)
    
    # 计算KL散度
    loss = F.kl_div(
        student_probs.log(), 
        teacher_probs,
        reduction='batchmean'
    ) * (temperature ** 2)
    
    return loss

温度参数T的作用：

T>1时，概率分布更平滑，小概率事件被放大
T=1时，就是标准的softmax
T→0时，趋向于one-hot分布

3.3 KL散度与交叉熵的关系

从定义可以看出：

DKL(P||Q) = H(P,Q) - H(P)

这意味着：

当P是固定分布时（如在知识蒸馏中教师模型的输出），最小化KL散度等价于最小化交叉熵
H(P)是常数项，不影响优化过程

这个关系解释了为什么在知识蒸馏中，我们通常直接使用KL散度作为损失函数，而不需要显式计算交叉熵。

4. 三者的综合应用与实战技巧

理解了这三个概念后，我们可以探讨它们在深度学习中的综合应用和一些实战技巧。

4.1 分类任务中的损失函数选择

对于不同类型的分类任务，损失函数的选择有所不同：

任务类型	推荐损失函数	说明
单标签分类	Categorical Cross-Entropy	标准选择，配合softmax使用
多标签分类	Binary Cross-Entropy	每个类别独立判断，配合sigmoid使用
知识蒸馏	KL Divergence	衡量教师和学生模型的分布差异
标签噪声较大	Label Smoothing	将硬标签转为软标签，提高鲁棒性

4.2 标签平滑（Label Smoothing）

标签平滑是一种正则化技术，可以防止模型对训练标签过度自信。它将原始的one-hot标签替换为：

y' = (1-ε)y + ε/K

其中：

y是原始标签
K是类别数
ε是平滑参数（通常0.1）

PyTorch实现：

python复制def label_smooth(y, epsilon=0.1):
    k = y.size(1)
    return (1 - epsilon) * y + epsilon / k

4.3 数值稳定性实践

在实现这些损失函数时，数值稳定性是关键。以下是一些经验法则：

避免直接计算log(softmax(x))，而应使用log_softmax函数
在计算KL散度时，PyTorch的kl_div要求输入是log概率和目标概率
对于极端概率值（接近0或1），考虑添加小的epsilon（如1e-8）

4.4 知识蒸馏实战案例

假设我们要将一个BERT模型蒸馏到一个更小的模型上：

python复制# 教师模型和学生模型
teacher = BertForSequenceClassification.from_pretrained('bert-base-uncased')
student = SmallTransformerModel()

# 损失函数
ce_loss = nn.CrossEntropyLoss()
kl_loss = nn.KLDivLoss(reduction='batchmean')

for batch in dataloader:
    # 前向传播
    teacher_logits = teacher(batch['input'])
    student_logits = student(batch['input'])
    
    # 计算损失
    hard_loss = ce_loss(student_logits, batch['labels'])
    soft_loss = kl_loss(
        F.log_softmax(student_logits / T, dim=1),
        F.softmax(teacher_logits / T, dim=1)
    )
    
    # 组合损失
    total_loss = alpha * hard_loss + (1 - alpha) * soft_loss
    
    # 反向传播
    total_loss.backward()
    optimizer.step()

关键参数：

T（温度）：控制分布平滑程度，通常2-5
α：硬标签和软标签损失的权重，通常0.1-0.5

在实际项目中，我发现开始时使用较高的温度（如T=5）和较低的α（如0.1），然后随着训练逐渐降低温度和增加α值，往往能获得更好的蒸馏效果。这种退火策略让学生模型先学习教师模型的整体分布结构，再逐渐关注具体的类别边界。