信息论基础：熵、交叉熵与KL散度解析

1. 信息论基础概念解析

1.1 信息量的本质与数学表达

信息量是信息论中最基础的概念，它量化了一个事件发生时带来的"惊奇程度"。这种惊奇程度与事件发生的概率密切相关：事件发生的概率越低，发生时带来的信息量就越大。这种反比关系可以用数学公式精确表达：

I(X) = -log P(X)

这个对数形式的定义具有几个关键特性：

• 当P(X)→0时，I(X)→∞，符合"极小概率事件发生时带来极大信息量"的直觉
• 当P(X)=1时，I(X)=0，表示确定事件不提供新信息
• 对于独立事件X和Y，I(X,Y)=I(X)+I(Y)，满足信息量的可加性

在实际应用中，对数的底数通常取2（比特）、e（奈特）或10（哈特），对应不同的信息量单位。例如，在计算机科学中常用以2为底的对数，此时信息量的单位是比特。

注意：信息量公式中的负号确保了结果始终为非负数，因为概率P(X)∈[0,1]，其对数≤0。

1.2 信息熵：系统不确定性的度量

信息熵（香农熵）将信息量的概念扩展到整个概率分布，表示系统整体的不确定性程度。对于一个离散随机变量X及其概率分布P，熵定义为：

H(P) = -Σ P(x)logP(x) = E[-logP(X)]

这个定义可以理解为：信息熵是信息量在概率分布P下的期望值。它衡量了"了解系统状态平均需要多少信息"。

熵的几个重要性质：

1. 非负性：H(P)≥0
2. 极值性：对于n个结果的离散分布，当所有结果等概率时熵最大，为log(n)
3. 可加性：对于独立系统X和Y，H(X,Y)=H(X)+H(Y)

在通信系统中，信息熵有着明确的物理意义：它给出了无损压缩数据的理论极限。例如，一个公平硬币抛掷的熵是1比特，意味着至少需要1比特才能无损记录每次抛掷结果。

2. 交叉熵与KL散度的深入探讨

2.1 交叉熵的定义与解释

交叉熵H(P,Q)衡量的是当我们用分布Q来近似真实分布P时，所产生的平均信息量。其数学表达式为：

H(P,Q) = -Σ P(x)logQ(x)

交叉熵可以理解为：基于我们对世界的认知Q，去观察实际遵循分布P的事件时，所感受到的平均"惊奇程度"。当Q与P完全一致时，交叉熵就等于信息熵H(P)。

在实际应用中，交叉熵常用于：

• 衡量预测分布Q与真实分布P的差异
• 作为机器