信息论基础：自信息、熵与交叉熵在深度学习的应用

1. 信息论基础：从自信息到交叉熵

1.1 自信息的定义与性质

自信息（self-information）是信息论中最基础的概念，它量化了单个事件发生时所携带的信息量。用数学语言描述，对于一个离散随机变量X，其取值x的自信息I(x)定义为：

I(x) = -log P(x)

这个定义完美契合了我们对于信息量的直觉认知。举个例子，假设某地日食发生的概率P(日食)=0.0001，那么它的自信息就是：
I(日食) = -log(0.0001) ≈ 9.21（以2为底时单位为比特）

而太阳每天升起这样几乎确定的事件（假设P=0.9999），其自信息仅为：
I(日出) = -log(0.9999) ≈ 0.00014比特

自信息的对数定义确保了三个关键性质：

1. 单调递减性：概率越小的事件信息量越大
2. 可加性：独立事件联合发生的信息量等于各自信息量之和
3. 连续性：概率的微小变化导致信息量的连续变化

注意：对数底数的选择决定了信息量的单位。底数为2时单位为比特(bit)，底数为e时单位为纳特(nat)，底数为10时单位为哈特莱(hartley)。深度学习领域通常使用自然对数（底数e）。

1.2 香农熵：随机变量的不确定性度量

香农熵（Shannon entropy）将自信息的概念扩展到整个概率分布，它表示随机变量的平均信息量，或者说是不确定性的度量。对于离散随机变量X，其熵H(X)定义为：

H(X) = -Σ P(x)logP(x)

熵有几个重要的性质：

• 非负性：H(X) ≥ 0
• 确定性事件的熵为零：当某个x的概率为1时，H(X)=0
• 对于固定取值数量的随机变量，均匀分布时熵最大

举个例子，考虑一个公平硬币（正反面概率各0.5）：
H(公平硬币) = -0.5log0.5 - 0.5log0.5 = 1 bit

而一个作弊硬币（正面0.9，反面0.1）：
H(作弊硬币) ≈ -0.9log0.9 - 0.1log0.1 ≈ 0.47 bit

这个例子展示了熵如何量化不确定性——公平硬币的结果更难预测，因此熵更高。

2. KL散度与交叉熵：深度学习的理论基础

2.1 KL散度：衡量分布差异

Kullback-Leibler散度（KL divergence）衡量两个概率分布P和Q之间的差