1. 微分熵的概念与意义
微分熵是信息论中连续随机变量不确定性的度量,相当于离散熵在连续情况下的推广。这个概念最早由香农在1948年的奠基性论文《通信的数学理论》中提出,作为信息论基础的重要组成部分。
与离散熵不同,微分熵的值可以是负数,这源于连续概率密度函数的特性。假设X是一个连续随机变量,其概率密度函数为p(x),那么微分熵h(X)定义为:
h(X) = -∫p(x)log p(x)dx
这个积分在整个定义域上进行。理解这个定义需要注意几个关键点:首先,log通常以2为底(比特)或以e为底(纳特);其次,当p(x)=0时,按照极限理解,p(x)log p(x)视为0。
微分熵在通信系统、信号处理、机器学习等领域有广泛应用。比如在最优量化、率失真理论、独立成分分析等场景中,微分熵都扮演着核心角色。它帮助我们理解连续信号的信息含量,指导系统设计中的参数选择。
注意:微分熵不是离散熵的直接推广,因为连续随机变量的实际熵是无限的(需要无限精度来描述)。微分熵更多是作为相对度量工具使用。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 微分熵的性质与计算
2.1 基本性质
微分熵具有几个重要性质值得深入理解:
-
坐标变换下的行为:对随机变量进行线性变换Y=aX+b时,h(Y)=h(X)+log|a|。这个性质在信号缩放和单位转换时特别有用。
-
最大熵分布:给定方差约束下,高斯分布使微分熵最大。这个性质解释了为什么高斯噪声是最"不可预测"的噪声。
-
可加性:对于独立随机变量X和Y,h(X,Y)=h(X)+h(Y)。这与离散熵的性质一致。
-
非负性:与离散熵不同,微分熵可以是负值。例如均匀分布U[0,a],当a<1时h(X)<0。
2.2 常见分布的微分熵
掌握几种常见分布的微分熵计算很有实用价值:
-
均匀分布:
X~U[a,b],则h(X)=log(b-a)当区间长度(b-a)<1时,h(X)为负值。
-
高斯分布:
X~N(μ,σ²),则h(X)=1/2 log(2πeσ²)这个结果显示了熵与方差的明确关系。
-
指数分布:
p(x)=λe^(-λx), x≥0
h(X)=1-lnλ
计算这些分布的微分熵时,积分技巧和极限处理是关键。例如高斯分布的积分需要用到配方法
