1. 信息量:从直觉到数学表达
作为一名长期从事机器学习研究的工程师,我经常需要向新人解释信息论中的基础概念。信息量这个概念看似抽象,实际上与我们日常生活中的直觉高度一致。想象一下,如果有人告诉你"明天太阳会从东方升起",你大概不会感到惊讶;但如果有人说"明天太阳会从西方升起",你一定会震惊得跳起来。这种"惊讶程度"恰恰反映了信息量的本质。
香农信息量的数学定义为:I(x) = -log₂P(x),其中P(x)是事件x发生的概率。这个简单的对数公式完美捕捉了我们的直觉:
- 当P(x)→1时(必然事件),I(x)→0
- 当P(x)→0时(极小概率事件),I(x)→∞
在实际工程中,我们常用自然对数(ln)而非log₂,这在数学上等价,只是信息量的单位从"比特"变成了"奈特"。PyTorch等框架中的实现通常也采用自然对数版本。
注意:虽然信息量公式简单,但在实际应用中要特别注意概率为0的情况。此时log(0)是未定义的,需要添加微小值(如1e-15)进行数值稳定处理。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 信息熵:不确定性的量化
信息熵是信息论中最强大的概念之一,它量化了一个随机变量的不确定性。在构建分类模型时,我经常用熵来评估特征的质量。熵的定义是信息量的期望:
H(X) = -Σ P(x)logP(x)
这个公式有几个关键性质:
- 当分布均匀时熵最大(最不确定)
- 当分布是确定性的(某事件概率为1)时熵为0
- 熵总是非负的
在特征工程中,我常用一个简单的经验法则:如果一个特征的熵低于0.5比特,它可能提供的信息量太少,不值得保留。例如,一个二元特征如果99%的情况都是True,它的熵只有0.08比特,对模型帮助有限。
3. 交叉熵:理论与实践的桥梁
交叉熵是机器学习中最常用的概念之一,它衡量两个概率分布之间的差异。定义如下:
H(P,Q) = -Σ P(x)logQ(x)
其中P是真实分布,Q是模型预测的分布。在实际项目中,我发现理解交叉熵的这三个视角特别有用:
- 编码视角:使用基于Q的编码方案对来自P的事件编码时,所需的平均比特数
- 概率视角:模型Q对真实分布P的拟合程度
- 优化视角:最小化交叉熵等价于最大化似然函数
在PyTorch中,交叉熵损失函数实际上做了两件事:
- 对预测结果应
