二货哈士奇1. 互信息：从生活场景到数学本质的深度解析
互信息 = 你俩乱到一起的程度。
这个比喻虽然简单粗暴，却道出了互信息的本质。想象你和室友合租的房子，你妈明天要来检查卫生。单独看你们俩：你房间乱的概率是80%，室友房间乱的概率是70%。但你们之间是否存在某种"默契"——当你房间乱的时候，室友房间也更可能乱？这种"共享的混乱程度"就是互信息要量化的核心。
1.1 信息论基础回顾
在深入互信息之前，我们需要明确几个基本概念：
-
信息熵H(X)：衡量随机变量X的不确定性。比如你房间乱的概率P(乱)=0.8，整洁的概率P(洁)=0.2，那么熵H(你) = -0.8log0.8 - 0.2log0.2 ≈ 0.72比特。熵越大，不确定性越高。
-
联合熵H(X,Y)：两个变量联合分布的不确定性。比如你和室友房间状态的四种组合概率：乱-乱(0.4)、乱-洁(0.1)、洁-乱(0.1)、洁-洁(0.4)，联合熵就是对这些组合的概率加权计算。
-
条件熵H(Y|X)：已知X后，Y剩余的不确定性。比如知道你的房间状态后，再预测室友房间状态的不确定性。
这些概念之间的关系构成了互信息的基础。理解这些"熵"的关系，就像理清你和室友之间卫生习惯的相互影响。
1.2 互信息的三种等价视角
互信息I(X;Y)有三种等价的解释方式，每种都揭示了不同的insight：
视角1：熵减 - 知道一个变量能帮你省多少问题
"知道你的房间状态后，猜室友房间状态能省多少力气？"
公式：I(X;Y) = H(Y) - H(Y|X) = 1.00 - 0.72 = 0.28比特
这表示知道你的状态后，预测室友的不确定性从1.00降到了0.72，节省了0.28比特的信息量。就像你妈本来需要问很多问题才能确定室友的房间状态，现在借助你的信息可以少问些问题。
视角2：重叠 - 两个变量信息熵的交集
"你和室友的'混乱信息'有多少是重叠共享的？"
公式：I(X;Y) = H(X) + H(Y) - H(X,Y) = 1.00 + 1.00 - 1.72 = 0.28比特
这相当于两个圆的交集面积。你的熵(1.00) + 室友的熵(1.00) - 联合熵(1.72) = 重叠部分(0.28)。这个重叠就是