机器学习中的数学基础：度量与分布距离详解

1. 现代机器学习中的数学基础定位

在机器学习领域摸爬滚打十几年，我越来越确信一个事实：那些看似炫酷的模型架构和训练技巧，本质上都是数学工具的组合与变形。最近重读经典教材时，第三章关于度量与分布距离的内容让我重新审视了许多日常使用的算法。这部分数学工具就像厨师的刀工——虽然不会直接呈现在最终菜品里，却决定了所有后续处理的可能性边界。

概率分布之间的距离度量是现代机器学习三大核心支柱之一（另外两个是优化方法和表示学习）。从生成对抗网络（GAN）的对抗训练，到领域自适应（Domain Adaptation）的特征对齐，再到强化学习中的策略评估，分布距离测量无处不在。但很多工程师在使用这些工具时，往往只停留在调用现成库函数的层面，忽略了背后的数学机理。

2. 度量空间的基本概念与性质

2.1 度量函数的严格定义

度量（metric）本质上是个二元函数d:X×X→[0,∞)，对任意x,y,z∈X必须满足：

1. 非负性：d(x,y)≥0
2. 同一性：d(x,y)=0 ⇔ x=y
3. 对称性：d(x,y)=d(y,x)
4. 三角不等式：d(x,z)≤d(x,y)+d(y,z)

这个看似简单的定义在实际应用中会产生惊人的影响。比如在推荐系统中，用户相似度计算如果不符合三角不等式，可能导致推荐路径出现逻辑矛盾。我曾遇到过一个案例：用户A与B的相似度为0.3，B与C为0.4，但A与C的相似度却高达0.9，这明显违反了度量空间的基本性质。

2.2 常见度量函数实例

欧氏距离（L2范数）：
d(x,y)=√(Σ(xi-yi)²)

曼哈顿距离（L1范数）：
d(x,y)=Σ|xi-yi|

切比雪夫距离（L∞范数）：
d(x,y)=max|xi-yi|

马氏距离（考虑协方差结构）：
d(x,y)=√((x-y)ᵀΣ⁻¹(x-y))

在实际项目中，距离选择往往比模型选择更重要。处理图像数据时，我们发现L1距离对噪声更鲁棒；而在文本嵌入空间，余弦相似度（虽然不是严格度量）往往效果更好。一个经验法则是：当特征维度高于样本数量时，马氏距离能自动处理特征相关性。

3. 概率分布距离的测量方法

3.1 总变差距离与KL散度

总变差距离（Total Variation Distance）：
TV(P,Q)=sup|P(A)-Q