1. 范数基础概念与数学定义
在机器学习和数据科学领域，范数（Norm）是一个基础但至关重要的数学概念。简单来说，范数是用来衡量向量"大小"或"长度"的函数。想象一下，当你需要比较两个不同长度的向量时，范数就像一把尺子，可以告诉你哪个向量"更大"或"更小"。
数学上，对于d维向量x = (x₁, x₂, ..., xₙ) ∈ ℝᵈ，范数∥x∥是一个满足以下性质的函数：
- 非负性：∥x∥ ≥ 0，且∥x∥ = 0当且仅当x = 0
- 齐次性：∥αx∥ = |α|∥x∥，其中α是任意标量
- 三角不等式：∥x + y∥ ≤ ∥x∥ + ∥y∥
注意：不是所有度量向量大小的函数都满足这些性质。例如L₀"范数"实际上不满足齐次性，严格来说不是真正的范数。
2. 常见范数类型详解
2.1 L₀"范数"（严格来说不是范数）
L₀"范数"定义为向量中非零元素的个数：
∥x∥₀ = #
虽然称为"范数"，但它并不满足范数的数学定义（特别是齐次性）。它的核心价值在于：
- 直接度量稀疏性：在特征选择、压缩感知等领域，我们经常希望向量尽可能稀疏（即非零元素少）
- 理论上的理想约束：L₀是最直观的稀疏性度量
然而，L₀优化存在严重问题：
- 非凸：导致优化困难
- 非连续：微小变化可能导致L₀值突变
- NP难问题：计算复杂度极高
2.2 L₁范数（曼哈顿范数）
L₁范数是L₀的凸近似，定义为各元素绝对值之和：
∥x∥₁ = Σ|xᵢ|
关键特性：
- 稀疏性诱导：相比L₂，L₁更容易产生稀疏解
- 凸性：可以高效优化
- 不光滑性：在零点不可导
典型应用：
- Lasso回归：min∥y-Xw∥₂² + λ∥w∥₁
- 压缩感知
- 特征选择
实际技巧：当使用L₁正则化时，建议先对数据进行标准化，因为L₁对特征尺度敏感。
2.3 L₂范数（欧几里得范数）
最熟悉的范数，定义为各元素平方和的平方根：
∥x∥₂ = (Σxᵢ²)^(1/2)
核心优势：
- 计算友好：处处可导
- 数值稳定：防止大值主导
- 几何直观：对应常规的"距离"概念
典型应用：
- Ridge回归：min∥y-Xw∥₂² + λ∥w∥₂²
- 支持向量机
- 神经网络权重衰减
2.4 Lₚ范数（一般形式）
Lₚ范数是上述范数的推广：
∥x∥ₚ = (Σ|xᵢ|ᵖ)^(1/p), p ≥ 1
有趣的性质：
- p越小，越倾向于稀疏解
- p越大，越关注最大分量
- p→∞时，趋近于L∞范数（max|xᵢ|)
3. 范数的几何解释与可视化
3.1 范数等值线
在二维空间中，我们可以绘制不同范数的"单位圆"（即满足∥x∥=1的点）：
| 范数类型 | 等值线形状 | 关键点 |
|---|---|---|
| L₀ | 坐标轴 | (1,0), (0,1) |
| L₁ | 菱形 | (±1,0), (0,±1) |
| L₂ | 圆形 | 所有方向均匀 |
| L∞ | 正方形 | (±1,±1) |
3.2 优化问题的几何解释
考虑约束优化问题：
min f(x) s.t. ∥x∥ ≤ r
不同范数约束会导致不同的解特性：
- L₁：解倾向于落在约束集的角点（产生稀疏性）
- L₂：解倾向于均匀分布
- L∞：限制最大分量
4. 范数在机器学习中的应用
4.1 正则化与防止过拟合
正则化项的本质是通过范数约束模型参数：
- L₁正则化：产生稀疏模型，适用于特征选择
- L₂正则化：产生平滑模型，防止参数过大
经验法则：
- 当特征数量远大于样本数量时，优先考虑L₁
- 当特征间高度相关时，L₂通常表现更好
4.2 不同范数的计算特性比较
| 范数 | 凸性 | 光滑性 | 稀疏性 | 计算复杂度 |
|---|---|---|---|---|
| L₀ | ❌ | ❌ | ⭐⭐⭐⭐⭐ | 极高 |
| L₁ | ✅ | ❌ | ⭐⭐⭐⭐ | 中等 |
| L₂ | ✅ | ✅ | ⭐ | 低 |
| L∞ | ✅ | ❌ | ⭐⭐ | 中等 |
4.3 实际应用中的选择策略
-
特征选择场景：
- 使用L₁正则化自动选择重要特征
- 示例：基因表达数据分析，可能有数万特征但只有几百样本
-
数值稳定性优先：
- 使用L₂正则化防止参数爆炸
- 示例：深度学习模型训练
-
鲁棒性要求高：
- 考虑L₁与L₂混合（Elastic Net）
- 示例：当特征间存在相关性时
5. 高级话题与扩展
5.1 矩阵范数
除了向量范数，矩阵范数也极为重要：
- 弗罗贝尼乌斯范数（Frobenius）：类似L₂的矩阵扩展
- 核范数（Nuclear）：矩阵奇异值的和，用于低秩约束
5.2 自定义范数
在某些领域，可以设计特定范数：
- 加权范数：∥x∥ = √(xᵀWx)，W为正定矩阵
- 混合范数：如∥x∥₁,₂（组稀疏）
5.3 范数与距离度量
范数自然诱导距离度量：
d(x,y) = ∥x - y∥
不同范数对应不同几何：
- L₂：常规欧氏几何
- L₁：出租车几何
- L∞：切比雪夫距离
6. 实践建议与常见陷阱
-
数据预处理至关重要：
- 使用范数前务必标准化数据
- 不同特征尺度会扭曲范数含义
-
L₁正则化的实际限制：
- 当特征数量>样本数量时，最多选择n个特征（n=样本数）
- 高度相关特征中，L₁可能随机选择一个
-
计算效率考量：
- L₁优化通常比L₂慢2-3倍
- 对于超大规模数据，可能需要特殊算法
-
超参数调优：
- λ的选择至关重要，建议使用交叉验证
- 可以尝试λ的几何序列（如10^(-4)到10^4）
我在实际项目中发现，理解范数的几何意义对模型调参很有帮助。例如，当发现模型参数分布过于分散时，增加L₂正则化强度；当需要简化模型时，转而使用L₁。一个实用的技巧是先用L₂训练，再用L₁微调，这样往往能得到不错的平衡。