L1与L2正则化：原理、几何解释与应用场景

1. 正则化基础：从数学约束到几何空间

在机器学习模型训练过程中，我们常常面临一个根本矛盾：模型复杂度与泛化能力之间的博弈。当模型过于复杂时，虽然能在训练集上取得很好的效果，但往往在未知数据上表现糟糕——这就是典型的过拟合现象。正则化技术的出现，正是为了解决这一核心矛盾。

L1和L2正则化作为最常用的两种正则化方法，本质上都是在损失函数中添加一个惩罚项。但它们的数学形式和几何表现却大不相同。L2正则化（又称岭回归）添加的是权重参数的平方和惩罚，而L1正则化（套索回归）则是添加权重的绝对值之和。这种形式上的差异，导致了它们在几何空间展现出完全不同的约束特性。

关键理解：正则化不是为了让模型在训练集上表现更好，而是通过限制模型复杂度来提高泛化能力。这就像给一匹野马套上缰绳——虽然短期内限制了它的自由奔跑，但长远来看能让它走得更稳更远。

2. 几何视角下的正则化约束

2.1 优化问题的几何表述

考虑一个简单的线性回归问题，我们的目标是最小化损失函数。在没有正则化的情况下，这相当于在参数空间中寻找使损失函数最小的点。当引入正则化后，问题变成了在满足一定约束条件下寻找最优解。

从几何上看，L2正则化对应的约束区域是一个球体（高维空间中的超球面），而L1正则化对应的则是一个菱形（高维空间中的超立方体）。这两种不同的几何形状，直接决定了最优解可能出现的位置。

2.2 L2正则化的球体约束

L2正则化的约束条件可以表示为 ||w||₂² ≤ C，其中C是某个常数。在二维情况下，这表示所有权重参数必须落在一个圆内。随着维度的增加，这个圆变成了球体，再变成更高维的超球面。

这种约束的一个重要特性是它在所有方向上都"同等严格"。无论参数向量指向哪个方向，约束的强度都是一样的。这导致最优解往往不会恰好落在坐标轴上，而是倾向于产生许多小权重的解。

2.3 L1正则化的菱形约束

相比之下，L1正则化的约束条件 ||w||₁ ≤ C 在二维空间表现为一个旋转45度的正方形（菱形）。在高维空间中，这变成了一个超立方体，其顶点正好落在坐标轴上。

这种几何形状的关键特性是：它在坐标轴方向上是"宽松"的，而在对角线方向上是"严格"的。这意味着最优解有很大概率会落在约束区域的顶点上——也就是某些参数恰好为零的位置。这就是L1正则化能够产生稀疏解的根本原因。

3. 正则化效果的直观对比

3.1 解的位置特性

让我们通过一个具体例子来对比两种正则化的效果。假设我们有一个简单的线性模型 y = w₁x₁ + w₂x₂，并使用均方误差作为损失函数。

在没有正则化时，最优解可能位于参数空间的任何位置。加入L2正则化后，解会被"拉向"原点，但通常不会完全为零。而加入L1正则化后，解有很大概率会落在坐标轴上，使得其中一个参数恰好为零。

3.2 稀疏性差异

L1正则化产生的稀疏性在实际应用中非常有用。例如在特征选择场景中，我们希望模型能够自动识别出最重要的特征，而忽略不相关的特征。L1正则化通过将某些权重精确地设为零，完美实现了这一目标。

相比之下，L2正则化虽然也会减小权重的大小，但很少会将它们精确设为零。这使得L2正则化更适合那些我们认为所有特征都可能有一定贡献的场景。

3.3 鲁棒性比较

L2正则化对异常值更为敏感，因为平方项会放大大误差的影响。而L1正则化由于使用绝对值，对大误差的惩罚相对线性，因此对异常值更具鲁棒性。这一特性使得L1正则化在某些噪声较多的数据场景中表现更好。

4. 数学性质深度解析

4.1 可微性差异

L2正则化的一个显著优势是处处可微，这使得基于梯度的优化算法（如梯度下降）能够顺利应用。而L1正则化在零点不可导，这给优化带来了一定挑战。

处理L1正则化的不可导性，通常有以下几种方法：

1. 次梯度法：使用次梯度代替常规梯度
2. 近端梯度法：将问题分解为可微部分和不可微部分分别处理
3. 坐标下降：每次只优化一个变量，避开不可导点

4.2 计算复杂度

从计算角度看，L2正则化通常更容易处理，因为它的导数形式简单。而L1正则化由于非光滑性，需要更复杂的优化算法。不过，现代优化库（如scikit-learn）已经很好地处理了这些复杂性，使得在实际应用中两者的计算效率差异不大。

4.3 贝叶斯解释

从贝叶斯角度看，L2正则化相当于给参数赋予了高斯先验，而L1正则化则对应拉普拉斯先验。这种概率解释为我们选择正则化类型提供了另一个视角：如果我们认为参数应该集中在零附近但可以有较大范围的变化，用L2；如果我们认为大多数参数应该精确为零，只有少数参数重要，用L1。

5. 实际应用中的选择策略

5.1 特征选择场景

当面对高维数据且怀疑大多数特征无关时，L1正则化是首选。典型的应用场景包括：

• 文本分类中的词袋特征
• 基因表达数据分析
• 任何特征维度远大于样本量的情况

5.2 共线性数据场景

当特征之间存在高度相关性时，L2正则化通常表现更好。这是因为L1可能会随机选择其中一个相关特征而忽略其他，而L2会给相似的特征分配相似的权重。常见应用包括：

• 图像处理（相邻像素高度相关）
• 时间序列预测
• 任何特征间存在自然平滑性的场景

5.3 弹性网络：两全其美的方案

弹性网络（Elastic Net）结合了L1和L2正则化，其惩罚项是两者的线性组合：α||w||₁ + (1-α)||w||₂²。这种方法综合了两种正则化的优点：

• 像L1一样可以产生稀疏解
• 像L2一样对相关特征进行分组选择
• 在特征数量远大于样本量时表现更稳定

6. 实现细节与调参技巧

6.1 正则化强度的选择

正则化参数（通常记作λ或α）控制着正则化的强度。选择这个参数的一般步骤是：

1. 在验证集上测试一系列λ值（如从10^-6到10^6的对数空间）
2. 绘制验证误差随λ变化的曲线
3. 选择使验证误差最小的λ值

实用技巧：对于L1正则化，可以观察非零参数的数量随λ变化的曲线，选择在合理稀疏度下的λ值。

6.2 特征缩放的重要性

由于正则化对所有权重施加同等惩罚，特征的尺度差异会导致不公平的惩罚。因此，在使用正则化前必须对特征进行标准化处理（如Z-score标准化或Min-Max缩放）。

6.3 与学习率的配合

在使用梯度下降优化L1正则化模型时，学习率的选择尤为关键。过大的学习率可能导致参数在零点附近振荡而无法收敛到稀疏解。建议：

• 使用较小的学习率
• 配合学习率衰减策略
• 考虑使用自适应优化器（如Adam）

7. 常见问题与解决方案

7.1 L1正则化为何不总是产生稀疏解

虽然L1倾向于产生稀疏解，但在以下情况下可能不会：

1. 特征间存在高度相关性（解决方案：使用弹性网络）
2. 正则化强度λ设置过小（解决方案：增大λ或使用CV选择）
3. 优化算法未收敛（解决方案：检查收敛条件，增加迭代次数）

7.2 如何处理L1在零点不可导的问题

实践中常用的方法包括：

1. 使用次梯度下降（允许在不可导点取任意次梯度）
2. 近端方法（将问题分解为光滑和非光滑部分）
3. 坐标下降（每次只更新一个参数，避开不可导点）

7.3 正则化与特征工程的关系

正则化不能替代好的特征工程。即使使用强正则化，低质量的特征仍然会导致模型表现不佳。最佳实践是：

1. 首先进行合理的特征工程
2. 然后应用适当的正则化
3. 最后通过交叉验证调优参数

8. 高级话题与延伸思考

8.1 结构化正则化

当特征之间存在已知的结构关系（如分组、层次或图结构）时，可以设计更复杂的正则化形式：

• 组Lasso：将特征分组，整组选择或丢弃
• 图Lasso：利用特征间的图结构信息
• 核范数正则化：用于矩阵补全等问题

8.2 深度学习中的正则化

在深度神经网络中，正则化有了新的形式和挑战：

• Dropout：随机丢弃神经元，可视为一种自适应正则化
• 权重衰减：等同于L2正则化
• 早停法：通过限制训练轮次防止过拟合
• 批归一化：间接起到正则化效果

8.3 正则化的理论保证

从学习理论角度看，正则化提供了：

1. 更好的泛化误差界
2. 在不适定问题中的稳定解
3. 对模型复杂度的显式控制

理解这些理论背景有助于在实际问题中更明智地选择和使用正则化技术。