1. 锐度感知最小化(SAM)概述
在深度学习中,我们常常面临一个核心矛盾:模型在训练集上表现优异,但在测试集上却表现不佳,这种现象被称为"泛化差距"。传统优化方法(如SGD、Adam)通过最小化训练损失来选择模型参数,但对于过参数化的深度神经网络,这种方法往往会导致测试性能欠佳。
问题的根源在于现代模型的损失函数通常呈现非凸特性,存在多个局部乃至全局极小值。这些极小值可能产生相近的训练损失值,但会导致模型泛化性能出现显著差异。研究表明,损失曲面在最小值点的曲率(即"锐度")与泛化能力密切相关:平坦的谷底(低曲率)对应更好的泛化能力,而尖锐的谷底(高曲率)则容易导致过拟合。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心概念解析
2.1 损失曲面的非凸性
深度神经网络的损失曲面具有高度非凸性,表现为:
- 存在大量局部极小值
- 包含平坦区域和鞍点
- 全局最小值可能被许多局部最小值包围
这种非凸性使得优化过程变得复杂,不同的优化路径可能导致模型收敛到具有不同泛化能力的解。传统优化方法容易陷入尖锐的局部最小值,虽然训练损失很低,但泛化性能较差。
2.2 锐度与泛化的关系
锐度衡量的是损失函数在最小值点附近的曲率。具体表现为:
- 低锐度(平坦谷底):参数微小扰动对损失影响小,模型对输入变化更鲁棒
- 高锐度(尖锐谷底):参数微小扰动导致损失大幅变化,模型容易过拟合
数学上,可以通过在参数w的ρ邻域内考察最大训练损失来量化锐度:
code复制max_{||ε||₂≤ρ} L_S(w+ε) - L_S(w)
其中ρ是邻域半径,ε是扰动向量。
3. SAM算法原理
3.1 基本思想
锐度感知最小化(Sharpness-Aware Minimization, SAM)的核心思想是:不仅寻找训练损失低的参数点,还要寻找其整个邻域范围内训练损失都保持较低水平的参数点。这样的参数点位于平坦的谷底,具有更好的泛化能力。
3.2 优化目标
SAM将优化问题表述为:
code复制min_w max_{||ε||₂≤ρ} L_S(w+ε) + λ||w||₂²
其中:
- 内层max:在w的ρ邻域内寻找最坏情况的损失
- 外层min:寻找使最坏情况损失最小的参数w
- λ||w||₂²:L2正则项,防止参数过大
3.3 实现步骤
- 计算当前参数w处的梯度∇L_S(w)
- 计算最坏扰动方向:ε̂ = ρ∇L_S(w)/||∇L_S(w)||₂
- 计算扰动后的梯度:∇L_S(w+ε̂)
- 使用扰动梯度更新参数:w ← w - η∇L_S(w+ε̂)
实际实现中,可以通过以下伪代码表示:
python复制# 计算初始梯度
grad = compute_gradient(loss, w)
# 计算扰动并应用于参数
perturbatio
