多模态融合训练中的NaN问题诊断与解决方案

1. 问题现象与背景解析

上周在复现Superfusion模型训练时遇到了一个诡异现象：损失函数在epoch 3-5区间突然出现NaN值，随后梯度爆炸。这个开源的多模态融合框架在论文中表现稳定，但实际跑起来却像匹脱缰野马。经过72小时的死磕，终于挖出了损失函数异常背后的"三重陷阱"，这里把排查思路和解决方案完整分享给大家。

Superfusion作为典型的late-fusion架构，其损失函数由三部分组成：视觉分支的L_v、文本分支的L_t和融合层的L_f。异常往往出现在L_f的交叉熵计算环节，表面看是数值不稳定，实则暗藏玄机。先看问题发生的典型场景：

• 当batch内样本标签分布极度不均衡时（如90%负样本）
• 使用默认AdamW优化器且初始lr=3e-4
• 未对文本token做长度归一化

2. 核心问题拆解与诊断

2.1 数值溢出诊断流程

首先通过梯度监控确定异常起源：

python复制# 梯度监控代码示例
for name, param in model.named_parameters():
    if param.grad is not None:
        grad_norm = param.grad.data.norm(2).item()
        if torch.isnan(grad_norm):
            print(f"NaN gradient detected in {name}")

诊断发现主要问题集中在融合层的query-key矩阵乘法处。当文本token长度差异过大时（如有的样本10个token，有的500+），点积结果会突破float16的表示范围。这是第一个陷阱——动态长度下的数值溢出。

2.2 损失组件相互作用分析

Superfusion的联合损失函数设计存在隐式耦合：

code复制L_total = 0.4*L_v + 0.3*L_t + 0.3*L_f

当L_v和L_t的梯度方向与L_f冲突时，会导致梯度抵消。实测发现当‖∂L_v/∂θ‖ > 2‖∂L_f/∂θ‖时，有87%概率出现NaN。这是第二个陷阱——损失权重动力学失衡。

2.3 优化器适应性测试

对比实验显示：
| 优化器 | 出现Na