1. 项目概述:从零实现 Attention Residuals 的 Transformer 实验
最近我在复现 Kimi Team 的《Attention Residuals》论文时,发现标准 Transformer 的残差连接存在一个被长期忽视的系统性问题——PreNorm Dilution(预归一化稀释)。为了验证论文提出的解决方案,我用 Python 从零实现了三种不同的 Transformer 残差架构,并在 50 条中英平行句对上进行了对比实验。
这个项目最吸引我的地方在于,它用一个非常精巧的类比解决了深度神经网络中的基础性问题:就像 RNN 在序列方向上从固定权重演进到 Attention 机制一样,我们在深度方向上也应该用 softmax attention 替代固定的残差连接。这种对称性思考让我对神经网络的结构设计有了新的认识。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 背景知识:标准残差连接的问题
2.1 PreNorm Dilution 现象解析
在标准 Transformer 中,PreNorm 残差连接的更新规则是:
python复制h_l = h_{l-1} + f(RMSNorm(h_{l-1}))
这个看似简单的公式隐藏着三个严重问题:
- 幅度膨胀:隐状态范数 ||h_l|| 随网络深度以 O(√L) 增长
- 贡献稀释:深层需要学习越来越大的输出才能对 h_l 产生同等影响
- 信息回溯受限:每层只能访问前一层的累加状态,无法选择性提取特定前层信息
我在实验中观察到,一个 6 层的标准 Transformer,最后一层输出的幅度大约是第一层的 2.5 倍。这意味着深层网络必须"喊得更大声"才能被听到,这显然不是最优的信息传递方式。
2.2 与序列方向的类比
论文提出的类比非常精彩:
| 维度 | 旧方案 | 新方案 |
|---|---|---|
| 序列方向 | RNN(固定隐状态递推) | Transformer Attention(softmax 加权) |
| 深度方向 | 标准残差(固定权重1) | AttnRes(softmax 学习权重α) |
这个类比启发我们:既然序列方向的信息聚合可以从固定权重演进到动态attention,为什么深度方向不能做同样的改进?
3. 三种架构的详细实现
3.1 基准模型:标准 Transformer
标准 Transformer 层的实现非常简单:
python复制class StdLayer(nn.Module):
def __init__(self, d_model, n_heads):
super().__init__()
self.norm_attn = nn.RMSNor
