1. 项目概述
在深度学习模型架构设计中,残差连接(Residual Connection)已成为标准配置。然而,近期DeepSeek团队提出的mHC(manifold constrained Hyper-Connections)方法通过引入双随机矩阵约束,试图解决传统残差连接的信息传递效率问题。本文基于150B tokens的大规模实验,揭示了一个反直觉的发现:最朴素的单位矩阵(Identity)作为连接方式,其表现竟优于复杂的双随机矩阵约束方案。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心问题解析
2.1 传统残差连接的局限
标准Transformer的残差连接可表示为:
code复制x_{l+1} = x_l + F(x_l)
这种简单相加的方式存在两个潜在问题:
- 信息混合效率低:所有特征维度同等对待,缺乏跨维度交互
- 深层信号衰减:随着网络深度增加,原始信号可能被多次非线性变换淹没
2.2 Hyper-Connections的改进思路
Hyper-Connections(HC)引入多流残差机制,将单一路径扩展为h条并行流:
code复制x_{l+1} = H_l * x_l + diag(h_post) * F(aggregated)
其中H_l ∈ R^{h×h}是流混合矩阵。DeepSeek的mHC创新点在于:
- 使用Sinkhorn-Knopp算法将H约束为双随机矩阵(行和列和均为1)
- 激活函数改用sigmoid保证非负性
- 理论上保持信号范数稳定
3. 实验发现与理论分析
3.1 关键现象观察
在Qwen3-1.7B模型上的实验显示:
- 单层H矩阵实际学习到的模式接近单位矩阵(对角线~0.96,非对角线~0.01)
- 多层H矩阵连乘后坍缩为全0.25的均匀混合矩阵
- 直接使用Identity矩阵的效果优于原版mHC方案
3.2 数学本质解析
双随机矩阵的坍缩现象可由Dobrushin遍历系数解释:
code复制γ(H) = 1/2 * max_{i,j} ∑|H_{i,k} - H_{j,k}|
对于严格正的双随机矩阵,γ(H) < 1,导致L层乘积的遍历系数按γ^L衰减。具体表现为:
- 单层时保留部分对角优势
- 深层连乘后趋向稳态分布(均匀混合)
