安洛洛洛洛洛1. mHC架构的核心思想与背景
在深度学习领域，残差连接（Residual Connection）一直是保持深层网络训练稳定性的关键技术。传统残差网络的基本形式可以表示为x_{l+1} = x_l + F(x_l, W_l)，这种结构通过恒等映射（identity mapping）保证了信号能够直接传播到深层网络，有效缓解了梯度消失和爆炸问题。然而，随着模型规模的不断扩大，简单的残差连接已经不能满足模型性能提升的需求。
DeepSeek团队提出的mHC（Manifold-Constrained Hyper-Connections）架构，正是为了解决这一挑战而诞生的创新方案。该架构的核心思想是在保持残差连接稳定性的前提下，通过引入"超连接"（Hyper-Connections）来增强模型的表现力，同时使用流形约束（Manifold Constraint）来确保训练过程的稳定性。
关键突破点：mHC成功地将看似矛盾的两种需求——更强的表达能力和更稳定的训练过程——统一在一个框架内。这就像是在高速公路上既增加了车道数量（提升通行能力），又设置了严格的车道管理规则（确保交通安全）。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 传统HC架构的问题分析
2.1 HC的基本原理
Hyper-Connections（HC）架构扩展了传统的残差连接，将单一的残差流扩展为n条并行流，并允许这些流之间进行信息交互。数学上可以表示为：
x_{l+1} = H_l^{res}x_l + H_l^{post⊤}F(H_l^{pre}x_l, W_l)
其中：
- H_l^{res} ∈ R^{n×n}：残差流之间的混合矩阵
- H_l^{pre}, H_l^{post}：分别表示读写矩阵
这种结构确实能够提升模型的表达能力，在多项基准测试中都观察到了性能提升。
2.2 HC的稳定性问题
然而，HC架构在实际应用中暴露出了严重的稳定性问题：
-
恒等映射破坏：多层HC串联后，∏H^{res}会严重偏离恒等映射，导致信号被过度放大或衰减。实验数据显示，某些情况下信号增益甚至达到3000倍，完全失控。
-
训练不稳定性：在大规模训练中（如27B参数模型），HC表现出明显的loss和梯度异常波动。在约12k训练步时，经常出现突发的loss上升和梯度爆炸。