绾绾居1. 多头注意力与灾难性遗忘的根源剖析
在Transformer架构中，多头注意力机制长期被视为核心创新，但其在持续学习场景下的副作用却鲜少被深入探讨。2026年复旦团队的研究揭示了令人震惊的发现：标准多头注意力正是MoE（Mixture-of-Experts）Transformer中灾难性遗忘的罪魁祸首。这种遗忘现象表现为模型在学习新任务时，对先前掌握知识的快速退化，其本质在于多头注意力在特征传递过程中造成了不可逆的信息混淆。
传统多头注意力工作机制存在三个致命缺陷：首先，不同注意力头捕获的多样化特征（如语义、位置、语法等）在路由前被强制混合为单一表示；其次，混合后的特征向量会触发专家路由的次优决策；最后，这种混合导致梯度更新方向冲突。具体表现为：当处理"银行"一词时，一个注意力头可能捕捉其"金融机构"的语义，另一个头则关注其"河岸"含义，而标准MoE的路由器必须基于这两个矛盾的信号做出单一决策。
关键发现：通过线性探测实验证实，标准MoE的路由器输入中，不同语义特征在向量空间中的夹角平均仅为35°，远低于理想正交状态（90°），这种特征纠缠直接导致后续专家更新的参数冲突。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. MH-MOE架构设计原理
2.1 头私有路由机制
复旦团队提出的MH-MOE（Multi-Head Mixture-of-Experts）架构核心创新在于"分而治之"的策略。与传统MoE不同，MH-MOE为每个注意力头维护独立的路由系统，包括：
- 特征切片隔离：将d维的注意力输出ht(ℓ)均匀划分为H个d/H维的头私有切片ht,m(ℓ)
- 专家库分片：每个头对应专属的专家子集{Ej(m)}j=1K，专家参数不共享
- 并行路由决策：各头独立执行top-k专家选择，产生路由元组St(ℓ)=(St,1(ℓ),...,St,H(ℓ))
这种设计使得路由决策空间从组合数(Kk)爆炸性增长到(Kk)H。例如当K=8,k=2,H=8时，标准MoE仅有28种路由组合，而MH-MOE可达28^8≈3.4亿种可能，实现了真正的细粒度专业化。
2.2 分片聚合的数学实现
每个专家处理对应头的特征切片后，MH-MOE通过可学习的聚合门控完成信息融合：
code复制聚合公式：
y_t = ∑_{m=1}^H g_m · E_{S