多头注意力机制如何导致MoE Transformer灾难性遗忘

1. 多头注意力与灾难性遗忘的根源分析

Transformer架构中的多头注意力机制长期以来被认为是其强大表征能力的关键所在。然而复旦大学团队在2026年的研究发现，正是这一机制成为了MoE（Mixture-of-Experts）Transformer中灾难性遗忘的主要根源。当模型顺序学习新任务时，多头注意力在专家路由前就混合了不同类型的特征信号，导致后续的参数更新出现方向性冲突。

1.1 路由前特征混合问题

传统MoE Transformer的工作流程中，多头注意力层输出的聚合表示会直接作为路由器的输入。研究人员通过线性探测发现，这些路由器输入向量中同时编码了多种互斥的特征类型：

• 语义特征：包括领域标识、立场标签等高层语义信息
• 结构特征：如词元频率、相对位置等底层语法信息

这些特征在向量空间中本应占据不同的方向，但经过注意力聚合后被迫混合在同一个表示空间中。这就好比把不同频段的无线电信号强行调制到同一个载波上，虽然技术上可行，但会导致信号间的相互干扰。

1.2 梯度冲突的量化分析

研究团队提出了"有效组成数"（N_eff）这一量化指标来测量特征混合程度：

code复制N_eff(r) = 1 / Σ[p(c|r)]²

其中p(c|r)表示给定路由r时组成c出现的概率。实验数据显示，当N_eff值较高时（即单一路由中混合了更多特征组成），模型表现出更强的遗忘倾向。这是因为不同特征组成会诱导出方向各异的梯度信号，当这些冲突的梯度共同更新同一组专家参数时，就会产生破坏性的参数漂移。

关键发现：多头注意力造成的特征混合不是随机的噪声，而是系统性地将本应分离的特征信号强制耦合在一起，这正是后续专家层面出现灾难性遗忘的根本原因。

2. MH-MOE架构设计原理

针对上述问题，研究团队提出了多头专家混合（Multi-Head Mixture-of-Experts，MH-MOE）架构。其核心思想是将路由决策下放到每个注意力头层面，实现更细粒度的特征-专家匹配。

2.1 头私有路由机制

MH-MOE对标准MoE进行了三项关键改进：

1. 特征切片：将注意力后的表示h_t^(ℓ)沿特征维度划分为H个不相交的头对齐切片
2. 独立路由：为每个头切片配备专用的路由器和专家库
3. **分片聚