Mixture-Of-Depths Attention：动态计算分配提升Transformer效率

1. 论文背景与核心价值

Mixture-Of-Depths Attention是字节跳动团队提出的新型注意力机制，针对传统Transformer架构在长序列处理中的计算效率问题进行了创新性改进。这项研究最引人注目的突破在于动态分配计算资源的能力——模型能够根据输入序列中不同位置的重要性，自主决定投入多少计算量进行处理。这种"按需分配"的思路在自然语言处理、代码生成等场景展现出显著优势。

传统Transformer的自注意力机制存在一个根本性矛盾：为了捕捉长距离依赖关系，理论上需要让所有token之间都建立连接，但实际计算时O(n²)的复杂度使得这种理想状态难以实现。Flash Attention等优化方案主要从工程角度降低内存访问开销，而Mixture-Of-Depths则从算法层面重构了计算资源的分配逻辑。实测表明，在保持相同性能水平时，该方法可减少15%-40%的计算量；或者在相同计算预算下，能处理更长的输入序列。

2. 关键技术原理拆解

2.1 动态深度混合机制

核心创新点在于打破了传统Transformer各层统一计算深度的设计。模型会为每个token生成一个重要性分数，基于这些分数动态决定：

• 重要token：分配更多计算资源（更深层的处理）
• 次要token：分配基础计算（浅层处理）

具体实现依赖三个关键组件：

1. 路由网络：轻量级MLP，为每个token生成0-1的importance score
2. 深度分配策略：采用可微的top-k选择，确保梯度可回传
3. 计算预算约束：通过Lagrangian优化确保总计算量不超阈值

python复制# 伪代码示例：动态深度选择
importance_scores = routing_network(x)  # [batch, seq_len]
selected_indices = differentiable_topk(importance_scores, k=budget)
output = process_with_varying_depth(x, selected_indices)

2.2 注意力残差连接改进

论文创新性地提出了attention residuals机制，解决动态深度带来的梯度传播问题。传统残差连