Transformer架构优化：SALA混合注意力机制解析

1. Transformer架构的瓶颈与突破

在深度学习领域，Transformer架构自2017年问世以来，凭借其强大的序列建模能力，迅速成为自然语言处理、计算机视觉等领域的核心架构。然而，随着模型规模的不断扩大和应用场景的日益复杂，传统Transformer架构的局限性也逐渐显现。

1.1 全注意力机制的瓶颈

传统Transformer的核心是全注意力机制（Full Attention），这种机制虽然能够捕获序列中任意两个位置之间的关系，但其计算复杂度随序列长度呈平方级增长（O(N²)）。当处理长文本时，这种计算复杂度会带来两个主要问题：

1. 计算墙：预填充阶段的巨大计算开销导致首个词元生成时间（TTFT）急剧增加。例如，处理256K词元的序列时，全注意力机制需要进行约655亿次计算操作。

2. 显存墙：自回归生成过程中需要存储所有历史词元的Key和Value状态（KV-Cache）。对于一个8B参数的模型，即使采用分组查询注意力（GQA），百万级词元所需的KV-Cache也可能达到上百GB显存。

1.2 现有解决方案的局限性

针对这些问题，业界主要提出了两种解决方案：

稀疏注意力：

• 仅计算注意力矩阵中最显著的部分（如滑动窗口或全局锚点）
• 优势：保持了较高的建模精度
• 局限：虽然减少了即时计算量，但仍需保留完整的KV-Cache

线性注意力：

• 通过循环计算将复杂度降低到线性（O(N)）
• 优势：计算效率极高
• 局限：对上下文信息进行有损压缩，导致精度损失

2. SALA混合架构设计

2.1 架构概览

MiniCPM-SALA创新性地提出了稀疏-线性混合注意力架构（Sparse Attention-Linear Attention, SALA），将75%的线性注意力与25%的稀疏注意力相结合：

• 线性注意力层（75%）：采用Lightning Attention，负责信息的高效全局流转
• 稀疏注意力层（25%）：采用InfLLM-v2，专注于精准捕捉局部关键信息

这种混合比例经过大量实验验证，能够在计算效率与语义精度之间取得最佳平衡。

2.2 核心组件详解

2.2.1 稀疏注意力模块（InfLLM-v2）