Transformer优势解析：动态稀疏性与样本复杂度

1. 从统计视角看Transformer的优势边界

在语言模型架构选择中，我们常面临一个根本问题：为什么Transformer能在众多任务中碾压传统的前馈网络（FFN）和循环神经网络（RNN）？过去的研究多从"表示能力"角度解释，认为Transformer能够建模更复杂的函数关系。但2025年NIPS这篇论文独辟蹊径，从统计学习的样本复杂度（sample complexity）维度给出了全新解释——即便在计算资源无限的情况下，某些任务中Transformer依然能凭借更低的样本需求碾压传统架构。

1.1 动态稀疏性：理解架构差异的关键

论文提出的q-稀疏令牌回归（q-Sparse Token Regression, qSTR）模型直指问题核心。想象你在阅读一篇技术文档时，当前段落的理解可能只依赖于前文中的几个关键术语定义（比如"注意力机制"、"反向传播"），而非所有历史内容。这种"输出仅依赖少量动态变化的输入特征"的特性，就是动态稀疏性的典型表现。

具体到qSTR模型：

• 序列长度：N个令牌的输入序列
• 稀疏度：每个输出位置仅依赖q个相关输入令牌（q≪N）
• 动态性：相关令牌的位置随输入提示变化

这种模式在真实场景中无处不在：代码补全时只需关注当前作用域的变量、对话响应只需提取前几句的关键信息、蛋白质序列分析中局部结构决定功能...传统架构在这些任务中的笨拙表现，本质上源于对动态稀疏性的不适应。

2. 架构间的样本复杂度对决

2.1 Transformer的注意力魔法

当注意力头数H≥q时，单层Transformer展现惊人优势：

• 样本复杂度几乎与序列长度N无关
• 理论依据：注意力机制天然适合"筛选-聚焦"模式
• 实操启示：在代码生成等任务中，适当增加头数至预期最大依赖长度

关键发现：当H<q时，即使提供无限样本，Transformer也无法学习qSTR任务。这解释了为什么某些任务中盲目减少头数会导致性能崩塌。

2.2 RNN的困境与局限

RNN的表现呈现两极分化：

• 对于输出恒定的简单qSTR（如文本分类）：
  • 样本复杂度≈poly(logN)
  • 仍保持竞争力
• 对于通用动态稀疏任务：
  • 样本复杂度≥N^Ω(1)
  • 序列长度增加10倍，所需样本可能增长1000倍