Transformer与RNN在状态追踪任务上的性能对比研究

1. 研究背景与核心发现

在人工智能领域，Transformer架构近年来几乎成为了"全能选手"的代名词。从自然语言处理到计算机视觉，从代码生成到图像创作，基于Transformer的大型模型不断刷新着各项任务的性能记录。然而，Qualcomm AI研究院的这项研究却揭示了一个令人意外的现象：在看似简单的状态追踪任务上，这些"全能选手"的表现竟然远不如传统的循环神经网络（RNN）。

状态追踪能力是智能系统的基础功能之一。想象一下，当你和朋友聊天时，需要记住对话的上下文；当你计算购物清单总价时，需要持续累加每件商品的价格；当你规划路线时，需要记住已经经过的地点。这些都需要系统具备持续更新和保持内部状态的能力。研究团队选择了数字序列累加这个看似简单的任务作为测试平台，却发现了不同架构模型在状态追踪能力上的本质差异。

关键发现：在数字累加任务中，LSTM等循环神经网络仅需几十个训练样本就能完美掌握规律，而Transformer模型需要数千甚至数万倍的训练数据才能达到相近效果。更令人惊讶的是，Transformer似乎为每种序列长度都学习了独立的解决方案，而非掌握通用的累加规则。

2. 模型架构的本质差异

2.1 循环神经网络的渐进式处理

循环神经网络（RNN）及其改进版本如LSTM、GRU，其核心设计理念就是状态追踪。这类模型在处理序列数据时，会维护一个随时间演变的隐藏状态（hidden state）。以数字累加任务为例：

code复制初始状态: h₀ = 0
输入序列: [2, 1, 0, 3, 4]

时间步1:
  输入x₁=2
  新状态h₁ = h₀ + x₁ = 0 + 2 = 2
时间步2:
  输入x₂=1
  新状态h₂ = h₁ + x₂ = 2 + 1 = 3
...
时间步5:
  输入x₅=4
  最终状态h₅ = h₄ + x₅ = 6 + 4 = 10
  输出: h₅ mod 5 = 0

这种架构天然适合序列处理任务，因为：

1. 参数完全共享：处理每个元素的权重相同
2. 状态自动更新：隐藏状态hₜ包含了到当前时刻的所有必要信息
3. 长度无关性：无论序列多长，处理每个元素的机制相同

2.2 Transformer的全局注意力机制

Transformer模型采用完全不同的处理方式。它通过自注意力机制同时处理整个序列：

code复制输入序列: [2, 1, 0, 3, 4]

1. 为每个位置生成查询(Q)、键(K)、值(V)向量
2. 计算注意力权重：softmax(QKᵀ/√d)
3. 加权求和得到输出：Attention = softmax(QKᵀ/√d)V
4. 通过前馈网络得到最终输出

这种机制的优势在于：

• 任意两个位置间的直接交互
• 并行处理整个序列
• 强大的表示能力

但在状态追踪任务中，这些特性反而成为劣势：

1. 缺乏显式状态传递
2. 需要为不同长度学习不同的注意力模式
3. 难以捕捉逐步累积的规律性