1. 从直觉到理论:Transformer深度如何影响表达能力
在深度学习领域,Transformer架构已经成为自然语言处理、计算机视觉等任务的基础模型。从业者普遍观察到一个现象:增加Transformer的层数(即深度)通常能提升模型性能。但很少有人能说清楚:这些额外的层究竟赋予了模型哪些新的能力?这个问题困扰着许多实践者——我们是在盲目堆叠层数,还是确有理论依据?
2025年NIPS的这篇论文《Knee-Deep in C-RASP: A Transformer Depth Hierarchy》给出了令人信服的答案。通过建立Transformer与形式语言C-RASP(Computational RASP)之间的等价性,研究者们揭示了深度与表达能力之间的精确数学关系。这不仅解释了为什么深层Transformer表现更好,更为模型设计提供了理论指导。
关键发现:固定精度Transformer(注意力机制内部不做舍入)的表达能力等价于C-RASP编程语言,且这种等价性在不同深度下保持。这意味着我们可以用形式语言工具来精确分析Transformer的能力边界。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 理论基础:Transformer与C-RASP的等价性证明
2.1 固定精度Transformer的形式化定义
论文首先明确了研究对象——固定精度Transformer。这类模型在注意力机制之外的所有计算都采用固定精度(即对中间结果进行舍入),只有注意力内部的softmax计算保持连续精度。这种设定既符合实际应用场景(硬件限制导致的计算精度限制),又保留了理论分析的可行性。
具体来说,一个L层固定精度Transformer可以表示为:
python复制class FixedPrecisionTransformer:
def __init__(self, layers):
self.layers = [TransformerLayer() for _ in range(layers)]
def forward(self, x):
for layer in self.layers:
# 除注意力内部外均进行舍入
x = round(layer(x), preci
