大语言模型结构鲁棒性实验与四阶段推理假设

1. 大语言模型的结构鲁棒性实验揭秘

去年在实验室里折腾Pythia模型时，我偶然发现一个有趣现象：手动跳过某些中间层的计算，模型输出竟然没崩。这个反直觉的发现促使我系统性地探究了大语言模型（LLMs）对结构性干预的耐受程度。我们团队对Pythia、GPT-2、Phi、Llama 3.2、Qwen 2.5等不同规模的解码器架构进行了"外科手术式"的层操作实验，结果令人震惊——这些模型展现出的鲁棒性远超预期。

1.1 实验设计与实施细节

实验采用了两类核心干预手段：

• 层删除（Zero-ablation）：将目标层的输出直接置为零向量
• 层交换（Layer swapping）：交换相邻层的参数权重

在124M到14B参数规模的模型上，我们测量了KL散度、top-1准确率和预测熵三个关键指标。为确保结果可靠性，每个实验都在WikiText-103和PG-19两个数据集上重复5次。实际操作中，需要特别注意梯度计算的中断处理——我们修改了模型的前向传播逻辑，但保留了完整的自动微分能力。

技术细节：实现层删除时，需要在forward hook中捕获目标层的输出并置零，同时要确保不影响其他层的梯度流。PyTorch的register_forward_hook()在这里是关键工具。

1.2 突破性发现：非均匀鲁棒性模式

实验结果颠覆了传统认知：

• 中间层（约第6层到倒数第4层）：删除单层平均仅造成5-8%的准确率下降，交换相邻层的影响更小（<3%）
• 前3层与最后3层：任何干预都会导致性能断崖式下跌（准确率下降40-70%）
• 注意力模式变化：早期层干预导致注意力聚焦异常，而中间层干预后注意力分布保持稳定

这个现象在从1亿到140亿参数的所有测试模型中普遍存在，说明这不是特定架构的偶然特性。最令人惊讶的是Phi-1.3B模型，即使删除连续5个中间层（第10-14层），在常识推理任务上仍保持82%的原始性能。

2. 四阶段推理假设的提出与验证

基于这些发现，我们提出了一个解释性框架——LLM推理的四阶段模型。这个假设不仅解释了观察到的鲁棒性模式，还揭示了语言模型处理信息的本质机制。

2.1 阶段划分与功能定位

阶段1：解标记化（Detokenization）