LLM强化学习微调中的关键token稀疏性研究

1. 研究背景与核心发现

在大型语言模型（LLM）的优化领域，带有可验证奖励的强化学习（RLVR）已经成为提升模型推理能力的重要方法。但长期以来，研究者们对RLVR如何具体影响模型内部的token预测分布缺乏深入理解。阿里团队的最新研究《Sparse but Critical》通过系统的token级分析，揭示了RLVR微调的本质是一种高度精准的"外科手术式"修正。

研究发现，RLVR微调带来的分布变化具有惊人的稀疏性：

• 超过80%甚至98%的token位置几乎没有任何分布变化（JS散度接近零）
• 关键变化集中在序列首尾的特定token位置
• 仅需干预1%-10%的高散度token就能完全复现RL模型的性能增益

这种模式与监督微调形成鲜明对比——后者通常会引起模型行为的全局性改变。RLVR更像是在基座模型已有的能力边界内，对少数高风险决策点进行精准校准。

2. 研究方法与技术路线

2.1 分布差异量化框架

研究团队采用JS散度作为核心度量指标，系统比较了基座模型与RL微调后模型在每个token位置的预测分布差异。具体实施时：

1. 对相同输入序列，分别记录基座模型和RL模型在每个解码步骤输出的token概率分布
2. 计算每对分布间的JS散度值
3. 建立全序列的散度热力图，识别高散度区域

技术细节：

• 使用温度系数T=1.0的softmax输出作为概率分布
• 对长度超过512的序列采用滑动窗口分析
• 通过bootstrap采样评估度量稳定性

2.2 交叉采样实验设计

为验证高散度token的功能重要性，研究者设计了精妙的干预实验：

正向干预（提升基座模型）：

1. 用基座模型生成完整序列
2. 识别其中散度最高的k% token位置
3. 将这些位置的token替换为RL模型的采样结果
4. 评估修改后序列的推理性能

反向干预（降低RL模型）：

1. 用RL模型生成完整序列
2. 随机选择k% token替换为基座模型的采样
3. 测量性能衰减程度

实验设置关键参数：

• 干预比例k从0.1%到20%阶梯变化
• 每个k值进行1000次蒙特卡洛采样
• 使用相同的验证奖励函数评估性能

3. 核心发现与机制分析

3.1 分布变化的稀疏特性

通过量化分析发现：