大语言模型On-Policy蒸馏：原理、实践与优化策略

1. On-Policy Distillation的核心概念解析

On-Policy Distillation（OPD）作为大语言模型（LLM）后训练阶段的核心技术，其本质是通过师生模型间的在线交互实现知识迁移。与传统离线蒸馏不同，OPD的关键特征在于学生模型生成的数据会实时反馈到训练过程中，形成"生成-评估-更新"的闭环系统。这种动态机制使得知识传递更具针对性，特别适合处理LLM在复杂推理任务中的表现优化。

从技术实现角度看，OPD包含三个核心组件：

1. 策略模型（学生）：需要被优化的目标模型
2. 价值模型（教师）：提供评估信号的知识源模型
3. 蒸馏算法：协调两者交互的机制设计

典型的工作流程是：学生模型根据输入提示生成多个响应 → 教师模型对这些响应进行token级别的概率评估 → 蒸馏算法根据评估结果更新学生模型参数。这种细粒度的反馈机制使得模型能够捕捉到传统方法难以处理的微妙模式差异。

2. OPD成功的关键条件与失效机制

2.1 师生模型的思维模式兼容性

研究发现，OPD成功的前提是师生模型必须具有兼容的"思维模式"（thinking patterns）。这具体表现为：

• 模型架构的相似性（如均属于Transformer-decoder系列）
• 预训练数据的重叠度（共享相似的知识分布）
• 推理路径的连续性（对相同问题产生逻辑连贯的中间步骤）

当使用Qwen3-1.7B作为学生、Qwen3-4B作为教师时，由于两者具有相同的架构家族和预训练基础，OPD能实现稳定的性能提升。而跨架构组合（如Llama学生+GPT教师）则容易出现训练发散。

2.2 教师模型的新知识供给能力

即使满足思维兼容性，教师模型还必须提供学生未见过的有效知识。通过弱到强反向蒸馏实验发现：

• 当教师仅重复学生已有知识时，KL散度会快速收敛到0
• 有效的教师应在top-k概率分布中保持约15-20%的新token
• 知识新颖性需要与任务难度匹配（简单任务需要30%新token，复杂任务需要50%+）

这种现象解释了为什么同家族的1.5B和7B模型间蒸馏效果有限——它们的概率分布过于相似，缺乏实质性的知识增量。

3. Token级别的蒸馏机制剖析

3.1 概率质量集中现象

对成功OPD案例的token级分析显