李枝蔚1. On-Policy Distillation技术概述
On-Policy Distillation（OPD）是当前大语言模型（LLM）后训练阶段的核心技术之一。简单来说，它就像一位资深教师手把手指导学生写作：教师模型实时生成示范文本，学生模型通过观察教师的"思考过程"（即token级别的概率分布）来调整自己的输出策略。这种师生互动模式与传统的离线蒸馏（用静态数据集训练）形成鲜明对比，更接近人类师徒制的动态教学场景。
我在实际项目中发现，成功的OPD需要满足两个关键条件：首先，师生模型的"思维方式"必须兼容——就像数学老师和学生需要使用相同的解题逻辑；其次，教师必须提供学生未见过的"新知识"，而不仅仅是重复学生已有的能力。这解释了为什么同系列1.5B和7B模型的蒸馏效果有时反而不如跨架构的模型组合。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. OPD的核心机制解析
2.1 动态蒸馏的运作原理
OPD的核心在于token级别的概率对齐。具体流程如下：
- 学生模型生成响应时，会同时记录每个token的预测概率
- 教师模型对相同的上下文生成token概率分布
- 系统计算两者在top-k tokens（通常k=16）上的概率差异
- 通过强化学习（如GRPO算法）调整学生模型的参数
实测数据显示，有效的知识传递往往集中在占概率质量97%-99%的少量共享token上。这就像学习外语时，掌握核心2000词汇就能覆盖大部分交流场景。
2.2 关键参数配置经验
以下是我们团队经过多次实验验证的最佳参数组合：
| 参数名 | 推荐值 | 作用说明 |
|---|---|---|
| LOG_PROB_TOP_K | 16 | 保留概率最高的16个token计算奖励，平衡计算效率和知识覆盖 |
| TOP_K_STRATEGY | o |