1. 自蒸馏与推理能力的矛盾现象解析
在大型语言模型的后训练方法中,自蒸馏(Self-Distillation)技术近年来备受关注。这项技术的基本思路是让模型"自己教自己"——先在有参考答案提示的条件下生成高质量回答,再用这些回答训练模型的无提示生成能力。表面上看,这就像让学生先看例题再做练习,是个非常合理的训练策略。然而2026年3月发表在arXiv上的这篇论文揭示了一个令人震惊的反常现象:自蒸馏虽然让模型变得更"自信",却使其数学推理能力出现显著退化,在某些情况下准确率甚至暴跌40%。
这个发现之所以重要,是因为它挑战了我们对模型训练的一个基本假设:通常情况下,我们会认为模型输出越确定、越自信越好。但这项研究表明,在需要复杂推理的任务中,模型表现出的"犹豫"(如输出"wait"、"hmm"、"maybe"等词汇)实际上是一种有价值的认知特征,而非需要消除的噪声。这些看似冗余的表达,恰恰是模型进行自我纠错和路径调整的关键机制。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 实验设计与关键发现
2.1 四种信息条件的对照实验
研究团队设计了精妙的对照实验,使用DeepSeek-R1-Distill-Qwen-7B模型在DAPO-Math-17k数据集上测试了四种不同的上下文条件:
第一种是无引导生成(Unguided),模型完全独立解题,没有任何提示。这种情况下,模型的回答通常较长,包含大量"犹豫"表达,平均每个回答会出现182.5个不确定性词汇。
第二种是解题过程引导(Solution-Guided),给模型看完整的解题过程和答案。这种条件下,模型的回答变得极其简洁,不确定性词汇骤降到平均8.8个,减少了95%。
第三种是仅答案引导(Solution-Guided w/o Think),只提供最终答案,不给解题过程。这种情况下模型的不确定性表达介于前两者之间,平均159.8个相关词汇。
第四种是再生条件(Regeneration),让模型看它自己之前生成的正确回答。这种条件下模型也会变得相对自信,不确定性词汇降至24.1个。
2.2 训练数据的"自信度"影响
更令人担忧的发现出现在监督微调(SFT)实验中。研究团队分别用"无引导"和"解题引导"两种条件生成的正确回答(各800条)对模型进行微调,然后测试其在分布外(OOD)数学推理任务上的表现。
结果显
