预训练到微调：NLP模型知识迁移规律解析

1. 研究背景与核心问题

在自然语言处理领域，预训练-微调范式已经成为构建高性能语言模型的标准流程。但长期以来，研究者们面临一个关键困惑：预训练阶段习得的知识和能力，究竟如何影响最终的微调表现？这个问题直接关系到模型开发效率和数据资源分配。

谷歌这项研究通过系统性实验，揭示了预训练到微调过程中几个鲜为人知的迁移规律：

1. 准确性和置信度在跨阶段迁移中呈现相反的规模效应
2. 不同能力类别的任务展现出截然不同的迁移稳定性
3. 数据过滤策略的效果会随模型规模发生戏剧性反转

特别值得注意的是，研究发现小模型和大模型在知识迁移机制上存在本质差异，这对当前"越大越好"的模型开发范式提出了重要修正。

2. 实验设计与方法论创新

2.1 多维评估框架构建

研究团队设计了一套创新的五维度分析协议：

1. 跨阶段准确率相关性
2. 跨阶段置信度相关性
3. 类别内任务一致性
4. 跨基准迁移稳定性
5. 性能-置信对齐度

这种多角度测量方法突破了传统单一指标评估的局限，首次实现了对知识迁移过程的立体观测。

2.2 实验配置细节

实验采用严格控制变量的设计：

• 模型规模：240M vs 1B参数
• 预训练数据：9种混合策略（不同网络来源/教育过滤强度/代码比例）
• 统一微调数据集：Tulu-v2-mix
• 评估基准：20个任务分属4类能力（常识推理/科学推理/NLI/语义理解）

这种设计使得研究者能够清晰分离出规模效应、数据效应和任务类型效应的独立影响。

3. 关键发现与深度解读

3.1 准确性与置信度的逆向缩放

最反直觉的发现是：

• 准确性迁移：1B模型(r=0.59) > 240M模型(r=0.49)
• 置信度迁移：240M模型(r=0.66) > 1B模型(r=0.41)

这表明：

1. 大模型更擅长保留准确的预测能力
2. 但小模型反而更好地保持了判断确定性模式
3. 准确性和置信度可能反映不同的知识表征机制

3.2 任务类别的迁移差异

不同任务类型展现出惊人的稳定性差异：