SFT技术解析：如何通过监督微调优化大语言模型

1. 从复读机到助手：SFT如何重塑大语言模型的行为模式

第一次接触未经SFT（监督微调）的大语言模型时，那种体验就像面对一个装满知识的疯子。记得去年测试某个开源基础模型时，我输入"请推荐几本机器学习入门书籍"，它却回复："机器学习入门书籍是学习机器学习的重要资源。重要的事情说三遍：机器学习入门书籍！机器学习入门书籍！机器学习入门书籍！"——这种令人啼笑皆非的反应，正是预训练模型未经调教的原始状态。

SFT的核心价值在于将这种"知识疯子"转化为"专业助手"。这个过程不是简单的行为矫正，而是从根本上重建模型对指令的理解和响应机制。想象你训练一只聪明的鹦鹉：预训练给了它模仿人类语言的能力，而SFT则教会它何时该说话、说什么话以及如何组织语言回应特定问题。

关键区别：基础模型看到"写诗"时想到的是"与诗相关的文本统计规律"，而SFT模型理解这是"需要执行创作任务的指令"。这种思维模式的转变，正是通过数万条高质量对话数据反复训练达成的。

2. SFT技术原理解析：概率分布的强制纠偏

2.1 预训练与SFT的概率分布对比

在预训练阶段，模型学习的是互联网文本的原始概率分布。我们用信息论中的交叉熵损失函数来描述这个过程：

H(p,q) = -Σ p(x) log q(x)

其中p是真实数据分布，q是模型预测分布。此时的训练目标是让q尽可能覆盖整个互联网文本空间。

而SFT阶段使用的损失函数经过关键改造：

L_SFT = -Σ_{y∈Y} log q(y|x)

这里Y是标准答案token序列，x是指令。模型被强制要求将概率质量集中在高质量回答的狭窄分布上。下图展示了这种分布变化：

2.2 Loss Masking的工程实现

现代SFT实现中，Loss Masking是核心技术之一。具体实现时：

python复制def compute_loss(model, inputs):
    # inputs包含input_ids和labels
    outputs = mo