从RLHF到DPO：大模型对齐技术演进与实践

1. 从RLHF到DPO：大模型对齐技术的演进脉络

在大模型训练领域，如何让模型输出符合人类价值观和偏好的内容一直是核心挑战。2017年OpenAI提出的RLHF（基于人类反馈的强化学习）技术路线，通过引入奖励模型和PPO算法，首次系统性地解决了这个问题。但RLHF在实际应用中暴露出三个显著痛点：首先，需要同时维护4个模型（Actor、Ref、RM、Critic），显存占用直接翻倍；其次，PPO算法中的采样过程会导致约30-40%的计算资源消耗在无效探索上；最重要的是，奖励模型的训练质量直接影响最终效果，而构建高质量的标注数据成本极高。

DPO（Direct Preference Optimization）的突破性在于，它通过数学变换将RLHF的两阶段流程（训练RM+PPO优化）转化为单阶段的直接偏好优化。这个转换的核心是对RLHF目标函数进行重新参数化，利用Bradley-Terry偏好模型将隐式的奖励函数显式地表示为策略模型和参考模型的对数概率差。从工程角度看，DPO相当于把原本需要200张GPU卡的任务压缩到了80张卡就能完成，同时避免了PPO训练中常见的梯度爆炸问题。

2. 技术架构对比：RLHF与DPO的模块级拆解

2.1 RLHF-PPO的四大组件

典型的RLHF实现包含以下关键模块：

1. Actor Model：基于SFT（监督微调）后的基础模型，负责生成响应，参数可训练
2. Reference Model：与Actor同架构的冻结模型，通过KL散度约束防止输出偏离
3. Reward Model：基于6B左右规模训练的判别模型，评估生成质量
4. Critic Model：估计状态价值函数，辅助优势函数计算

这种架构在实践中有两个主要瓶颈：首先，Reward Model需要额外的高质量偏好数据训练（通常需要10万量级的标注对）；其次，PPO算法要求多次采样生成响应，对于175B参数的大模型，单次前向传播就需要3-5秒，导致训练周期大幅延长。

2.2 DPO的简化架构

DPO的创新点在于消除了Reward Model和PPO的复杂交互：

1. 可训练策略模型：直接优化偏好数据中的正例/负例对数概率差
2. 冻结参考模型：仅用于计算初始策略的基准概率
3. **隐