1. 多奖励强化学习面临的挑战与GDPO的诞生
在大语言模型(LLM)的实际应用中,我们常常面临一个核心矛盾:用户不仅要求模型回答准确,还希望它在不同场景下展现出多样化的理想行为特征。比如在客服对话中,既要保证回答正确性,又要控制响应时间;在代码生成任务中,既要确保功能实现,又要符合代码规范。这种多目标优化需求催生了多奖励强化学习(Multi-reward RL)技术。
传统方法GRPO(Group Reward Policy Optimization)直接将多个奖励信号简单相加后进行归一化处理,这在实际应用中暴露了三个关键问题:
-
奖励信号分辨率丧失:不同奖励维度的差异被过度平滑,导致模型难以区分"部分满足多个目标"和"完全满足单一目标"的区别。例如,在同时优化代码正确性和代码规范性的任务中,一个完全规范但功能错误的代码可能与一个功能正确但格式混乱的代码获得相似的综合评分。
-
优势估计失真:当不同奖励的量纲和分布差异较大时(如一个奖励范围是0-1,另一个是0-100),简单的求和归一化会导致重要信号被淹没。这就像用不同货币直接相加而不考虑汇率,最终数字失去了实际意义。
-
训练过程不稳定:我们的实验数据显示,在使用GRPO训练约400步后,某些关键奖励指标(如代码正确率)会出现明显下降,表明模型陷入了局部最优。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. GDPO的核心创新:解耦归一化机制
GDPO(Group reward-Decoupled Normalization Policy Optimization)的创新之处在于它对多奖励处理方式的根本性重构。与GRPO的"先求和再归一化"不同,GDPO采用"先归一化再求和"的策略,具体实现分为三个关键步骤:
2.1 奖励分组与独立归一化
对于每个奖励信号$r_k$,GDPO首先在组内进行独立归一化:
$$
A_k = \frac{r_k - \mu_k}{\sigma_k + \epsilon}
$$
其中$\mu_k$和$\sigma_k$是当前批次中该奖励的均值和标准差,$\epsilon$是防止除零的小常数。这个过程有两大优势:
- 保留了各奖励维度的原始分布特性
- 使不同量纲的奖励可以在公平的尺度上进行比较
2.2 动态权重调整机制
GDPO引入可学习的奖
