从PPO到GSPO：大模型强化学习算法演进解析

1. 从PPO到GSPO：大模型强化学习的演进之路

在大型语言模型（LLM）的强化学习阶段，策略优化算法经历了从PPO到GRPO再到GSPO的演进过程。这三种算法代表了不同阶段的技术突破，各自解决了前代算法存在的关键问题。

1.1 自回归语言模型强化学习基础

自回归语言模型的强化学习可以形式化描述为：给定模型参数θ，对应策略πθ。对于输入x∈D，模型生成响应y，其似然函数为：

πθ(y|x) = ∏πθ(yt|x,y<t)

外部评分器r(x,y)给出[0,1]范围的奖励。强化学习的目标是最大化期望奖励：

maxθ E[x,y∼πθ][r(x,y)]

这实质上是通过调整πθ，使模型更倾向于生成高奖励响应。

1.2 PPO算法解析

PPO（Proximal Policy Optimization）是当前最主流的策略优化算法，其目标函数为：

J_PPO(θ) = E[min(rt(θ)At, clip(rt(θ),1-ε,1+ε)At)]

其中rt(θ)是重要性比率，At是优势函数，ε是裁剪范围。PPO通过以下机制确保稳定训练：

1. 重要性采样：利用旧策略数据安全更新模型
2. 裁剪机制：控制策略更新幅度
3. 价值函数：使用GAE估计优势函数

然而PPO存在明显局限：

• 依赖价值模型，增加训练复杂度
• Token级价值估计在长文本场景效果不佳
• 对MoE架构支持不足

1.3 GRPO算法改进

GRPO（Group Relative Policy Optimization）通过以下改进简化了PPO：

1. 组相对优势：使用奖励z-score替代价值函数
   Âi,t = (ri - mean(r))/std(r)

2. 组采样：对每个query生成多个响应计算统计量

GRPO的优势在于：

• 去除价值模型依赖
• 降低计算资源消耗

但GRPO仍存在根本性问题：

• Token级重要性权重方差高
• 长序列噪声累积
• MoE训练不稳定

1.4 GRPO问题本质

GRPO不稳定的根本原因在于错误使用重要性采样权重。理想的重要性采样需要：

E[πtar(z)/πbeh(z)f(z)] ≈ 1/N Σ(πtar(z)/πbeh(z)f(z))

但GRPO在token级别仅采样一次，导致：

1. 权重估计方差极高
2. 噪声在长序列中累积
3. 裁剪机制放大噪声
   最终导致模型坍塌且难以恢复。

1.5 GSPO算法设计

GSPO（Group Sequence Policy Optimization）的核心创新是将优化粒度提升到序列级别：

1. 序列级重要性比：
   si(θ) = (πθ(yi|x)/πθ_old(yi|x))^(1/|yi|)

2. 长度归一化：消除序列长度影响

3. 序列级裁剪：更稳定的梯度控制

目标函数：
J_GSPO(θ) = E[min(si(θ)Âi, clip(si(θ),1-ε,1+ε)Âi)]

1.6 GSPO稳定性分析

GSPO的梯度可表示为：

∇J_GSPO = E[1/G Σ si(θ)Ai (1/|yi| Σ ∇logπθ(yi,t|x,yi,<t))]

与GRPO相比：

1. 序列级权重替代token级权重
2. 所有token共享相同权重
3. 长度归一化降低方差

这种设计带来显著优势：

• 训练稳定性大幅提升
• 支持更长序列训练
• 天然适配MoE架构

1.7 类REINFORCE形态

GSPO梯度呈现类REINFORCE形式：

∇J = E[Σ ∇logπ(at|st)R]

但有两个关键区别：

1. 权重在序列级（si(θ)Ai）
2. Token等权相加

这种结构保留了REINFORCE的优点，同时通过序列级设计提升了稳定性。

1.8 算法对比

2. GSPO-Token：细粒度控制变体

2.1 GSPO-Token设计

GSPO-Token在保持GSPO理论梯度等价的前提下，提供token级控制：

目标函数：
J = E[1/G Σ 1/|yi| Σ min(si,t(θ)Ai,t, clip(si,t(θ),1-ε,1+ε)Ai,t)]

其中：
si,t(θ) = sg[si(θ)]·πθ(yi,t|x,yi,<t)/sg[πθ(yi,t|x,yi,<t)]

关键特性：

1. 序列级权重主导（稳定器）
2. Token级微调（灵活性）
3. 与GSPO梯度等价

2.2 GSPO优势场景

2.2.1 MoE训练优势

在MoE模型中：

• GRPO：专家漂移导致训练不稳定
• GSPO：序列级优化天然稳定
  无需路由回放，降低内存和计算开销

2.2.2 基础设施优势

简化系统架构：

• 消除token级概率重算需求
• 支持训练-推理分离
• 提升部署灵活性

3. 实践建议与展望

在实际应用中，我们建议：

1. 长序列任务优先选择GSPO
2. 需要细粒度控制时使用GSPO-Token
3. MoE架构直接使用GSPO
4. 注意长度归一化的实现方式

未来可能的发展方向包括：

• 更高效的长度归一化方法
• 动态裁剪阈值机制
• 与其他RL算法的组合使用

GSPO通过序列级设计，在大模型强化学习领域实现了稳定性与效率的突破，为后续研究提供了新的思路和基础。