1. 策略梯度方法的核心思想
策略梯度方法是强化学习领域中一类重要的算法，它直接优化策略函数来最大化期望回报。与基于价值的方法（如Q-learning）不同，策略梯度方法不需要维护价值函数表，而是通过参数化的策略函数直接输出动作概率分布。
1.1 基本公式解析
策略梯度方法的核心公式可以表示为：
θ_{t+1} = θ_t + α∇_θ lnπ(a_t|s_t,θ_t)·q_t(s_t,a_t)
这个更新公式包含三个关键部分：
- ∇_θ lnπ(a_t|s_t,θ_t)：策略函数的对数梯度，指示了如何调整参数θ来增加当前动作a_t的概率
- q_t(s_t,a_t)：动作价值函数，评估在状态s_t下采取动作a_t的长期价值
- α：学习率，控制参数更新的步长
注意：在实际实现中，通常会使用批量样本的平均梯度来更新参数，而不是单一样本，这有助于降低方差。
1.2 策略梯度与价值函数的融合
策略梯度方法巧妙地将基于策略的方法和基于价值的方法结合起来：
- 基于策略的方面：直接优化策略参数θ，可以处理连续动作空间和随机策略
- 基于价值的方面：使用q_t(s_t,a_t)来评估动作的好坏，提供了更准确的更新方向
这种融合使得策略梯度方法兼具了两者的优势：既能处理复杂的策略表示，又能利用价值估计来指导策略改进。
2. Actor-Critic架构详解
Actor-Critic方法是策略梯度算法的一个重要分支，它通过引入两个组件来分别处理策略和价值函数。
2.1 核心组件
2.1.1 Actor（策略网络）
- 功能：根据当前状态选择动作
- 输出：离散动作的概率分布或连续动作的参数（如均值和方差）
- 优化目标：最大化期望回报J(θ)
2.1.2 Critic（价值网络）
- 功能：评估状态或状态-动作对的价值
- 输出：V(s)或Q(s,a)
- 优化目标：最小化时序差分(TD)误差
2.2 协同工作机制
Actor和Critic的交互过程可以描述为：
- Actor根据当前策略与环境交互，生成状态-动作-奖励序列
- Critic利用这些数据学习价值函数，计算优势函数A(s,a)
- Actor使用Critic提供的优势函数来更新策略参数
- 重复上述过程直到策略收敛
这种架构的优势在于：
- 降低了策略梯度的方差（通过使用Critic提供的基线）
- 实现了更稳定的学习过程
- 可以复用历史数据（在off-policy变体中）
3. 数学推导与更新规则
3.1 策略梯度定理
策略梯度定理给出了目标函数J(θ)梯度的精确表达式：
∇_θ J(θ) = E[∇_θ logπ_θ(a|s)Q^π(s,a)]
这个定理表明，我们可以通过采样来估计梯度，而不需要知道环境的动态模型。
3.2 优势函数的作用
引入优势函数A^π(s,a) = Q^π(s,a) - V^π(s)可以显著降低梯度估计的方差：
∇_θ J(θ) = E[∇_θ logπ_θ(a|s)A^π(s,a)]
优势函数衡量了特定动作相对于平均水平的优势，使得更新方向更加准确。
3.3 实际更新公式
3.3.1 Critic更新
Critic通过最小化TD误差来学习价值函数：
L(ϕ) = E[(r + γV_ϕ(s') - V_ϕ(s))^2]
参数更新规则：
ϕ ← ϕ + βδ∇_ϕ V_ϕ(s)
其中δ = r + γV_ϕ(s') - V_ϕ(s)是TD误差，β是Critic的学习率。
3.3.2 Actor更新
Actor使用策略梯度进行更新：
θ ← θ + α∇_θ logπ_θ(a|s)A(s,a)
在实践中，A(s,a)常用TD误差δ来近似，简化计算。
4. 经典算法变体
4.1 Advantage Actor-Critic (A2C)
A2C算法使用n步TD误差来计算优势函数：
A_t = ∑{i=0}^{k-1} γ^i r + γ^k V(s_{t+k}) - V(s_t)
这种多步估计在偏差和方差之间取得了更好的平衡。
4.2 确定性策略梯度(DPG)
对于连续动作空间，DPG算法输出确定性动作：
μ_θ(s) = argmax_a Q_ϕ(s,a)
更新规则变为：
∇_θ J(θ) = E[∇_θ μ_θ(s)∇a Q_ϕ(s,a)|]
4.3 近端策略优化(PPO)
PPO通过限制策略更新的幅度来保证稳定性：
L^{CLIP}(θ) = E[min(r_t(θ)A_t, clip(r_t(θ),1-ε,1+ε)A_t)]
其中r_t(θ) = π_θ(a_t|s_t)/π_{θ_old}(a_t|s_t)是新旧策略的概率比。
5. 实现细节与调参经验
5.1 网络架构设计
-
Actor网络：输出层激活函数取决于动作空间
- 离散动作：softmax
- 连续动作：tanh（有界动作）或线性（无界动作）
-
Critic网络：输出单个标量值
- 最后一层通常不使用激活函数
5.2 超参数设置经验
| 参数 | 典型值 | 调整建议 |
|---|---|---|
| 学习率(α) | 1e-4~1e-3 | 从较小值开始，观察收敛性 |
| 折扣因子(γ) | 0.9~0.99 | 长期任务取较大值 |
| GAE参数(λ) | 0.9~0.95 | 平衡偏差和方差 |
| 批量大小 | 64~2048 | 取决于内存和计算资源 |
5.3 训练技巧
- 使用学习率衰减：随着训练进行逐步降低学习率
- 实现梯度裁剪：防止梯度爆炸
- 添加熵正则项：鼓励探索
- 使用并行环境：加速数据收集
重要提示：在连续控制任务中，动作缩放非常重要。确保动作输出在环境接受的范围内，通常使用tanh激活函数配合适当的缩放。
6. 常见问题与解决方案
6.1 训练不稳定
可能原因：
- 学习率过大
- 优势估计方差高
- 策略更新幅度过大
解决方案：
- 降低学习率
- 使用GAE进行优势估计
- 实现PPO的clip机制
6.2 探索不足
可能原因：
- 策略过早收敛到局部最优
- 熵值下降过快
解决方案：
- 增加熵正则项的权重
- 使用随机性更强的初始策略
- 尝试添加噪声到动作或参数空间
6.3 价值估计不准确
可能原因：
- Critic网络容量不足
- TD误差累积导致偏差
解决方案：
- 增大Critic网络规模
- 使用n步TD或TD(λ)方法
- 实现目标网络稳定训练
7. 实际应用案例
7.1 离散动作空间：Atari游戏
在Atari游戏这类视觉输入、离散动作的任务中，A2C表现良好：
- 使用CNN提取图像特征
- 共享部分网络参数（Actor和Critic的底层特征提取器）
- 采用帧堆叠处理时序信息
- 使用较大的折扣因子(γ≈0.99)
7.2 连续动作空间：机器人控制
对于MuJoCo等连续控制任务，PPO或DPG更为适合：
- 使用MLP处理状态向量
- 输出动作的均值和方差（随机策略）或直接输出动作（确定性策略）
- 注意动作缩放和观察归一化
- 可能需要较长的训练时间（数百万步）
8. 前沿发展与扩展阅读
近年来，策略梯度方法有几个重要发展方向：
- 分布式训练：如Ape-X、IMPALA等框架
- 元学习：学习快速适应新任务的能力
- 分层策略：将任务分解为子策略
- 基于模型的结合：利用环境模型提高样本效率
对于希望深入研究的读者，建议阅读以下资料：
- 《强化学习：原理与实践》相关章节
- 原始论文：PPO、DDPG、TD3等
- OpenAI Spinning Up教程
- DeepMind的强化学习课程
在实际项目中应用这些算法时，我个人的经验是：理解数学原理固然重要，但调参和实现细节往往决定了最终性能。建议从简单的环境开始（如CartPole），逐步验证每个组件的正确性，再扩展到更复杂的任务。同时，合理使用现有的强化学习库（如Stable Baselines3）可以避免重复造轮子，专注于算法改进和应用开发。