董云舟1. TRPO算法核心思想解析
TRPO（Trust Region Policy Optimization）作为策略梯度算法的重要改进，其核心创新在于引入了信任区域（trust region）的概念。传统策略梯度方法在深度神经网络场景下存在一个致命缺陷：当策略网络参数更新步长过大时，可能导致策略性能突然崩溃。这种现象在2015年Schulman等人的研究中被系统性地解决。
关键突破：TRPO通过数学推导证明，只要将新旧策略的KL散度限制在一定范围内，就能保证策略性能单调提升。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 策略优化目标函数推导
2.1 基础目标函数定义
在策略梯度方法中，我们试图最大化期望回报：
η(π̃) = 𝔼[∑γ^t r_t | π̃]
新旧策略的目标函数差异可表示为：
η(π̃) - η(π) = 𝔼[∑γ^t A^π(s_t,a_t) | π̃]
其中A^π是优势函数，γ是折扣因子。
2.2 重要近似推导
通过状态访问分布近似，可以得到：
η(π̃) ≈ η(π) + ∑ρ_π(s)∑π̃(a|s)A^π(s,a)
其中ρ_π(s)是策略π下的状态访问分布。
3. KL散度约束的数学本质
3.1 信任区域约束
TRPO的核心约束条件：
D_KL(π_old || π_new) ≤ δ
这个约束确保新策略不会偏离旧策略太远，其中：
- D_KL表示KL散度
- δ是预设的阈值（通常取0.01或0.001）
3.2 二阶近似处理
将约束条件进行二阶泰勒展开：
1/2 (θ-θ_old)^T H (θ-θ_old) ≤ δ
其中H是KL散度的Hessian矩阵，也称为Fisher信息矩阵。
4. 共轭梯度法的应用
4.1 自然梯度转换
传统梯度更新：
θ = θ + α∇J
自然梯度更新：
θ = θ + αH^{-1}∇J
其中H^{-1}∇J就是自然梯度方向。
4.2 实际计算技巧
直接计算H^{-1}非常昂贵，TRPO采用：
- 共轭梯度法近似求解
- 线性搜索确定步长
具体实现时，我们只需要计算Hv乘积：
Hv = ∇(∇(KL)^T v)
5. 完整算法流程实现
5.1 伪代码步骤
code复制初始化策略参数θ，价值函数参数ϕ
for 迭代=1,2,... do
使用当前策略收集轨迹样本
计算优势估计A^π
计算策略梯度g
用共轭梯度法计算更新方向Δθ
通过线性搜索确定步长β
更新策略参数：θ = θ + βΔθ
更新价值函数（最小化TD误差）
end for
5.2 关键PyTorch实现
python复制def conjugate_gradient(self, grad, states, old_action_dists):
x = torch.zeros_like(grad)
r = grad.clone()
p = grad.clone()
rdotr = torch.dot(r, r)
for i in range(10): # 共轭梯度主循环
Hp = self.hessian_matrix_vector_product(states, old_action_dists, p)
alpha = rdotr / torch.dot(p, Hp)
x += alpha * p
r -= alpha * Hp
new_rdotr = torch.dot(r, r)
if new_rdotr < 1e-10:
break
beta = new_rdotr / rdotr
p = r + beta * p
rdotr = new_rdotr
return x
6. 实验效果与调参经验
6.1 CartPole环境表现
| 参数 | 推荐值 | 效果说明 |
|---|---|---|
| γ | 0.98 | 较高折扣因子适合长周期任务 |
| λ | 0.95 | GAE参数平衡偏差方差 |
| KL约束 | 0.0005 | 控制策略更新幅度 |
在CartPole-v0环境中，TRPO通常能在500回合内达到最大回报200分。
6.2 连续控制注意事项
对于连续动作空间（如Pendulum）：
- 策略网络需输出高斯分布的均值和方差
- 回报需要适当缩放（如-8到8→-1到1）
- KL约束通常要更小（如0.00005）
7. 与PPO的对比分析
TRPO的后续改进PPO（Proximal Policy Optimization）主要优势：
- 移除了共轭梯度计算
- 使用clip替代KL约束
- 实现更简单且效果相当
但在某些复杂任务中，TRPO的理论保证使其表现更稳定。实际选择时需要考虑：
- 计算资源
- 环境复杂度
- 训练稳定性需求