1. 从表格到函数：策略梯度方法的核心思想
在传统强化学习中，我们习惯用表格来表示策略——每个状态对应一个动作概率分布。这种方法简单直观，但当状态空间庞大时（比如围棋有10^170种可能状态），表格存储就变得完全不现实。这就是策略梯度方法诞生的背景：用参数化函数代替表格，实现策略的紧凑表示。
我刚开始接触强化学习时，也经历过从表格方法到函数逼近的思维转变。记得第一次用神经网络表示策略时，那种"原来还能这样"的顿悟感至今难忘。策略梯度方法最吸引人的地方在于，它让智能体能够处理现实世界中那些状态空间近乎无限的问题。
1.1 表格型策略的局限性
表格型策略（如Sarsa、Q-learning）存在三个致命缺陷：
-
存储问题：对于连续状态空间或高维离散空间，表格需要的内存呈指数级增长。比如一个简单的机械臂控制问题，如果把每个关节角度离散化为100个区间，6个关节就需要100^6=1万亿个状态条目。
-
泛化能力差：表格中每个状态-动作对都是独立学习的，无法共享经验。现实中相似的状态应该采取相似的动作，但表格方法无法捕捉这种关系。
-
连续动作空间处理困难：对于连续动作（如方向盘转角、电机扭矩输出），表格方法需要离散化，这会损失控制精度。
python复制# 表格型策略示例 - 简单的网格世界
Q_table = np.zeros((num_states, num_actions)) # 状态动作值表格
def tabular_policy(state):
return np.argmax(Q_table[state]) # 简单选择Q值最大的动作
1.2 函数逼近的优势
策略梯度方法用参数化函数π(a|s,θ)表示策略，其中θ是可调参数（如神经网络权重）。这种方式具有显著优势：
-
参数共享：相似状态通过函数逼近自动获得相似策略，实现经验共享。比如在自动驾驶中，略微不同的路况会被映射到相似的转向策略。
-
处理连续空间：神经网络等函数逼近器天然适合处理连续输入输出。机械臂的每个关节角度可以直接作为输入，无需离散化。
-
内存效率：存储一组参数远比存储整个状态-动作表格节省空间。一个有几百万参数的神经网络可以处理状态空间远超表格方法的问题。
python复制# 神经网络策略示例 - 适用于连续状态和动作空间
class PolicyNetwork(nn.Module):
def __init__(self, state_dim, action_dim):
super().__init__()
self.fc1 = nn.Linear(state_dim, 64)
self.fc2 = nn.Linear(64, action_dim)
def forward(self, state):
x = torch.relu(self.fc1(state))
return torch.softmax(self.fc2(x), dim=-1) # 输出动作概率分布
关键理解：策略梯度方法不是直接存储策略，而是学习一个生成策略的函数。这就像不是记住每个问题的答案，而是掌握解决问题的方法。
2. 策略梯度中的评估指标设计
在表格方法中，我们可以直接比较不同策略在各个状态的价值。但使用函数逼近后，策略空间变得连续且无限，我们需要设计标量指标来评估整体策略质量。这就好比不能用单科成绩来评价学生，而要设计一个综合评分标准。
2.1 平均状态价值 (Average State Value)
平均状态价值定义为：
$$\bar{v}\pi = \sum{s \in S} d(s) v_\pi(s) = \mathbb{E}{S \sim d}[v\pi(S)]$$
其中d(s)是状态的权重分布。这个指标的核心思想是：不同状态的重要性不同，应该区别对待。
2.1.1 状态分布d(s)的选择
策略无关分布(d₀)：
- 均匀分布：$d_0(s) = 1/|S|$，认为所有状态同等重要
- 特定状态分布：比如只关注初始状态$s_0$，$d_0(s_0)=1$
策略相关分布(dπ)：
- 稳态分布：$d_\pi(s)$表示长期运行下处于状态s的概率
- 满足平衡方程：$d_\pi^\top P_\pi = d_\pi^\top$
在实际应用中，选择哪种分布取决于问题特性。游戏AI可能更关注初始状态（因为游戏经常重启），而持续运行的系统（如交易算法）则更适合用稳态分布。
2.2 单步平均奖励 (Average One-step Reward)
单步平均奖励定义为：
$$\bar{r}\pi = \sum{s \in S} d_\pi(s)r_\pi(s) = \mathbb{E}{S \sim d\pi}[r_\pi(S)]$$
其中即时奖励$r_\pi(s) = \sum_a \pi(a|s)r(s,a)$。这个指标更关注即时回报，计算上通常更简单。
2.2.1 两种指标的等价性
有趣的是，在折扣情况下（γ<1），这两种指标可以通过以下公式相互转换：
$$\bar{r}\pi = (1-\gamma)\bar{v}\pi$$
这意味着最大化$\bar{v}\pi$和最大化$\bar{r}\pi$本质上是等价的。这个关系在理论分析和算法设计中非常有用。
2.3 轨迹形式的目标函数
实践中，我们常用第三种形式的目标函数：
$$J(\theta) = \mathbb{E}\left[\sum_{t=0}^\infty \gamma^t R_{t+1}\right]$$
这是从初始状态出发，沿轨迹累积折扣奖励的期望。它与前两种形式的关系如下：
- 从初始状态分布$d_0(s)$出发
- 生成轨迹$S_0,A_0,R_1,S_1,A_1,R_2,...$
- 计算累积奖励的平均值
这种形式特别适合基于蒙特卡洛采样的算法实现，也是REINFORCE等经典算法的基础。
3. 策略梯度定理与算法实现
理解了评估指标后，我们需要解决核心问题：如何优化策略参数θ以最大化J(θ)。这就是策略梯度定理要回答的问题。
3.1 策略梯度定理
策略梯度定理给出了目标函数J(θ)对参数θ的梯度表达式：
$$\nabla_\theta J(\theta) = \mathbb{E}\pi\left[G_t \nabla\theta \ln \pi(A_t|S_t,\theta)\right]$$
其中$G_t$是从时刻t开始的回报。这个优雅的公式告诉我们，可以通过增加导致高回报动作的概率，减少导致低回报动作的概率来改进策略。
3.1.1 梯度的直观理解
将梯度公式分解来看：
- $\nabla_\theta \ln \pi(A_t|S_t,\theta)$是"评分函数"，表示参数变化如何影响动作概率
- $G_t$是回报，作为权重决定更新的方向和幅度
如果某动作导致高回报($G_t$大)，则增加其概率；反之则减少。这种加权更新使策略逐渐向高回报区域移动。
3.2 REINFORCE算法
基于策略梯度定理的最基础算法是REINFORCE：
- 初始化策略参数θ
- 重复：
a. 用当前策略π(θ)生成完整轨迹
b. 对轨迹中每个时刻t：
i. 计算回报$G_t = \sum_{k=t}^T \gamma^{k-t} R_{k+1}$
ii. 更新参数：$\theta \leftarrow \theta + \alpha \gamma^t G_t \nabla_\theta \ln \pi(A_t|S_t,\theta)$
python复制def reinforce(env, policy, episodes, alpha, gamma):
optimizer = torch.optim.Adam(policy.parameters(), lr=alpha)
for _ in range(episodes):
state = env.reset()
rewards = []
log_probs = []
# 生成轨迹
done = False
while not done:
action, log_prob = policy.select_action(state)
next_state, reward, done, _ = env.step(action)
rewards.append(reward)
log_probs.append(log_prob)
state = next_state
# 计算回报
G = 0
returns = []
for r in reversed(rewards):
G = r + gamma * G
returns.insert(0, G)
# 更新参数
policy_loss = []
for log_prob, G in zip(log_probs, returns):
policy_loss.append(-log_prob * G)
optimizer.zero_grad()
loss = torch.stack(policy_loss).sum()
loss.backward()
optimizer.step()
实现技巧：在实际编码时，通常会进行回报标准化（减去均值，除以标准差），这可以减小方差，加速收敛。
3.3 带基准线的策略梯度
原始REINFORCE算法的方差很大，一个有效的改进是引入基准线b(s)：
$$\nabla_\theta J(\theta) = \mathbb{E}\pi\left[(G_t - b(S_t)) \nabla\theta \ln \pi(A_t|S_t,\theta)\right]$$
基准线不影响梯度的期望值，但能显著降低方差。常用的选择是状态价值函数$V(S_t)$，这时$G_t - V(S_t)$就是优势函数A(s,a)。
4. 策略梯度方法的实践技巧
在实际应用中，策略梯度方法有许多需要注意的细节和技巧。根据我的项目经验，这些实践知识往往比理论公式更重要。
4.1 网络架构设计
策略网络的设计对性能影响巨大。一些经验法则：
-
离散动作空间：
- 输出层使用softmax激活，表示动作概率分布
- 隐藏层通常2-3层，每层64-256个单元
-
连续动作空间：
- 输出高斯分布的均值和方差
- 均值用tanh激活（限制输出范围）
- 方差可以用softplus激活保证正值
python复制class ContinuousPolicy(nn.Module):
def __init__(self, state_dim, action_dim):
super().__init__()
self.fc1 = nn.Linear(state_dim, 64)
self.fc_mean = nn.Linear(64, action_dim)
self.fc_std = nn.Linear(64, action_dim)
def forward(self, x):
x = torch.relu(self.fc1(x))
mean = torch.tanh(self.fc_mean(x)) # [-1,1]范围内
std = F.softplus(self.fc_std(x)) + 1e-5 # 保证正值
return torch.distributions.Normal(mean, std)
4.2 超参数调优
策略梯度方法对超参数非常敏感，关键参数包括：
- 学习率：通常设置在1e-4到1e-2之间，需要仔细调整
- 折扣因子γ：控制远期奖励的重要性，0.9-0.99常见
- 批量大小：每次更新使用的轨迹数量，越大训练越稳定
- 网络规模：根据问题复杂度调整，简单任务小网络即可
调优技巧：使用Adam优化器通常比SGD更稳定，因为它能自动调整学习率。
4.3 常见问题与解决方案
问题1：训练不稳定
- 症状：回报波动大，策略突然退化
- 解决方案：
- 使用信任域方法（如PPO）
- 限制策略更新幅度（KL散度约束）
- 实施早停机制
问题2：探索不足
- 症状：策略陷入局部最优
- 解决方案：
- 在动作选择中增加噪声
- 使用熵正则化项
- 设置最小概率阈值
问题3：高方差
- 症状：学习曲线噪声大
- 解决方案：
- 使用优势函数而非原始回报
- 实现广义优势估计(GAE)
- 增大批量大小
5. 策略梯度的高级变体
基础策略梯度方法存在样本效率低、训练不稳定等问题。以下是几种重要的改进算法：
5.1 自然策略梯度(NPG)
自然策略梯度考虑了参数空间的曲率，使用Fisher信息矩阵进行更新：
$$\theta_{k+1} = \theta_k + \alpha F^{-1}(\theta_k)\nabla_\theta J(\theta_k)$$
其中$F(\theta)$是Fisher信息矩阵。NPG的更新方向更符合策略空间的几何结构。
5.2 信任域策略优化(TRPO)
TRPO通过约束KL散度来限制策略更新幅度：
$$\max_\theta \mathbb{E}\left[\frac{\pi_\theta(a|s)}{\pi_{\theta_{old}}(a|s)} A_t\right]$$
$$\text{s.t. } \mathbb{E}[KL(\pi_{\theta_{old}}||\pi_\theta)] \leq \delta$$
这种信任域方法能产生更稳定的训练过程。
5.3 近端策略优化(PPO)
PPO是TRPO的简化版本，通过裁剪概率比来实现约束：
$$L^{CLIP}(\theta) = \mathbb{E}\left[\min\left(r_t(\theta)A_t, \text{clip}(r_t(\theta),1-\epsilon,1+\epsilon)A_t\right)\right]$$
其中$r_t(\theta) = \pi_\theta(a_t|s_t)/\pi_{\theta_{old}}(a_t|s_t)$。PPO实现简单且效果出色，成为当前最流行的策略梯度算法。
python复制# PPO的损失函数实现示例
def ppo_loss(old_probs, states, actions, advantages, clip_epsilon=0.2):
new_dist = policy_net(states)
new_probs = new_dist.log_prob(actions)
ratio = (new_probs - old_probs).exp()
clipped_ratio = ratio.clamp(1-clip_epsilon, 1+clip_epsilon)
surrogate1 = ratio * advantages
surrogate2 = clipped_ratio * advantages
return -torch.min(surrogate1, surrogate2).mean()
6. 策略梯度的应用实例
为了更好地理解策略梯度方法，让我们看一个完整的应用实例——CartPole平衡问题。
6.1 问题描述
CartPole是OpenAI Gym中的经典控制问题：
- 状态：小车位置、速度、杆角度、角速度
- 动作：向左或向右推车
- 目标：尽可能长时间保持杆竖直
6.2 策略网络实现
python复制class CartPolePolicy(nn.Module):
def __init__(self):
super().__init__()
self.fc1 = nn.Linear(4, 16)
self.fc2 = nn.Linear(16, 2) # 两个动作
def forward(self, x):
x = torch.relu(self.fc1(x))
return torch.softmax(self.fc2(x), dim=-1)
def select_action(self, state):
state = torch.FloatTensor(state).unsqueeze(0)
probs = self.forward(state)
m = Categorical(probs)
action = m.sample()
return action.item(), m.log_prob(action)
6.3 训练过程
使用PPO算法训练CartPole策略：
- 收集多个轨迹的经验
- 计算每个状态-动作对的优势估计
- 执行多个epoch的参数更新，使用clip损失
- 重复直到策略收敛
训练技巧：在CartPole中，设置episode最大长度为500（环境默认阈值），当平均回报接近这个值时，可以认为策略已经收敛。
6.4 性能评估
好的策略梯度实现通常能在100-300个episode内解决CartPole问题。关键指标包括：
- 平均回报：应该接近500
- 训练稳定性：回报曲线应平稳上升
- 样本效率：达到目标所需的环境交互次数
7. 策略梯度与其他强化学习方法的比较
理解策略梯度在强化学习算法谱系中的位置很重要。以下是主要方法的对比：
7.1 与值函数方法的比较
| 特性 | 策略梯度 | 值函数方法(Q-learning等) |
|---|---|---|
| 策略表示 | 显式参数化策略 | 隐式通过值函数推导 |
| 动作空间 | 适合连续动作 | 适合离散动作 |
| 收敛性 | 局部最优 | 全局最优(理论上) |
| 探索 | 依赖策略的随机性 | 需要显式探索策略 |
| 策略平滑性 | 策略变化平滑 | 策略可能突变 |
7.2 与进化策略的比较
进化策略(ES)也直接优化策略，但与策略梯度有本质区别：
-
更新方式：
- ES：基于种群的无梯度优化
- PG：基于梯度上升的有导向优化
-
信息利用：
- ES：仅使用回报标量
- PG：利用完整的轨迹信息
-
并行性：
- ES：高度并行，适合分布式计算
- PG：通常顺序执行
在实际应用中，策略梯度通常样本效率更高，而进化策略更简单且可并行化。
8. 策略梯度在实际项目中的挑战
虽然策略梯度理论优美，但在实际项目中会遇到许多挑战。根据我的工程经验，以下是最常见的几个问题：
8.1 高方差问题
策略梯度的最大挑战是估计的梯度方差很大，导致：
- 训练不稳定
- 收敛速度慢
- 需要大量样本
解决方案：
- 使用优势函数而非原始回报
- 实现广义优势估计(GAE)
- 增大批量大小
- 使用适当的基准线
8.2 探索-利用权衡
策略梯度方法容易陷入局部最优，因为：
- 策略会快速专注于当前看似好的动作
- 可能错过长期更好的策略
解决方案：
- 熵正则化：鼓励策略保持随机性
- 设置最小探索率
- 定期注入随机噪声
8.3 超参数敏感性
策略梯度性能高度依赖：
- 学习率
- 网络架构
- 折扣因子
- 批量大小
应对策略：
- 使用自适应优化器(如Adam)
- 实施自动超参数调优
- 从文献中寻找合理的初始值
8.4 训练监控与调试
强化学习训练过程难以调试，因为：
- 回报曲线波动大
- 难以区分信号与噪声
- 问题根源多样(策略、实现、环境等)
调试工具：
- 记录关键指标(回报、熵、KL散度等)
- 可视化策略行为
- 实施单元测试(如梯度检查)
9. 策略梯度的前沿发展
策略梯度方法仍在快速发展，以下是一些有前景的方向：
9.1 分布式策略梯度
通过分布式采样提高数据效率：
- A3C：异步并行采样
- IMPALA：解耦采样与学习
- SEED RL：大规模分布式框架
9.2 元强化学习
学习快速适应新任务的策略：
- MAML：模型无关的元学习
- RL²：循环策略的元学习
- 结合策略梯度的元学习方法
9.3 分层策略梯度
将任务分解为子策略：
- 高层策略设定目标
- 底层策略执行具体动作
- 如Option-Critic架构
9.4 基于模型的策略梯度
结合环境模型提高样本效率：
- 使用学习的环境模型生成虚拟轨迹
- 在真实和虚拟数据上联合训练
- 如MBPO、PlaNet等方法
10. 个人实践建议
根据我在多个强化学习项目中的经验，以下建议可能对你有帮助：
-
从小问题开始：先尝试CartPole、MountainCar等简单环境，验证实现正确性。
-
使用成熟框架：Stable Baselines3、Ray RLlib等库提供了高质量的实现，可以作为参考。
-
重视监控：记录回报、策略熵、梯度大小等指标，帮助诊断问题。
-
耐心调参：策略梯度对超参数敏感，需要系统性地尝试不同组合。
-
可视化策略：定期渲染策略行为，直观理解其表现。
-
实现检查：验证梯度计算是否正确，可以通过数值梯度检验。
-
基准测试：与已知性能的算法比较，确保实现效率。
-
文档记录：详细记录每次实验的设置和结果，便于回溯分析。
强化学习工程实践既是科学也是艺术。策略梯度方法提供了强大的工具，但要掌握它需要理论理解和实践经验的结合。希望这篇指南能帮助你少走弯路，更快地应用这些方法解决实际问题。