1. Actor-Critic方法的核心思想
Actor-Critic（演员-评论家）方法是深度强化学习中最具代表性的算法框架之一，它巧妙地将策略梯度（Policy Gradient）和价值函数（Value Function）两种方法结合起来，形成了"双剑合璧"的效果。这种架构设计源于对传统强化学习方法的深刻反思——纯策略梯度方法方差高、收敛慢，而纯值函数方法在连续动作空间表现不佳。
在实际应用中，Actor负责生成动作（Action），就像演员在舞台上表演；Critic则评估这些动作的价值（Value），如同评论家对表演打分。这种分工带来三个显著优势：
- 方差降低：Critic提供的价值评估比蒙特卡洛采样更稳定
- 实时反馈：每一步都能获得评估，不需要等到回合结束
- 兼容性：既能处理连续动作空间，又能保证学习效率
我曾在机器人控制项目中对比过纯策略梯度与Actor-Critic的表现。在机械臂抓取任务中，前者需要约5000回合才能稳定，而采用Actor-Critic后，收敛速度提升到1200回合左右，且最终策略的抓取成功率从82%提升到91%。
2. 算法架构与数学原理
2.1 网络结构设计
典型的Actor-Critic系统包含两个神经网络：
- Actor网络：输入状态s，输出动作概率分布π(a|s;θ)
- Critic网络：输入状态s（或状态-动作对(s,a)），输出价值估计V(s;w)或Q(s,a;w)
在实际实现时，我推荐采用共享底层网络的设计。比如用CNN处理图像输入时，可以让前几层卷积网络被两个分支共享，这样既减少计算量，又能让特征表示保持一致。在PyTorch中可以实现为：
python复制class ActorCritic(nn.Module):
def __init__(self, state_dim, action_dim):
super().__init__()
self.shared_layers = nn.Sequential(
nn.Linear(state_dim, 64),
nn.ReLU()
)
self.actor = nn.Linear(64, action_dim)
self.critic = nn.Linear(64, 1)
def forward(self, x):
shared = self.shared_layers(x)
return F.softmax(self.actor(shared), dim=-1), self.critic(shared)
2.2 策略梯度定理的扩展
传统的策略梯度公式为：
∇J(θ) = E[∇logπ(a|s;θ) * Gt]
在Actor-Critic中，我们用Critic提供的价值估计替代回报Gt，得到：
∇J(θ) = E[∇logπ(a|s;θ) * Q(s,a;w)]
实际操作中，为了进一步降低方差，通常会使用优势函数（Advantage Function）：
A(s,a) = Q(s,a) - V(s)
最终梯度变为：
∇J(θ) = E[∇logπ(a|s;θ) * A(s,a;w)]
3. 关键实现细节与调参经验
3.1 优势估计的实践技巧
优势估计的质量直接影响算法性能。在项目中我发现，采用GAE（Generalized Advantage Estimation）通常能取得最佳平衡。其计算公式为：
A^GAE = Σ(γλ)^(l) * δ(t+l)
其中δ(t) = r(t) + γV(s(t+1)) - V(s(t))
λ的取值很关键：
- λ=0：完全依赖单步TD误差，方差低但偏差高
- λ=1：接近蒙特卡洛，偏差低但方差高
经过多次实验，我建议在连续控制任务中λ取0.92-0.95，离散动作空间取0.85-0.9
3.2 学习率设置策略
Actor和Critic需要不同的学习率：
- Critic学习率应该比Actor大2-5倍
- 建议初始设置：
- Actor：3e-4
- Critic：1e-3
- 使用学习率衰减：每50万步乘以0.8
重要提示：Critic网络必须比Actor学得更快，否则会导致策略更新方向错误。我曾因Critic学习不足导致策略崩溃，表现为回报突然断崖式下跌。
4. 典型问题与调试方法
4.1 策略过早收敛问题
在Atari游戏测试中，经常遇到策略过早收敛到次优解的情况。例如在Pong游戏中，智能体可能只学会接球而不会主动进攻。解决方法包括：
- 增加策略熵正则项：在损失函数中加入β*H(π)，β通常取0.01-0.05
- 采用课程学习：先训练简单场景再逐步增加难度
- 并行多个探索策略：使用不同随机种子初始化多个Actor
4.2 价值函数发散问题
当Critic网络输出变得不稳定时，可以尝试：
- 梯度裁剪：限制Critic梯度范数在0.5-1.0之间
- 目标网络：像DQN一样使用目标网络稳定训练
- 价值函数归一化：维护运行统计量，对目标值进行标准化
下表总结了常见问题现象与解决方案：
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
| 回报剧烈波动 | Critic学习不稳定 | 减小Critic学习率，增加批大小 |
| 策略多样性低 | 探索不足 | 增加熵系数，尝试噪声探索 |
| 训练后期性能下降 | 过拟合 | 添加dropout，增强状态随机化 |
5. 进阶优化方向
5.1 分布式Actor-Critic
通过Ape-X架构实现经验回放优先级采样：
- 多个Actor并行收集经验
- 中央回放缓冲区存储转移样本
- 根据TD误差确定采样优先级
- Learner线程异步更新网络参数
实测显示，在Mujoco环境中，分布式版本比单机训练快7-12倍。
5.2 混合蒙特卡洛更新
对于回合制任务，可以在回合结束时用实际回报对Critic进行蒙特卡洛更新：
L(w) = α*(Gt - V(s;w))^2 + (1-α)*(TD_error)^2
这种混合损失能兼顾偏差与方差，我在棋盘游戏AI中测试，使训练速度提升约40%。
6. 实际应用案例解析
以机械臂抓取任务为例，状态空间包括：
- 末端执行器位置（3维）
- 目标物体位置（3维）
- 夹爪开合状态（1维）
- 力传感器读数（6维）
动作空间为：
- 位置增量（Δx, Δy, Δz）
- 夹爪控制（开/关）
实现时的关键发现：
- 状态归一化至关重要：将位置坐标归一化到[-1,1]区间
- 动作缩放系数需要精心调整：过大导致震荡，过小收敛慢
- 加入0.5ms的动作延迟能更好模拟真实控制场景
最终在仿真环境中达到93%的成功率，迁移到真实机械臂后仍有87%的成功率，证明了方法的实用性。