1. 项目概述
Actor-Critic架构是强化学习领域的一个经典范式,它巧妙地将价值函数估计和策略优化这两个核心组件结合在一起。这种"双引擎"设计让智能体能够同时从价值评估和策略改进中获益,在很多复杂决策场景中展现出显著优势。
我在工业级推荐系统和游戏AI项目中多次应用过这种架构,发现它特别适合处理高维状态空间和连续动作空间的问题。相比单纯的Value-based或Policy-based方法,Actor-Critic通常能带来更稳定的训练过程和更好的最终性能。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心原理解析
2.1 架构设计思想
Actor-Critic的核心在于分工协作:
- Actor(策略网络):负责生成动作,相当于"执行者"
- Critic(价值网络):负责评估状态或状态-动作对的价值,相当于"评论家"
这种分工带来三个关键优势:
- 减少方差:Critic提供的价值估计比单纯的蒙特卡洛回报更稳定
- 实时更新:不同于蒙特卡洛方法需要等待回合结束,可以单步更新
- 策略平滑:通过参数化策略可以实现动作空间的连续输出
2.2 数学基础
我们用θ表示策略参数,w表示价值函数参数。更新规则可以表示为:
Actor更新:
∇θJ(θ) ≈ E[∇θlogπθ(a|s) * Qw(s,a)]
Critic更新:
Δw = α[R + γVw(s') - Vw(s)]∇wVw(s)
其中γ是折扣因子,这个形式就是著名的TD误差。
3. 实现细节
3.1 网络设计
典型的实现会包含:
python复制class Actor(nn.Module):
def __init__(self, state_dim, action_dim):
super().__init__()
self.fc1 = nn.Linear(state_dim, 64)
self.fc2 = nn.Linear(64, action_dim)
def forward(self, state):
x = F.relu(self.fc1(state))
return torch.tanh(self.fc2(x)) # 假设动作空间在[-1,1
