1. 项目概述
网格世界(Grid World)是强化学习领域最经典的实验环境之一,它通过简化的二维网格模拟智能体与环境的交互过程。这个项目聚焦于5动作网格世界中的策略评估(Policy Evaluation)与策略改进(Policy Improvement)完整实现,我将结合代码实例和可视化分析,拆解贝尔曼方程在离散空间中的具体应用。对于刚接触动态规划的同学,这个5x5的网格案例能帮你直观理解策略迭代(Policy Iteration)如何逐步收敛到最优策略。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心概念解析
2.1 网格世界建模要点
我们构建的5x5网格具有以下特性:
- 状态空间:25个网格单元(含终止状态)
- 动作空间:上/下/左/右/停留(5个离散动作)
- 转移概率:确定性转移(执行动作a必达预期格子)
- 奖励函数:
- 到达目标格子:+10
- 碰到边界:-1并保持原位
- 其他移动:-0.1
注意:奖励值设计直接影响策略收敛方向,稀疏奖励(如仅终点有奖励)会导致学习效率低下。本案例采用密集奖励设计加速收敛。
2.2 策略评估的数学本质
策略评估通过贝尔曼期望方程计算状态价值函数V(s):
code复制V(s) = Σ π(a|s) * [R(s,a) + γ * Σ P(s'|s,a) * V(s')]
对于确定性策略,方程简化为:
code复制V(s) = R(s,a) + γ * V(s')
在代码实现中,我们采用同步更新(synchronous update)方式:
python复制def policy_evaluation(grid, policy, gamma=0.9, theta=1e-4):
V = np.zeros(grid.size)
while True:
delta = 0
for s in grid.states:
v = V[s]
a = policy[s]
V[s] = grid.reward(s, a) + gamma * V[grid.next_state(s, a)]
delta = max(
