1. 强化学习基础与无模型方法概述
强化学习作为机器学习的重要分支，其核心思想是通过与环境的交互学习最优策略。在众多强化学习方法中，无模型方法因其不需要预先了解环境动态特性而备受关注。无模型方法主要分为两大类：蒙特卡洛方法和时序差分方法。
蒙特卡洛方法源于统计学中的抽样思想，它通过完整回合的采样来估计价值函数。这种方法特别适合回合制任务，如21点游戏。在实际应用中，蒙特卡洛方法会记录每个状态-动作对的累积奖励，然后通过大量采样求平均值来逼近真实价值。其优势在于估计无偏，但缺点是需要等待回合结束才能更新，且方差较大。
时序差分方法则结合了蒙特卡洛思想和动态规划的思想，它不需要等待回合结束，而是利用相邻状态间的差异进行增量更新。这种方法学习效率更高，能够实现实时在线学习。TD(0)是最基础的时序差分算法，它只向前看一步就进行更新，在21点这类问题中表现尤为出色。
2. 21点游戏环境解析
2.1 游戏规则与状态空间
21点游戏是研究无模型强化学习的理想测试平台。游戏使用无限牌堆（即有放回抽样），每位玩家初始获得两张牌，庄家一张明牌一张暗牌。玩家的目标是通过要牌（Hit）或停牌（Stick）使手中牌的点数尽可能接近21点而不超过。
游戏的状态空间由三个关键要素构成：
- 玩家当前总点数（12-21）
- 庄家明牌点数（1-10，其中1代表A）
- 是否有可用Ace（布尔值）
这种状态表示方法既包含了必要的信息，又保持了合理的维度。值得注意的是，当玩家手中有Ace且按11计算不爆牌时，该Ace被视为"可用Ace"，这为玩家提供了额外的策略灵活性。
2.2 动作空间与奖励机制
动作空间是离散的二元选择：
- 0：停牌（Stick）
- 1：要牌（Hit）
奖励机制设计如下：
- 玩家胜利：+1
- 玩家失败：-1
- 平局：0
- 天成（Natural Blackjack，即初始两张牌即21点）：+1.5（当natural参数为True时）
这种奖励结构简洁明了，能够有效引导智能体学习合理的策略。游戏回合在以下情况终止：玩家爆牌、玩家选择停牌，或达到最大步数限制（虽然21点通常不会设置步数限制）。
3. 蒙特卡洛方法实现详解
3.1 算法核心思想
蒙特卡洛方法的核心在于"从经验中学习"。它不依赖于环境模型，而是通过实际交互收集完整的回合数据（称为episode），然后基于这些样本统计来估计价值函数。这种方法直接体现了"实践出真知"的学习理念。
在21点游戏中，蒙特卡洛方法会记录每个状态-动作对的长期回报，并通过大数定律保证估计的准确性。具体来说，对于每个访问过的状态-动作对(s,a)，算法会维护：
- Q(s,a)：状态-动作价值估计
- rewards(s,a)：历史回报记录
- policy(s,a)：策略概率分布
3.2 代码实现解析
初始化阶段创建了几个关键数据结构：
python复制Q = {} # 动作价值表
explore_rate = 0.2 # 探索率
policy = {} # 策略分布
rewards = {} # 奖励记录
num_episodes = 5000 # 总训练回合数
回合生成函数generate_episode的工作流程：
- 初始化环境，获取初始状态
- 对于新出现的状态，初始化其Q值、策略和奖励记录
- 根据当前策略选择动作（包含探索机制）
- 执行动作，观察新状态和奖励
- 记录状态转移信息到episode中
- 重复直到回合结束
学习过程采用反向更新：
python复制for i in range(num_episodes):
episode = generate_episode(Q, policy)
episode_sum_reward = 0.0
for t in range(len(episode))[::-1]: # 反向遍历
state, action, reward = episode[t]
episode_sum_reward += reward
rewards[state][action].append(episode_sum_reward)
Q[state][action] = np.mean(rewards[state][action])
# 更新策略
policy_action = np.argmax(list(Q[state].values()))
policy[state][policy_action] = 1 - explore_rate
policy[state][1 - policy_action] = explore_rate
这种反向更新的设计非常关键，因为它确保了最终的奖励能够正确地传播到导致这个奖励的早期决策上。在21点游戏中，只有在回合结束时才能获得非零奖励，因此这种回溯机制尤为重要。
3.3 策略优化与探索机制
蒙特卡洛方法采用ε-greedy策略平衡探索与利用：
- 以1-ε的概率选择当前估计最优的动作（利用）
- 以ε的概率随机选择动作（探索）
在我们的实现中，ε设为0.2，这是一个经验值，既能保证足够的探索，又不至于过度降低学习效率。随着训练的进行，可以逐渐减小ε值，使策略趋于稳定。
4. 时序差分方法实现详解
4.1 TD(0)算法原理
时序差分(TD)方法的核心思想是"边走边学"。与蒙特卡洛需要等待回合结束不同，TD方法利用相邻状态间的差异进行增量更新。TD(0)是最简单的形式，其更新规则为：
Q(s,a) ← Q(s,a) + α[r + γmaxQ(s',a') - Q(s,a)]
其中：
- α是学习率，控制更新幅度
- γ是折扣因子（在21点中通常设为1）
- r是即时奖励
- s'是转移后的新状态
这种更新方式结合了当前估计和部分真实反馈，被称为"自举"(bootstrapping)。
4.2 代码实现对比
时序差分实现与蒙特卡洛的主要区别在于更新部分：
python复制# TD(0)更新
Q[state][action] += alpha * (reward + max(Q[next_state].values()) - Q[state][action])
这里不需要等待回合结束，每一步都可以立即更新Q值。alpha是学习率参数，需要仔细调整——过大可能导致不稳定，过小则学习缓慢。
另一个关键区别是时序差分需要访问下一个状态next_state的信息，因此episode中需要存储状态转移序列。这反映了TD方法"向前看一步"的特点。
4.3 算法性能比较
蒙特卡洛和时序差分在21点游戏中表现出不同的特性：
| 特性 | 蒙特卡洛方法 | 时序差分方法 |
|---|---|---|
| 更新时机 | 回合结束后 | 每一步之后 |
| 偏差-方差权衡 | 无偏但高方差 | 有偏但低方差 |
| 数据效率 | 需要完整回合，效率较低 | 可即时学习，效率较高 |
| 收敛性 | 稳定但缓慢 | 快速但可能波动 |
| 实现复杂度 | 相对简单 | 需要精细调参 |
在实际应用中，对于21点这类回合制游戏，两种方法各有优劣。蒙特卡洛更易于实现和理解，适合作为入门；而时序差分通常能获得更好的性能，特别是当结合eligibility traces（如TD(λ)）时。
5. 实战经验与优化技巧
5.1 状态表示优化
原始的状态表示虽然有效，但可以进一步优化：
- 将玩家点数分段处理（如12-16为"危险区域"）
- 对庄家明牌进行分类（小牌2-6，中牌7-9，大牌10-A）
- 考虑添加"已要牌次数"作为额外特征
这些调整可以减小状态空间，加快学习速度，但可能会损失一些理论上的最优性。
5.2 超参数调优
关键超参数对算法性能有重大影响：
- 探索率(ε)：初始可设0.2-0.3，随着训练逐渐衰减
- 学习率(α)：TD方法中通常设为0.01-0.1，可线性衰减
- 折扣因子(γ)：在21点中设为1（无折扣）
实践中可以采用以下策略：
python复制# 衰减式探索率
explore_rate = max(0.01, 0.2 * (1 - i/num_episodes))
# 衰减式学习率
alpha = max(0.01, 0.1 * (1 - i/num_episodes))
5.3 常见问题排查
-
Q值不收敛：
- 检查探索率是否过高
- 降低学习率
- 增加训练回合数
-
策略过于保守：
- 可能是探索不足导致
- 尝试增加初始探索率
- 检查奖励设计是否合理
-
学习速度慢：
- 考虑使用资格迹(TD(λ))
- 优化状态表示
- 尝试优先扫描重要状态
5.4 进阶技巧
- 重要性采样：结合行为策略和目标策略提升效率
- 双重学习：使用两个Q表减少过高估计
- 经验回放：存储转移样本供重复学习
- 神经网络近似：对于更大状态空间，可用DQN等方法
在21点游戏中，我发现一个实用技巧：当玩家点数在12-16且庄家明牌较大(7-A)时，即使Q值显示停牌更优，适当保持要牌概率有助于探索更优策略。这是因为传统的基本策略在这种情况下也会建议要牌。