福桃九分饱1. 项目概述
在机器人自主导航领域，路径规划一直是个核心挑战。传统算法如A*和RRT在静态环境中表现良好，但当面对动态障碍物和复杂环境时，它们的局限性就显现出来了。这正是强化学习大显身手的地方——通过让机器人在模拟环境中不断试错，最终学会在各种复杂情况下都能找到最优路径。
我最近完成了一个基于深度强化学习的机器人路径规划项目，采用了DQN和DDPG两种主流算法。这个项目最吸引人的地方在于，它不仅能在静态环境中规划路径，还能实时应对移动障碍物，这在仓储物流、服务机器人等实际应用中非常关键。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心算法选择
2.1 为什么选择强化学习？
传统路径规划算法需要预先知道完整的环境信息，且难以适应动态变化。而强化学习的优势在于：
- 自适应能力：通过与环境交互，算法能实时调整策略
- 端到端学习：直接从传感器输入到动作输出，减少人工特征工程
- 泛化能力：训练好的模型可以迁移到类似但不同的环境中
2.2 DQN vs DDPG
根据动作空间的不同，我们选择了两种算法：
DQN（深度Q网络）：
- 适合离散动作空间（如前、后、左、右）
- 实现相对简单
- 需要设计合理的状态离散化方法
DDPG（深度确定性策略梯度）：
- 处理连续动作空间（如精确的速度控制）
- 输出更平滑的路径
- 训练难度较大，需要更精细的参数调优
实际选择时需要考虑机器人的具体运动方式。对于网格移动的机器人，DQN足够；需要精确速度控制的则应该选择DDPG。
3. 环境建模与状态表示
3.1 栅格地图构建
我们采用二维栅格表示环境，每个格子有三种状态：
- 0：可通行区域
- 1：障碍物
- 2：机器人当前位置
- 3：目标位置
python复制class GridEnvironment:
def __init__(self, width, height):
self.grid = np.zeros((height, width))
self.robot_pos = [0, 0]
self.goal_pos = [width-1, height-1]
def add_obstacle(self, x, y):
self.grid[y][x] = 1
3.2 状态设计技巧
好的状态表示应该包含：
- 局部环境信息：机器人周围5×5的栅格情况
- 全局位置信息：机器人与目标的相对距离和角度
- 运动状态：当前速度、方向
code复制状态向量 = [局部地图(25维), 距离(1维), 角度(1维), 速度(1维)]
这种设计既保留了足够的环境信息，又控制了状态空间的维度，避免维度灾难。
4. 关键实现细节
4.1 DQN实现要点
网络结构：
python复制class DQN(nn.Module):
def __init__(self, input_dim, output_dim):
super().__init__()
self.fc1 = nn.Linear(input_dim, 128)
self.fc2 = nn.Linear(128, 128)
self.fc3 = nn.Linear(128, output_dim)
def forward(self, x):
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
return self.fc3(x)
经验回放实现：
python复制class ReplayBuffer:
def __init__(self, capacity):
self.buffer = deque(maxlen=capacity)
def push(self, state, action, reward, next_state, done):
self.buffer.append((state, action, reward, next_state, done))
def sample(self, batch_size):
return random.sample(self.buffer, batch_size)
4.2 DDPG实现技巧
Actor-Critic结构：
python复制class Actor(nn.Module):
def __init__(self, state_dim, action_dim):
super().__init__()
self.fc1 = nn.Linear(state_dim, 400)
self.fc2 = nn.Linear(400, 300)
self.fc3 = nn.Linear(300, action_dim)
def forward(self, x):
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
return torch.tanh(self.fc3(x))
class Critic(nn.Module):
def __init__(self, state_dim, action_dim):
super().__init__()
self.fc1 = nn.Linear(state_dim, 400)
self.fc2 = nn.Linear(400 + action_dim, 300)
self.fc3 = nn.Linear(300, 1)
OU噪声实现：
python复制class OUNoise:
def __init__(self, size, mu=0.0, theta=0.15, sigma=0.2):
self.state = np.ones(size) * mu
self.theta = theta
self.sigma = sigma
def sample(self):
self.state += self.theta * -self.state
self.state += self.sigma * np.random.randn(len(self.state))
return self.state
5. 奖励函数设计艺术
设计良好的奖励函数是成功的关键。我们的奖励函数包含多个方面：
- 到达目标：+100
- 碰撞惩罚：-100
- 距离奖励：0.5×(前一时刻距离-当前距离)
- 平滑性惩罚：-0.1×速度变化量
- 时间惩罚：每步-0.1
python复制def get_reward(self):
if self.collision:
return -100
if self.reached_goal:
return 100
distance_reward = 0.5 * (self.prev_distance - self.current_distance)
smoothness_penalty = 0.1 * abs(self.current_speed - self.prev_speed)
return -0.1 + distance_reward - smoothness_penalty
这种多目标奖励设计引导机器人：
- 尽快到达目标
- 避免碰撞
- 选择最短路径
- 保持运动平滑
6. 训练策略与技巧
6.1 训练参数设置
| 参数 | DQN值 | DDPG值 | 说明 |
|---|---|---|---|
| 学习率 | 1e-3 | Actor:1e-4 Critic:1e-3 | DDPG需要更小的Actor学习率 |
| 折扣因子γ | 0.99 | 0.99 | 重视长期回报 |
| 批次大小 | 64 | 64 | 平衡效率与稳定性 |
| 缓冲区大小 | 1e5 | 1e5 | 存储足够多的经验 |
| 探索率ε | 0.9→0.1 | - | DQN的探索衰减 |
| OU噪声参数 | - | θ=0.15,σ=0.2 | DDPG的探索噪声 |
6.2 提升训练效率的技巧
- 优先级经验回放：
python复制class PrioritizedReplayBuffer:
def __init__(self, capacity, alpha=0.6):
self.alpha = alpha
self.buffer = []
self.priorities = np.zeros(capacity)
def add(self, experience, td_error):
priority = (abs(td_error) + 1e-6) ** self.alpha
self.buffer.append(experience)
self.priorities[len(self.buffer)-1] = priority
- 目标网络更新：
python复制def soft_update(target, source, tau=0.001):
for target_param, param in zip(target.parameters(), source.parameters()):
target_param.data.copy_(tau*param.data + (1-tau)*target_param.data)
- 学习率衰减：
python复制scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=1000, gamma=0.9)
7. 实验结果与分析
7.1 性能对比
我们在三种环境下测试了算法性能：
静态环境结果：
| 算法 | 成功率 | 平均路径长度 | 训练时间(小时) |
|---|---|---|---|
| A* | 100% | 62.3 | - |
| DQN | 98% | 68.5 | 2.1 |
| DDPG | 99% | 63.1 | 3.5 |
动态环境结果：
| 算法 | 成功率 | 平均路径长度 | 适应速度 |
|---|---|---|---|
| D* | 85% | 75.8 | 慢 |
| DQN | 88% | 82.3 | 中等 |
| DDPG | 93% | 76.2 | 快 |
7.2 关键发现
- DDPG在连续控制任务中表现更优，路径更平滑自然
- 增加优先级经验回放使训练速度提升约30%
- 合理的奖励函数设计比算法选择影响更大
- 在陌生环境中，训练好的模型表现出良好的泛化能力
8. 实际应用建议
基于项目经验，给实践者的建议：
- 从小环境开始：先在10×10的简单环境中验证算法，再扩展到更大环境
- 可视化调试：实时显示机器人决策过程，便于发现问题
- 混合规划策略：可结合传统算法做全局规划，强化学习做局部调整
- 安全机制：实际部署时要添加紧急停止等安全措施
python复制def safety_check(robot_state):
if min_distance_to_obstacles < SAFETY_THRESHOLD:
trigger_emergency_stop()
9. 常见问题解决
问题1：训练初期机器人不动或随机移动
- 解决：检查奖励函数是否合理，初期可增加探索率
问题2：训练后期性能突然下降
- 解决：可能是过拟合，尝试减小学习率或增加正则化
问题3：收敛速度慢
- 解决：
- 优化网络结构（增加/减少层数）
- 调整奖励函数各分量权重
- 尝试不同的探索策略
问题4：在实际环境中表现差
- 解决：
- 在模拟环境中添加更多样的障碍物
- 使用域随机化技术
- 考虑sim-to-real转换方法
10. 优化方向
未来可以从以下几个方向继续优化：
- 多智能体协作：多个机器人协同路径规划
- 分层强化学习：高层规划全局路径，底层处理局部避障
- 结合视觉输入：直接从摄像头图像学习导航策略
- 元学习：让算法学会快速适应新环境
这个项目最让我惊喜的是DDPG在连续控制中表现出的灵活性。有一次在测试中，机器人甚至展示出了类似人类的"犹豫"行为——当两条路径代价相近时，它会短暂停顿后再做决定。这种 emergent behavior 正是强化学习的魅力所在。