Wandb在导航强化学习(navrl)中的实验管理实践

1. 为什么需要wandb这样的实验管理工具

在深度学习和强化学习的研究与开发过程中，我们经常面临一个共同的痛点：实验管理混乱。想象一下这样的场景：你正在调试一个navrl（导航强化学习）项目，连续跑了5个不同参数的实验，第二天回来发现：

• 记不清哪个日志对应哪个参数组合
• 关键指标的变化趋势无法直观对比
• 模型权重文件散落在不同目录难以追溯
• 团队成员无法实时查看你的实验进展

wandb（Weights & Biases）正是为解决这些问题而生。作为一个轻量级的实验管理工具，它特别适合需要频繁调整参数、对比结果的机器学习项目。我曾在navrl项目中尝试手动管理实验，最终在第三天后就完全迷失在混乱的日志文件中，直到引入wandb才真正实现了实验的可重复性和可追溯性。

2. wandb核心功能与navrl的契合点

2.1 实时指标可视化

在navrl训练过程中，我们需要监控的关键指标通常包括：

• 每回合的奖励（episode reward）
• 路径长度（path length）
• 碰撞次数（collision count）
• 探索覆盖率（coverage rate）

传统做法是将这些指标输出到控制台或文本日志，而wandb可以实时将这些数据绘制成交互式图表。例如，在训练一个室内导航agent时，我通过wandb的折线图立即发现当碰撞次数突然增加时，往往伴随着探索覆盖率的跃升——这种洞察在静态日志中很难发现。

2.2 超参数记录与版本控制

navrl项目通常涉及大量超参数：

python复制config = {
    "lr": 3e-4,
    "gamma": 0.99,
    "batch_size": 64,
    "buffer_size": 100000,
    "target_update": 1000,
    "epsilon_decay": 0.995
}

使用wandb只需一行代码即可记录完整配置：

python复制wandb.init(config=config)

这解决了实验复现时的"参数失忆"问题。我曾遇到过一个bug：某次实验表现异常优秀，但一周后无论如何调整参数都无法复现。后来发现是因为忘记记录当时使用的特殊epsilon衰减策略。

2.3 模型权重与媒体记录

对于navrl这类视觉输入的任务，wandb可以：

• 自动保存模型检查点
• 记录agent的第一视角观察
• 上传轨迹可视化视频

例如，在训练一个基于RGB输入的导航agent时，我使用wandb记录每1000步的观察帧：

python复制wandb.log({"observation": [wandb.Image(obs) for obs in episode_obs]})

这些可视化资料在论文写作和问题诊断时价值连城。

3. navrl项目集成wandb的完整流程

3.1 环境安装与初始化

首先安装wandb包：

bash复制pip install wandb

然后在代码开头进行初始化（建议在main函数开始时）：

python复制import wandb

def main():
    wandb.init(
        project="navrl",
        entity="your_team_name",  # 个人使用可省略
        config=config_dict,
        tags=["DQN", "indoor_navigation"]
    )
    # ... 训练代码

注意：首次使用会提示输入API key，按照提示在https://wandb.ai/authorize 获取即可

3.2 训练循环中的指标记录

在navrl的典型训练循环中，关键记录点包括：

python复制for episode in range(num_episodes):
    # ... 环境交互代码
    episode_reward = 0
    for step in range(max_steps):
        # ... RL算法更新
        wandb.log({
            "step_reward": reward,
            "epsilon": agent.epsilon,
            "q_value": current_q.mean()
        }, step=global_step)
    
    # 每回合结束时
    wandb.log({
        "episode_reward": episode_reward,
        "episode_length": step_count,
        "collisions": collision_count
    }, step=global_step)

3.3 高级记录技巧

对于navrl这类空间导航任务，特别有用的wandb功能：

轨迹热力图：

python复制# 将agent位置坐标记录为热力图
positions = np.array(episode_positions)
wandb.log({
    "trajectory": wandb.plots.HeatMap(
        x_labels=["x"],
        y_labels=["y"],
        matrix_values=positions.T)
})

自定义指标告警：

python复制# 当连续10回合无改进时发送提醒
if current_reward < best_reward * 0.9:
    wandb.alert(
        title="Performance drop",
        text=f"Reward dropped from {best_reward} to {current_reward}"
    )

4. 本地模型与wandb的集成方案

4.1 使用本地预训练模型

当需要在navrl项目中使用本地预训练模型时：

python复制# 加载本地模型
model = load_model("pretrained_nav.h5")

# 关联到wandb运行
wandb.init()
wandb.watch(model, log="all", log_freq=100)

# 训练过程中会自动记录:
# - 梯度分布
# - 参数变化
# - 计算图结构

4.2 离线模式与同步

在没有稳定网络的环境（如实验室服务器）：

bash复制# 启动离线运行
WANDB_MODE=offline python train_navrl.py

# 之后同步结果
wandb sync wandb/offline-run-xxxx

5. navrl项目中的wandb实战技巧

5.1 超参数扫描最佳实践

对于navrl这类对超参数敏感的任务，wandb sweep非常实用：

1. 创建sweep配置文件sweep.yaml：

yaml复制program: train_navrl.py
method: bayes
metric:
  name: success_rate
  goal: maximize
parameters:
  lr:
    min: 1e-5
    max: 1e-3
  batch_size:
    values: [32, 64, 128]

2. 启动sweep：

bash复制wandb sweep sweep.yaml

3. 在多个节点并行运行：

bash复制wandb agent your_sweep_id

5.2 团队协作功能

在多人开发的navrl项目中：

• 使用wandb.report()共享关键发现
• 通过wandb.Api()获取队友的实验结果

python复制api = wandb.Api()
runs = api.runs("our_team/navrl")
best_run = max(runs, key=lambda r: r.summary.get("success_rate", 0))

5.3 常见问题排查

问题1：wandb日志导致训练变慢

• 解决方案：调整log频率，非关键指标每100步记录一次

python复制if global_step % 100 == 0:
    wandb.log(...)

问题2：navrl环境渲染帧占用过大存储

• 解决方案：压缩图像或降低记录频率

python复制wandb.log({"frame": wandb.Image(obs, compression=80)})

6. 从实验管理到论文写作

wandb的数据可以直接用于学术论文：

1. 导出高质量图表：

python复制wandb.log({
    "learning_curve": wandb.plot.line_series(
        xs=episode_numbers,
        ys=[rewards, success_rates],
        keys=["Reward", "Success Rate"],
        title="Training Progress")
})

2. 生成方法部分表格：

python复制wandb.log({
    "results_table": wandb.Table(
        columns=["Method", "Success Rate", "Path Length"],
        data=[
            ["DQN", 0.82, 12.3],
            ["PPO", 0.78, 14.1]
        ])
})

3. 模型卡（Model Card）自动生成：

python复制wandb.log({"model_card": wandb.ModelCard(...)})

在最近的一个navrl项目中，使用wandb管理的实验数据直接生成了论文中80%的结果图表，节省了大量后期处理时间。特别是对比实验部分，通过wandb的平行坐标图可以直观展示超参数与性能指标的关系：

python复制wandb.log({"parallel_coords": wandb.plot.parallel_coordinates(
    data_frame,
    columns=["lr", "batch_size", "success_rate"],
    color="success_rate"
)})