LLM Agent非法动作问题与AutoHarness解决方案

1. LLM Agent 非法动作问题的现状与挑战

在构建基于大语言模型（LLM）的智能体（Agent）时，开发者最常遇到的痛点之一就是模型输出的非法动作问题。这个问题在游戏AI、自动化流程等需要严格遵循规则的应用场景中尤为突出。以Kaggle国际象棋竞赛为例，Gemini-2.5-Flash模型输掉的比赛中，高达78%的失败原因并非策略失误，而是因为模型输出了不符合规则的非法走棋。

这种现象背后反映的是LLM在动作适用性（action applicability）上的根本性缺陷。虽然LLM在代码生成、数学推理等任务上表现出色，但当它们作为Agent在真实环境中运行时，往往会忽略环境的具体规则约束。这种"懂规则但犯规"的矛盾行为，让很多开发者感到困惑和沮丧。

传统上，开发者尝试过两种主要解决方案：

第一种是对模型进行微调（fine-tuning），使用大量包含正确游戏轨迹的数据来训练模型。这种方法虽然理论上可行，但实际操作中存在三个明显问题：1）需要大量标注数据，成本高昂；2）训练过程耗时漫长；3）可能会损害模型在其他任务上的表现，即所谓的"灾难性遗忘"问题。

第二种方法是手动编写校验代码（即"护栏"）。开发者需要为每个特定环境编写专门的规则检查代码，这种方法虽然能确保动作合法性，但存在明显的局限性：1）每个新环境都需要重新开发护栏代码，工作量大；2）护栏代码通常很脆弱，环境规则稍有变化就可能失效；3）难以应对复杂规则系统，如国际象棋中的特殊规则（王车易位、吃过路兵等）。

2. AutoHarness的创新思路与核心架构

Google DeepMind提出的AutoHarness方案，从根本上改变了解决这一问题的思路。其核心创新在于：让LLM自己生成并优化代码护栏，通过与环境的多轮交互自动进化出可靠的规则约束系统。

2.1 整体架构设计

AutoHarness采用了一种基于树搜索和Thompson采样的迭代优化框架。整个系统由以下几个关键组件构成：

1. 代码假设树：这是一个动态生长的树形结构，每个节点代表一段Python代码形式的护栏实现。初始时，树中只有一个根节点，包含最基本的动作检查逻辑。

2. LLM作为优化器：Gemini-2.5-Flash模型负责对现有护栏代码进行"变异"和优化。它会分析当前代码的不足，并提出改进版本，生成新的子节点。

3. 反馈循环机制：

   • 环境提供二元反馈：动作是否合法，以及相应的奖励值
   • Critic模块分析失败案例，总结错误模式
   • Refiner模块（同样由LLM实现）根据反馈修改代码

2.2 三种护栏变体设计

AutoHarness探索了三种不同复杂度的护栏实现方式：

1. 动作过滤器（Action Filter）：

   • LLM一次性生成多个候选动作
   • 护栏代码过滤掉非法动作
   • 模型从合法动作中选择最优解
   • 优点：实现简单，保留LLM的决策能力
   • 缺点：仍依赖LLM生成合理候选

2. 动作验证器（Action Validator）（主要推荐方案）：

   • LLM提出单个动作
   • 护栏代码检查合法性
   • 如果非法，附带具体错误信息让LLM重试
   • 优点：确保100%合法动作，实现简单高效
   • 缺点：可能需要多次重试

3. 全策略代码（Full Policy Code）：

   • 直接生成纯Python实现的完整策略
   • 使用标准库（如numpy）实现决策逻辑
   • 运行时完全不调用LLM
   • 优点：执行速度极快，零推理成本
   • 缺点：开发难度较高，灵活性较低

3. AutoHarness的训练与优化细节

3.1 训练流程设计

AutoHarness的训练过程经过精心设计，确保高效收敛：

1. 并行环境设置：同时运行10个环境实例，每个实例最多执行1000步。这种并行化设计显著提高了训练效率。

2. 终止条件：当遇到非法动作或执行错误时，当前episode立即终止。系统会记录最多5个典型失败案例，供Critic模块分析。

3. Thompson采样：用于选择最有潜力的代码分支进行迭代。这种方法在探索（尝试新变体）和利用（优化现有好方案）之间取得了良好平衡。

4. 收敛速度：平均经过14.5轮迭代就能达到100%合法动作。即使是国际象棋、德国惠斯特等复杂游戏，也只需几十轮就能收敛。

3.2 实验设置与评估

研究团队使用TextArena平台的145个游戏进行了全面测试，涵盖多种类型：

• 棋类游戏：国际象棋、跳棋、围棋等
• 益智游戏：数独、2048等
• 策略游戏：扫雷、德州扑克等

为了充分测试护栏的鲁棒性，实验特意移除了环境提供的"合法动作提示"，迫使护栏必须从零开始学习游戏规则。这种设置模拟了真实场景中规则不明确或文档不全的情况。

4. 关键技术实现与代码示例

4.1 扫雷游戏护栏实现

扫雷游戏的护栏需要处理两个关键挑战：1）基于概率的合理猜测；2）逻辑推理确定安全操作。以下是简化后的核心逻辑：

python复制def minesweeper_validate(action, game_state):
    if action.type == "REVEAL":
        x, y = action.position
        if not (0 <= x < game_state.width and 0 <= y < game_state.height):
            return False, "Position out of bounds"
        
        if game_state.revealed[y][x]:
            return False, "Cell already revealed"
            
        return True, ""
    
    elif action.type == "FLAG":
        # Similar validation for flag placement
        ...
    
    else:
        return False, "Invalid action type"

这个验证器会检查：1）动作是否在棋盘范围内；2）是否重复操作已揭示的格子；3）动作类型是否有效。当这些检查通过后，LLM生成的策略会进一步评估哪个动作最可能提高胜率。

4.2 国际象棋护栏实现

国际象棋的规则更为复杂，护栏需要处理：

python复制def chess_validate(move, board):
    try:
        # Parse UCI notation
        from_square = move[:2]
        to_square = move[2:]
        promotion = move[4:] if len(move) > 4 else None
        
        # Basic syntax check
        if not (len(move) in (4,5) and 
                from_square != to_square and
                all(c in 'abcdefgh' for c in [move[0],move[2]]) and
                all(c in '12345678' for c in [move[1],move[3]])):
            return False, "Invalid UCI format"
            
        # Check piece movement rules
        piece = board.piece_at(from_square)
        if not piece:
            return False, "No piece at source"
            
        if not is_legal_move(board, from_square, to_square):
            return False, "Illegal move for this piece"
            
        # Special rules: castling, en passant, promotion
        ...
        
        return True, ""
        
    except Exception as e:
        return False, f"Validation error: {str(e)}"

这个验证器不仅检查基本的走棋规则，还处理了国际象棋中的特殊规则，如王车易位、吃过路兵和兵升变等。通过这种严格的验证，确保LLM提出的每一步都完全符合国际象棋规则。

5. 实验结果与性能分析

5.1 主要性能指标

AutoHarness在TextArena的145个游戏上实现了100%的合法动作率。更令人印象深刻的是，配备AutoHarness的小模型（Gemini-2.5-Flash）在多个指标上超越了大模型（Gemini-Pro）：

1. 双人游戏（16种）：

   • Flash + Harness 胜率：56.3%
   • Pro 模型胜率：38.2%
   • Vanilla Flash 胜率：64.8%（高胜率但包含非法动作）

2. 单人游戏（16种）：

   • Flash + Harness 平均奖励：0.745
   • Pro 模型平均奖励：0.707
   • Vanilla Flash 平均奖励：0.673

3. 全策略代码版本：

   • 平均奖励达到0.870
   • 超越GPT-5.2-High（0.844）和Pro模型（0.707）
   • 推理成本几乎为零（对比：GPT实验花费640美元）

5.2 关键发现与洞见

这些实验结果揭示了几个重要发现：

1. 代码护栏比模型规模更重要：在规则严格的环境中，精心设计的代码护栏可以弥补模型能力的不足，使小模型超越大模型的表现。

2. 训练数据效率极高：AutoHarness只需要环境提供的二元反馈（合法/非法），不需要大量标注数据或复杂的奖励函数设计。

3. 全代码策略的潜力：完全脱离LLM的纯代码策略不仅能保证100%合法性，还能达到最高性能，且运行成本极低。

6. 实际应用与开发建议

6.1 适用场景

AutoHarness方法适用于多种需要严格遵循规则的LLM应用场景：

1. 游戏AI开发：

   • 棋牌类游戏AI
   • 策略游戏智能体
   • 文字冒险游戏NPC

2. 机器人/API智能体：

   • 确保API调用的参数合法性
   • 防止危险操作（如删除关键数据）
   • 参数范围检查

3. 企业自动化：

   • 工作流自动化中的合规检查
   • 数据库操作的约束验证
   • 业务流程规则的强制执行

6.2 开发实践建议

基于AutoHarness的经验，我们总结出以下开发建议：

1. 从简单验证器开始：先实现基本的动作验证器（Action Validator），这是性价比最高的方案。

2. 逐步增加复杂度：待基本验证稳定后，再考虑实现动作过滤器或全代码策略。

3. 模块化设计：将护栏代码设计为可插拔模块，便于在不同环境中复用。

4. 错误信息要具体：当动作被拒绝时，提供详细的错误说明，帮助LLM改进后续提议。

5. 监控与迭代：持续收集失败案例，定期更新护栏代码。

7. 未来发展方向

AutoHarness开辟了几个有前景的研究方向：

1. 护栏知识蒸馏：将学到的领域知识（编码在护栏中）反哺给基座LLM，实现模型的自我改进。

2. 跨领域护栏库：建立可复用的护栏组件库，支持不同游戏/环境间的知识迁移。

3. 多模态扩展：将方法扩展到包含视觉输入的环境（如Craftax、Terra Nova等）。

4. 对手建模改进：当前在二人游戏中对手建模较弱，未来可以加强这方面的能力。

5. 自动化护栏生成：进一步减少人工干预，实现端到端的护栏自动生成。

8. 经验总结与避坑指南

在实际实现AutoHarness方案时，我们总结了以下关键经验：

1. 环境反馈设计：

   • 错误信息要足够具体，不能只是"非法动作"
   • 最好能指出违反了什么具体规则
   • 示例："非法移动：象不能横向移动"

2. 代码生成提示词：

   • 要提供清晰的代码规范
   • 包括输入输出格式要求
   • 示例："生成的验证函数必须返回(bool, str)元组"

3. 迭代控制：

   • 设置最大重试次数（如3-5次）
   • 避免无限循环
   • 超过次数后回退到安全默认动作

4. 性能考量：

   • 验证逻辑要高效，避免复杂计算
   • 可以缓存常见检查结果
   • 对时间敏感场景，考虑预计算合法动作集

5. 测试策略：

   • 要测试边缘情况（如棋盘边界）
   • 模拟恶意输入（如乱码动作）
   • 检查内存/资源泄漏

通过AutoHarness的实践，我们深刻认识到：在规则明确的环境中，精心设计的代码护栏往往比单纯增大模型规模更有效。这种方法不仅提高了系统可靠性，还大幅降低了运行成本，为LLM Agent的实际落地提供了切实可行的解决方案。