AGENCYBENCH框架：评估LLM智能体复杂任务执行能力

1. 项目背景与核心挑战

当前大型语言模型（LLMs）与智能体框架的融合正在重塑人工智能的应用边界。这种技术组合已经从简单的对话场景扩展到能够处理复杂任务执行的自主代理系统。然而，现有的评估体系在衡量这些智能体在真实场景中的经济价值时，暴露出两个关键缺陷：

首先，现有基准测试普遍缺乏对长周期任务的覆盖。典型的评估场景往往只涉及10-20次工具调用和数万token的交互，这与真实世界中需要持续数小时、消耗百万级token的复杂工作流程相去甚远。例如，开发一个完整的五子棋游戏需要维护跨多个开发阶段的上下文一致性，而现有基准无法有效评估这种长期记忆和规划能力。

其次，评估过程过度依赖人工干预。在现实任务中，智能体通常需要根据多轮反馈进行自我修正，但现有方法要求人类专家持续介入评估，这不仅成本高昂，也难以实现标准化。这种"人在回路"（human-in-the-loop）的瓶颈严重限制了评估的规模和可重复性。

2. AGENCYBENCH框架设计

2.1 任务体系架构

AGENCYBENCH采用三级分层设计来模拟真实世界的复杂性：

1. 核心能力维度：选取6个最具经济价值的领域：

   • 游戏开发（如从零构建棋盘游戏）
   • 前端开发（响应式UI实现）
   • 后端开发（API设计与调试）
   • 代码生成（项目级代码补全）
   • 科研分析（企业深度研究）
   • MCP工具使用（多工具协同）

2. 场景设计：每个能力维度下设置4-6个真实场景，共32个场景。例如在游戏开发中，包含"实现五子棋悔棋功能"、"添加游戏存档系统"等渐进式任务链。

3. 具体任务：每个场景分解为3-5个具体任务，总计138个任务。任务间存在逻辑依赖，前序任务的输出直接影响后续任务输入，强制要求智能体维持长周期上下文。

2.2 自动化评估流水线

框架包含三个关键组件：

1. 隔离工作区：每个任务在独立的Docker容器中执行，配备完整工具链（文件操作、命令行、网络搜索等）。智能体通过多轮交互生成原始交付物。

2. 用户模拟代理：基于Claude-4-Sonnet构建的反馈系统，当交付物评分低于阈值时自动生成改进建议。经人工验证，其反馈与人类专家的一致性评分达4.69/5。

3. 多模态评估系统：

   • 规则引擎：对可量化的指标（如代码覆盖率、API响应时间）进行自动化断言检查
   • LLM评委：Claude-4-Sonnet评估代码质量，Gemini-2.5-Pro分析视觉输出（如UI布局）
   • 沙箱模拟：通过虚拟化技术记录鼠标点击、键盘输入等交互行为

3. 关键技术实现细节

3.1 长周期任务建模

典型场景（如五子棋开发）包含5个阶段任务，建模为马尔可夫决策过程：

code复制τ = (τ₁, τ₂, τ₃, τ₄, τ₅)

其中每个子任务τᵢ包含：

• 初始查询qᵢ
• 智能体动作a（代码生成、工具调用）
• 环境反馈t（执行结果）
• 用户代理反馈uᵢⱼ（当评分<6/10时触发）

这种设计确保智能体必须处理任务间的长期依赖，例如第五阶段"添加诊断侧边栏"需要正确读取第一阶段初始化的棋盘状态。

3.2 资源消耗控制

通过以下机制保证评估可行性：

1. 令牌预算：设置每个场景的token上限为1.2M
2. 时间限制：单场景最长运行时间2小时
3. 尝试次数：每个子任务最多触发3轮反馈
4. 沙箱隔离：使用cgroups限制CPU/内存占用

4. 基准测试结果分析

4.1 模型性能对比

在138个任务上的综合评分显示：

特别值得注意的是GPT-5.2在反馈驱动改进方面的优势：当允许2轮反馈时，其通过率从28.1%提升至53.1%（+88.9%），而同类模型平均提升仅40-50%。

4.2 效率指标

通过两个维度衡量资源使用效率：

1. 尝试效率 = 平均得分 / 平均尝试次数

   • GPT-5.2最高（38.7%）
   • Qwen-3最低（15.1%）

2. 令牌效率 = 平均得分 / 百万token消耗

   • Grok-4.1-Fast最优（37.2%）
   • Claude-4.5-Sonnet最差（11.4%）

4.3 工具使用模式

不同模型展现出显著的行为差异：

5. 实践启示与优化方向

5.1 开发建议

基于测试结果，给出以下优化策略：

1. 上下文窗口利用：

   • 对长周期任务采用"分层记忆"策略：将核心API文档固化在系统提示中，动态维护最近10次工具调用记录
   • 示例：五子棋开发时，将棋盘初始化代码保存在长期记忆区

2. 工具调用优化：

   • 建立工具使用模版库，减少重复描述消耗的token
   • 对高频工具（如git）预生成封装函数

3. 反馈利用：

   • 实现自动错误分类：将用户代理反馈分为"逻辑错误"、"语法错误"、"设计缺陷"三类，针对性改进

5.2 局限性与改进

当前框架存在两个主要限制：

1. 领域覆盖：仅限数字环境任务，未来需扩展物理交互场景
2. 评估延迟：复杂场景平均需1.5小时完成评估，考虑引入断点续评机制

6. 应用案例：五子棋开发场景

通过一个具体场景展示评估流程：

任务链：

1. 创建基础棋盘UI（HTML/CSS/JS）
2. 实现落子逻辑与胜负判定
3. 添加悔棋/重做功能
4. 集成本地存储持久化
5. 增加诊断面板

关键评估点：

• 视觉一致性：棋盘居中误差≤6px
• 功能完整性：悔棋栈深度≥20
• 性能指标：动画帧率≥30fps

典型问题：

• 开源模型在任务4常出现localStorage序列化错误
• Claude系列过度依赖命令行工具导致前端任务得分低