1. 测试背景与任务设计
作为一名长期关注企业数字化转型的技术从业者,我最近对AI智能体在办公自动化领域的应用进行了深入研究。市场上各类Agent产品层出不穷,但实际落地效果参差不齐。为了帮助大家更清晰地理解不同Agent产品的实际能力差异,我设计了一个典型的中国职场办公场景测试。
测试选取了两款具有代表性的产品:国内领先的实在Agent和国际知名的Manus。测试任务模拟了企业市场部门常见的竞品调研工作流:
"帮我分别调研一下淘宝和京东上iPhone 17 PM的行情,数据合并一下,清洗掉异常数据,做一个数据分析,把数据分析的结果写一个分析报告,再把这份报告写成PPT,把分析报告通过钉钉发给阿宝。"
这个任务看似简单,实则包含了多个关键环节:数据采集、数据处理、文档生成和跨平台协作。通过这个测试,我们可以全面考察Agent产品的理解能力、执行能力和闭环能力。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 任务规划阶段对比
2.1 意图理解与任务拆解
在任务开始阶段,两款Agent都展示了强大的意图理解能力。它们准确识别出了任务中的核心要素:
- 数据来源:淘宝、京东
- 目标产品:iPhone 17 PM
- 数据处理:合并、清洗
- 输出形式:分析报告、PPT
- 交付方式:钉钉发送给指定人员
从任务拆解来看,两款产品的规划路径惊人地一致:
- 采集淘宝/京东信息
- 清洗数据
- 生成PPT
- 通过钉钉发送给阿宝
这个阶段的表现说明,当前主流的大模型在任务理解和规划方面已经相当成熟。无论是国内还是国际产品,都能准确理解用户意图并制定合理的执行计划。
提示:在实际工作中,Agent的任务理解能力直接影响后续执行效果。建议在使用前先通过简单任务测试其理解准确性。
3. 数据采集环节实测
3.1 Manus的执行情况
Manus在数据采集环节遇到了显著挑战。由于运行在云端环境,它面临以下问题:
- 无法绕过电商平台的反爬机制
- 没有本地cookie和登录状态
- 无法完成必要的验证流程
面对这些限制,Manus采取了"降级处理"策略:
- 转而从搜索引擎获取二手信息
- 依赖训练数据中的历史信息
- 最终提交的是媒体预测数据而非真实价格
在实际测试中,Manus甚至出现了"时间幻觉",错误地认为iPhone 17系列尚未
