1. 项目背景与核心突破
上周DeepMind团队在arXiv上发布了一篇重磅论文,介绍了他们最新开发的MiRA系统。这个AI智能体在网页任务自动化领域实现了重大突破——能够像人类一样精准执行复杂的多步骤网页操作。作为一名长期关注AI应用落地的从业者,我第一时间研读了论文并复现了部分实验,不得不说这个进展确实令人振奋。
传统网页自动化工具(如Selenium)需要开发者预先编写精确的XPath或CSS选择器,而MiRA仅需自然语言指令就能完成任务。更惊人的是,在测试中它处理复杂任务的准确率达到了90.3%,远超当前主流方案的40-60%。这意味着我们距离"告诉AI做什么,它就能自动完成"的愿景又近了一大步。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术架构深度解析
2.1 多模态理解引擎
MiRA的核心创新在于其多模态理解系统。与仅解析DOM树的传统方案不同,它同时处理:
- 网页视觉渲染(通过像素级截图)
- 结构化DOM信息
- 文本语义内容
- 交互元素状态
这种综合理解方式使其能像人类一样识别"那个蓝色的提交按钮",而不需要精确的定位路径。在实验中,这种多模态方法将元素识别准确率提升了58%。
2.2 分层决策机制
系统采用三级决策架构:
- 宏观任务分解:将"订机票"拆解为"选择日期→输入乘客信息→支付"等子任务
- 微观动作规划:确定每个步骤的具体操作(点击/输入/滚动等)
- 实时反馈调整:根据页面变化动态修正执行路径
这种机制使其能处理长达20+步骤的复杂流程,且在中途出错时具备自我修正能力。
3. 关键实现细节
3.1 视觉-文本对齐训练
团队收集了超过50万组网页截图与对应DOM的标注数据,训练了一个特殊的对比学习模型。这个模型能建立视觉元素(如图标、按钮)与DOM节点的精准对应关系,解决了传统方案中"看到但点不到"的难题。
3.2 动态记忆网络
系统维护着一个动态更新的工作记忆,记录:
- 已完成的操作步骤
- 当前页面状态
- 预期下一步变化
- 历史纠错经验
这使得MiRA在电商结账等长流程任务中,能保持上下文一致性而不迷失方向。
4. 实测表现与行业影响
4.1 基准测试结果
在团队设计的WebArena测试集上:
- 表单填写准确率:92.1
