1. PALM框架:机器人长周期任务的新突破
在机器人操作领域,长视野任务(long-horizon tasks)一直是个棘手难题。想象一下让机器人整理凌乱的餐桌:它需要依次识别不同物品、决定拿取顺序、精确抓取、再放置到指定位置——这一系列动作不仅要求精准的即时操作,更需要维持整个过程的连贯性和正确性。这正是宾夕法尼亚大学团队提出的PALM框架要解决的核心问题。
传统视觉-语言-动作(VLA)模型在简单任务中表现尚可,比如"拿起那个红色杯子"。但面对多步骤复杂任务时,它们就像个健忘的助手:可能重复抓取同一物品,忘记某些步骤,或在任务中途就错误判定已完成。PALM的创新在于引入了双重机制:结构化感知推理(structure-aware reasoning)提供明确的交互线索,进度感知策略(progress-aware policy)则像内置的进度条,实时跟踪任务完成度。
关键突破:PALM在CALVIN基准测试中达到82%的成功率,比之前最佳模型提升近18个百分点,且平均任务长度增加12.5%。这意味着机器人能可靠地完成更复杂的操作序列。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心架构解析:如何实现长周期可靠性
2.1 多模态信息融合管道
PALM的输入处理堪称多模态融合的典范工程。其同步处理三类异构数据:
- 语言指令:通过CLIP文本编码器提取语义特征,将"把菠萝放白盘,葡萄放白碗"转换为结构化任务描述
- 视觉观察:采用MAE预训练的ViT模型处理双目图像,配合Perceiver Resampler提炼关键视觉特征。这相当于给机器人安装了"注意力机制",能聚焦于任务相关区域
- 机器人状态:6自由度位姿+夹爪状态的MLP编码,确保系统知晓自身物理配置
这种融合方式解决了传统方法中模态对齐不充分的问题。实验显示,完整的三模态输入比双模态(视觉+语言)配置在LIBERO-LONG基准上成功率提升23.6%。
2.2 结构化感知的四重保障
PALM最精妙的设计是其细粒度感知系统,通过四种互补的感知类型消除决策歧义:
| 感知类型 | 解决的核心问题 | 实现方法 | 训练目标 |
|---|---|---|---|
| Global | 目标物体定位 |
