MEM多尺度具身记忆：机器人长时任务执行的关键技术

1. MEM多尺度具身记忆：机器人长时任务执行的关键突破

想象一下，当你下班回家时，家里的机器人已经按照你的指令准备好了晚餐——从冰箱取出食材、处理食材、烹饪、装盘，再到最后的厨房清洁，整个过程一气呵成，完全不需要你的干预。这听起来像是科幻电影中的场景，但现实中，即使是目前最先进的机器人，在面对这种需要长时间记忆和协调多个子任务的复杂操作时，往往会表现得像个"金鱼脑"——反复打开同一个橱柜、忘记自己已经清洗过盘子的哪一面，或者在同一个动作上不断失败却不知调整。

这种困境的核心并非机器人缺乏执行单个动作的能力，而是它们缺少像人类一样连贯、分层的记忆系统。Physical Intelligence（PI）团队最新提出的多尺度具身记忆（Multi-Scale Embodied Memory，MEM）技术，正是为了解决这一根本性问题而生。这项技术让机器人拥有了长达15分钟的连贯记忆能力，使其能够完成从厨房清洁到制作三明治等复杂的长时程任务，标志着具身智能从"单技能演示"迈向"全任务统筹"的关键转折点。

2. 机器人记忆系统的四大技术困境

2.1 存储需求与实时响应的矛盾

在机器人执行任务过程中，每秒都会产生大量高分辨率图像数据。理论上，我们可以将所有历史观测数据都输入模型，但这会导致推理延迟呈指数级增长。以15分钟任务为例，如果保持30fps的相机帧率，将产生27,000帧图像。即使采用现代GPU，处理如此大量的数据也会让响应时间远超机器人控制的300ms安全阈值。而如果为了控制延迟对数据进行极端降采样，又会丢失关键细节，使记忆变得毫无意义。

2.2 长短时记忆需求的本质差异

机器人对记忆的需求是分层的：短时记忆需要稠密的视觉空间信息来支持精细操作（如记住被机械臂遮挡物体的精确位置），而长时记忆则需要高度压缩的语义信息来追踪任务全局进度（如"已经放了黄油，下一步要放芝士片"）。现有的单一模态记忆方案无法同时满足这两种截然不同的需求，导致机器人要么在细节操作上失误连连，要么在任务统筹上混乱无序。

2.3 记忆机制引入的性能衰减

令人意外的是，许多研究表明，为原本性能良好的模型添加记忆机制后，模型表现反而会下降。这主要是因为模型会错误地学习到"因果混淆"——将过往执行的动作误认为是当下应该执行的动作。例如，在训练数据中，"拾取碗"后通常会紧接着"将碗放入橱柜"，但当机器人在实际任务中反复尝试"拾取碗"失败时，这种错误的关联会导致模型表现急剧恶化。

2.4 训练与推理的分布偏移

实验室环境下的训练数据通常是近最优的人类演示，每条指令只出现一次。但在真实场景中，机器人可能会在同一个动作上反复失败，导致高层策略不断生成相同的子任务指令。这种训练中从未出现过的重复指令序列，会让基于语言记忆的模型完全迷失方向，无法完成任务。

3. MEM架构设计：仿生记忆系统的工程实现

3.1 双核心协同的混合模态架构

MEM的创新之处在于它没有采用单一的记忆模态，而是构建了一个"短时视觉记忆+长时语义记忆"的双核心系统，完美模拟了人类记忆的分层特性。这种设计既解决了短时精细化操作的需求，又实现了长时程任务的全局追踪，同时将推理延迟严格控制在实时阈值内。

3.1.1 高效视频编码器：机器人的"视觉工作记忆"

MEM的视频编码器基于标准的视觉Transformer（ViT）架构进行了关键改进，通过稀疏空间注意力与因果时间注意力的交替执行，实现了对视频流的高效编码。具体实现上：

1. 输入视频的所有图像首先被分割成多个图像块
2. 为避免在时空维度上执行计算成本过高的联合注意力运算，注意力被分解为独立的空间注意力和时间注意力
3. 每4层网络会通过因果注意力掩码，对同一图像块在不同时间步的表征执行注意力运算
4. 在网络高层，编码器会丢弃过往时间步的图像块表征，仅传递当前时间步的计算结果

这种设计的关键优势在于：

• 与单图像ViT相比，没有引入新的可学习参数
• 可以直接利用标准VLM模型的预训练ViT权重进行初始化
• 最终输入VLA主干网络的Token数量与无记忆机制的常规输入完全一致，不增加额外计算负担

3.1.2 语言记忆机制：机器人的"任务进度笔记"

MEM扩展了π0.6模型原有的高低层策略架构，使高层策略不仅能生成子任务指令，还能预测并更新语言记忆m_t——这相当于机器人给自己写的"任务进度笔记"。以厨房清洁任务为例：

初始记忆："开始厨房清洁任务"
完成"将盘子放入橱柜"后更新为："已将一个盘子放入橱柜，并移动至操作台处"
完成"拾取碗"后更新为："已将一个盘子放入橱柜，移动至操作台处，并拾取了一个碗"

这种设计有三大关键创新：

1. 记忆更新时机由模型自主决策，可以记录具体子任务，也可以对历史事件进行归纳总结
2. 仅在任务成功完成后更新记忆，过滤无意义的失败尝试记录
3. 通过动态摘要机制，始终将上下文长度控制在合理范围内

3.2 记忆系统的协同工作机制

MEM的两大记忆组件形成了一个完美的能力互补闭环：

1. 长时语言记忆负责"记住大局"——追踪十几分钟任务的整体进度
2. 短时视频记忆负责"盯紧细节"——支撑当下动作的精准调整

这种协同让机器人既不会忘记任务的整体进度，又能在具体操作中做出精确调整。例如在制作三明治时：

• 语言记忆记住已经完成了哪些步骤（如"已经涂抹黄油"）
• 视频记忆则帮助机器人在翻面时精确控制铲子的角度和力度

4. MEM的性能验证与行业突破

4.1 长时程任务执行能力测试

研究团队在三个难度递增的场景中对π0.6-MEM进行了全面测试：

1. 制作烤奶酪三明治：需要精确控制各步骤时序和操作细节
2. 食谱备料：需从不同位置取出食材和厨具，记住已取物品，最后关闭所有打开的门柜
3. 厨房清洁（最难）：需完成物品收纳、台面擦拭、餐具清洗等全流程工作，最长15分钟

测试结果显示，无记忆机制的π0.6模型几乎无法完成这些任务，而π0.6-MEM则表现优异。消融实验进一步证明，移除任一记忆模块都会导致性能显著下降：

• 只有语言记忆：在精细操作环节陷入卡顿
• 只有视频记忆：很快忘记任务整体进度，出现重复或遗漏
• 完整MEM架构：稳定完成所有高难度任务

4.2 操作策略的自适应能力

传统无记忆VLA模型会在同一个错误上反复失败，而MEM的短时视频记忆赋予了机器人"从失败中学习"的能力。在两个典型测试中：

1. 拾取扁平筷子：无记忆模型反复用相同方式抓取失败；π0.6-MEM能记住失败尝试并调整抓取策略
2. 开启方向不明的冰箱门：无记忆模型成功率极低；π0.6-MEM通过记忆尝试历史，成功率提升62%

这种自适应能力让机器人不再机械重复错误，而是能像人类一样通过经验改进操作。

4.3 与现有记忆方案的对比

研究团队将MEM与两类主流记忆方案进行了系统对比：

1. 池化记忆（Pool Memory）：

   • 将历史视觉帧经平均池化压缩为单个记忆token
   • 在长时程记忆任务上表现不佳，因过度压缩丢失关键信息

2. 本体感受记忆（Proprio Memory）：

   • 仅以机器人状态历史作为输入
   • 无法记忆环境状态，在物体位置记忆等任务中效果有限

测试结果显示，π0.6-MEM在所有记忆任务上全面超越现有方案，特别是在：

• 处理部分可观测性（如记住隐藏物体位置）
• 计数（如咖啡粉勺数）
• 计时（如三明治烤制时长）
• 空间记忆（如已擦拭区域）

5. MEM技术的行业影响与未来展望

MEM的出现不仅仅是技术层面的突破，更为具身智能的发展指明了方向。这项技术的核心价值在于：

1. 任务复杂度突破：从单一原子化动作到完整工作流程的执行
2. 应用场景扩展：从实验室演示到真实家庭、工厂环境的实用部署
3. 学习能力提升：从固定策略到基于记忆的持续学习和自适应

未来，随着记忆时域从15分钟扩展到数小时、数天甚至更长，我们给机器人的指令将不再是"洗盘子"这类简单命令，而是"每周三、周日打扫全屋卫生"这样的长期日程安排。MEM的多尺度记忆架构为实现这一愿景提供了关键技术基础。

在实际部署中，MEM技术还需要解决几个关键挑战：

1. 记忆的长期持久化和检索效率
2. 多任务间的记忆共享与隔离
3. 记忆系统的能耗优化
4. 异常情况下的记忆可靠性保障

从更宏观的角度看，MEM代表了具身智能从"感知-动作"的简单循环向"感知-记忆-决策-动作"的完整认知闭环演进的关键一步。随着记忆能力的持续增强，机器人将真正成为人类生活中可靠的智能伙伴，而不仅仅是执行预设程序的机械装置。