1. MEMORYVLA:当机器人学会"走神"时会发生什么?
去年在实验室调试机械臂时,我发现一个有趣现象:当要求机器人连续完成抓取-放置任务时,前几次动作干净利落,但随着任务次数增加,它的反应开始变得迟疑,就像人类工作时突然"走神"。这个观察让我意识到,现有视觉语言动作(VLA)模型缺乏真正的记忆能力。而MEMORYVLA论文正是针对这一痛点的突破性研究。
传统VLA模型就像金鱼——每个动作决策都基于当前时刻的视觉和语言输入,完全"活在当下"。这种架构在处理简单单次指令时表现良好,但面对需要持续环境交互的复杂操作任务(如厨房备餐、仓库分拣)就显得力不从心。MEMORYVLA的创新在于为模型植入了类似人类工作记忆(working memory)的认知模块,使其能够:
- 动态积累操作经验
- 自主回忆相关历史片段
- 基于记忆优化当前动作策略
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 记忆机制的三层解剖
2.1 记忆编码:从像素到语义的转化
模型采用双通道记忆编码器,分别处理:
-
视觉记忆流:通过改进的3D卷积网络提取时空特征,将连续视频帧压缩为关键记忆片段。实验显示使用SlowFast网络作为backbone时,记忆召回准确率提升23%
python复制class MemoryEncoder(nn.Module): def __init__(self): self.visual_encoder = SlowFastPathway(alpha=8, beta=1/8) self.semantic_proj = nn.Linear(2048, 512) def forward(self, frames): visual_feats = self.visual_encoder(frames) # [T, C, H, W] semantic_memory = self.semantic_proj(visual_feats) return semantic_memory -
语言记忆流:利用预训练语言模型提取指令的意图嵌入,特别关注否定词("不要""避免"
