1. 项目概述
在目标物体导航(ObjectNav)任务中,智能体需要在完全陌生的室内环境中定位特定物体。想象一下,你被蒙上眼睛带进一个从未去过的朋友家,然后被要求"去找厨房里的微波炉"——这就是ObjectNav智能体面临的挑战。传统方法依赖确定性模型来补全语义地图,就像只凭记忆画房屋平面图,一旦遇到新户型就容易出错。这正是我们团队在NIPS 2025论文中要解决的核心问题:如何让AI像人类一样,通过常识推理"想象"看不见的区域?
GOAL框架的创新之处在于将大型语言模型(LLM)的常识知识"蒸馏"到流模型中。这相当于给AI装上了两种大脑:一个擅长文字推理(知道"冰箱通常挨着水槽"),一个擅长空间建模(能画出房间布局)。当它们协同工作时,智能体即使身处陌生环境,也能像经验丰富的探险家那样,根据局部观察推测整个空间的语义结构。
关键突破:传统方法在HM3D新场景中的成功率不足40%,而GOAL首次将跨数据集泛化性能提升至68.2%,这相当于从"新手导游"到"本地通"的跃迁。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心设计解析
2.1 语言模型先验的具象化
LLM虽然掌握丰富的物体关系知识,但直接将其用于空间推理存在两大障碍:一是文本描述与空间坐标的鸿沟,二是计算效率问题。我们的解决方案分三步走:
-
关系提取:用提示工程让LLM输出物体对的共现概率和典型距离。例如输入"冰箱和微波炉",可能得到"共现概率0.7,平均距离2.5米"的结构化数据。
-
高斯场编码:将这些文本关系转化为二维高斯分布。以前面的冰箱-微波炉为例,会在语义地图上以冰箱位置为中心,生成标准差2.5米的概率分布热图。
-
动态加权融合:设计可学习的注意力门控机制,根据当前观测置信度调整先验权重。当实际看到厨房区域时,先验的权重会自动降低,避免错误引导。
python复制# 高斯场生成代码示例
def gaussian_prior(obj1_pos, obj2_prior):
mu = obj1_pos # 以obj1位置为中心
sigma = obj2_prior['avg_distance'] / 2 # 控制分布范围
return MultivariateNormal(mu, sigma * torch.eye(2))
`
