1. 项目概述
英伟达研究团队最新开源的Lyra项目,代表了3D场景重建领域的一次重大突破。这项发表在ICLR'26上的工作,通过创新的自蒸馏框架,将视频扩散模型中的隐含3D信息转化为显式的3D高斯泼溅(3DGS)表示,实现了仅凭单张图片或视频就能重建高质量3D/4D场景的能力。
传统3D重建方法严重依赖多视角采集数据,而Lyra的革命性在于完全摆脱了这一限制。其核心思路是利用视频扩散模型作为"教师",通过自蒸馏的方式训练一个3DGS解码器作为"学生"。这种方法不仅适用于静态场景重建,还能处理动态4D场景,在多项基准测试中均达到了当前最先进的性能水平。
关键突破:Lyra首次实现了无需真实多视角数据的前馈式3D/4D场景生成,推理阶段仅需单次前向传播即可输出可直接渲染的3DGS表示,无需任何后处理优化。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术原理深度解析
2.1 3D高斯泼溅表示基础
3D高斯泼溅(3D Gaussian Splatting)是近年来兴起的一种显式3D表示方法。与传统的点云或网格不同,3DGS使用一组带参数的高斯椭球体来表示场景:
- 每个高斯椭球由中心位置μ、协方差矩阵Σ、不透明度α和颜色c参数化
- 渲染时通过splatting技术将3D高斯投影到2D图像平面
- 支持可微分渲染,便于端到端训练
这种表示方法的优势在于:
- 显式存储几何信息,支持实时渲染
- 自然处理不同尺度的细节
- 比神经辐射场(NeRF)更高效
2.2 视频扩散模型的3D先验
现代视频扩散模型(如Stable Video Diffusion)在训练过程中隐式学习了丰富的3D场景知识:
- 通过海量视频数据学习到物体和场景的3D结构
- 相机运动轨迹提供了多视角观察的监督信号
- 时间连续性隐含了动态场景的4D信息
Lyra的关键洞见是:这些预训练视频扩散模型实际上已经包含了强大的3D理解能力,只是缺乏显式提取的机制。
2.3 自蒸馏框架设计
Lyra的创新架构如下图所示:

框架包含三个核心组件:
- 冻结的视频扩散模型:作为教师网络,提供R
