1. 从RGB到4D:One4D如何重新定义动态场景建模
在计算机视觉和图形学领域,我们长期面临一个根本性挑战:现有的视频生成模型虽然能产生逼真的RGB序列,却缺乏对三维几何的显式建模。这就像观看一部精美的动画电影,却无法走进画面与其中的物体互动。香港科技大学团队提出的One4D框架,正是为了解决这一核心矛盾而生。
传统视频扩散模型如Stable Video Diffusion或Wan Video,其输出仅限于二维像素空间。当我们尝试将这些模型应用于需要空间理解的场景——比如机器人路径规划、自动驾驶仿真或VR内容创作时,就会遇到明显的局限性。想象一下,自动驾驶系统需要的不只是"看起来"真实的街景视频,更需要精确的深度信息和三维结构来做出安全决策。
One4D的创新之处在于,它首次实现了RGB视频与几何视频(pointmap)的同步生成。这里的"4D"指的是三维空间加上时间维度,也就是动态的三维场景。具体来说,模型输出的每个帧不仅包含常规的RGB信息,还包含每个像素对应的XYZ坐标值,形成所谓的pointmap。这种双重输出使得One4D生成的场景可以直接用于需要几何理解的下游应用。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心架构解析:DLC与UMC如何协同工作
2.1 解耦的LoRA控制(DLC)设计
多模态联合训练面临的最大挑战是模态干扰问题。当我们简单地将RGB和几何通道拼接在一起进行微调时,几何模态的学习往往会破坏预训练视频模型已经掌握的丰富RGB先验。这就像让一位画家同时用双手画两幅不同的画——结果往往是两幅画都画不好。
One4D提出的Decoupled LoRA Control(DLC)机制巧妙地解决了这个问题。其核心思想是:
-
参数隔离:为RGB和Pointmap分别配置独立的LoRA适配器,保持基础模型参数冻结。这相当于给两个模态各自的工作空间,避免直接干扰。
-
可控交互:通过精心设计的zero-init连接层,让两个模态能够渐进式地学习如何协调。这些连接层初始权重为零,随着训练逐步学习适当的交互强度。
在实际实现中,DLC采用了类似"双塔"结构。RGB分支专注于保持视觉质量和运动动态,几何分支则专心学习XYZ坐标预测。两个分支只在特定层通过轻量级的连接进行通信,确保输出在像素级别保持对齐。这种设计既保留了预训练模型强
