1. 项目概述:突破多主体动画的"四个任意"边界
去年在为一个游戏项目制作群舞动画时,我遇到了一个棘手问题:需要让五个不同体型的角色同步跳一支现代舞,但现有的动画工具要么要求逐个角色调整,要么会产生严重的肢体错位。这正是CoDance要解决的核心痛点——传统角色动画方法对主体数量、空间位置和姿态的刚性限制。
这项由港大与蚂蚁团队联合提出的创新框架,首次实现了真正意义上的多主体自由动画生成。其核心突破在于"解绑-重绑"(Unbind-Rebind)范式,通过解构动作语义与空间位置的强绑定关系,再结合语义与空间双重引导,最终达成以下四个"任意":
- 任意主体类型:支持人类、拟人化角色甚至抽象物体的动画化
- 任意数量:单驱动姿态可同步控制1-N个主体
- 任意空间位置:参考图像与驱动姿态无需像素级对齐
- 任意姿态:支持复杂动作序列的精确重定向
关键洞察:传统方法失效的根本原因在于过度依赖"空间对齐假设"。当输入不符合这个假设时(如多主体场景),模型就会产生身份混淆或动作错配。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术架构解析:Unbind-Rebind的双重革命
2.1 传统方法的局限性
现有SOTA方案如AnimateAnyone、MagicAnimate等在单人场景表现优异,但其底层设计存在三个根本缺陷:
- 空间绑定僵化:依赖参考图像与驱动姿态的像素级对齐
- 语义理解缺失:无法区分"动作内容"与"空间位置"
- 控制粒度不足:缺乏多主体场景的精确绑定机制
如图2所示案例,当输入一对多关系(一个驱动姿态对应多个参考主体)时,传统方法要么在错误位置生成新角色,要么导致主体身份丢失。
2.2 Unbind模块设计
2.2.1 姿态偏移编码器(Pose Shift Encoder)
这个创新模块包含两级解绑策略:
输入级解绑(Pose Unbind):
- 随机平移:对骨架坐标施加(x,y)轴偏移(范围±30%图像尺寸)
- 随机缩放:在0.7-1.3倍范围内动态调整骨架大小
- 数学表达:
P' = s·P + [Δx, Δy],其中s~U(0.7,1.3), Δx,Δy~U(-0.3W,0.3H)
特征级解绑(Feature Unbind):
