SentiAvatar双通道架构解析：0.3秒生成数字人动作

1. SentiAvatar技术框架解析：如何实现0.3秒生成6秒动作

SentiAvatar的核心突破在于其创新的双通道并行架构设计。这个框架将传统数字人动作生成的串行流程拆解为"语义规划"和"动作填充"两个并行的子任务，通过分层处理显著提升了生成效率。

1.1 Plan-then-infill双通道架构

在规划阶段（Plan），模型使用基于LLM的语义规划器处理输入文本和音频特征。具体流程如下：

1. 输入行为标签文本和稀疏音频Token（每50ms一个Token）
2. LLM输出稀疏关键帧动作Token序列（约每秒5个关键帧）
3. 采用滑动窗口上下文机制，保留前一句最后两帧作为跨句衔接的锚点

在填充阶段（Infill），Body Infill Transformer负责关键帧之间的细节补充：

• 输入相邻关键帧和HuBERT音频特征（768维，20FPS）
• 使用5帧滑动窗口预测中间3帧（12个动作Token）
• 采用迭代置信度解码策略（默认6步），逐步修正预测结果

这种架构设计使得模型在保持高质量输出的同时，将端到端延迟控制在300ms以内。实测表明，相比传统端到端模型，双通道设计使推理速度提升4.8倍。

1.2 Motion Foundation Model预训练

团队构建的Motion Foundation Model包含三个关键创新点：

1. 跨模态对比学习：在200K+异质动作序列上建立动作-语音-文本的联合嵌入空间
2. 分层动作表示：将人体动作分解为根节点运动（Root Motion）和局部肢体运动
3. 时序一致性约束：通过相邻帧相似性损失函数避免动作抖动

这个基础模型为下游任务提供了强大的运动先验知识，使SentiAvatar能够处理复杂的跨模态对齐问题。在BEATv2跨语言测试集上，使用基础模型预训练使FGD指标提升37.2%。

2. SuSuInterActs数据集：中文数字人的"营养基"

2.1 数据采集与标注规范

SuSuInterActs数据集围绕虚拟角色"SUSU"构建，包含以下核心要素：

• 37小时多模态对话数据（2.1万片段）
• 同步采集4K视频、高保真音频和动作捕捉数据
• 专业标注团队按照FACS（面部动作编码系统）标准标注微表情
• 行为标签文本包含语