1. SA-TDGFormer:骨骼动作识别的新范式
在计算机视觉领域,骨骼动作识别一直是极具挑战性的研究方向。传统方法往往受限于局部特征提取能力或全局关系建模的不足,而SA-TDGFormer通过创新的双流并行架构,将图卷积网络(GCN)与Transformer的优势完美结合,为这一领域带来了突破性进展。
这个模型最引人注目的特点在于其"分而治之"的设计哲学:GCN流专注于捕捉人体骨骼的拓扑结构特征,而Transformer流则擅长建模全局时空关系。这种分工协作的模式,使得模型能够同时兼顾局部细节和全局上下文,在NTU RGB+D 60数据集上实现了96.83%的惊人准确率。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心技术解析:双流架构设计
2.1 时空图卷积流(GCN Stream)
GCN流的核心创新在于其自适应图卷积层(AGCN)和多尺度时序卷积(TDCN)的组合。与传统固定邻接矩阵的GCN不同,AGCN通过可学习的矩阵L和与输入相关的矩阵E,实现了动态拓扑适应:
code复制H^(l+1) = σ(D^(-1/2)(A~ + L + E)D^(-1/2)H^(l)W^(l))
这种设计使得网络能够:
- 为不同样本生成专属的图结构
- 在每一层学习不同的连接模式
- 保持原始骨架的物理约束同时增强灵活性
在时序处理方面,TDCN采用扩张卷积(dilated convolution)来捕获多尺度时间特征。相比常规卷积,扩张卷积通过间隔采样扩大了感受野,却不会增加计算成本。实测表明,这种设计对长周期动作(如"打喷嚏"、"跌倒"等)的识别尤为有效。
2.2 时空Transformer流
Transformer流创新性地将标准自注意力机制分解为空间和时间两个独立维度:
空间Transformer模块通过计算关节间的注意力权重:
code复制a_ij^t = q_i^t (k_j^t)^T
打破了传统骨骼图中固定连接的局限,能够发现非常规但重要的关节关联(如"鼓掌"时双手的对称运动)。
时间Transformer模块则专注于同一关节在不同时间点的演变:
code复制a_ts^v = q_t^v (k_s^v)^T
这种设计特别适合建模动作的时序演进模式,如"从坐到站"这类连续动作。
