跨模态行人重识别：CKDA框架解决持续学习挑战

1. 跨模态行人重识别的持续学习挑战

在智能安防领域，24小时不间断的监控系统需要同时处理可见光（RGB）和红外（IR）两种模态的数据。白天使用常规摄像头采集可见光图像，夜晚则切换为红外热成像。这种多模态监控场景带来了一个关键技术难题：如何让AI模型在持续学习新模态数据时，不遗忘之前学到的跨模态匹配能力？

传统行人重识别（ReID）系统存在两个致命缺陷：首先，当模型从可见光数据切换到红外数据训练时，会出现灾难性遗忘现象——新学到的红外特征会覆盖掉之前建立的跨模态关联知识。其次，现有方法通常需要同时访问所有模态的历史数据来进行联合训练，这在实际部署中既不现实也不经济。

2. CKDA框架的核心设计思想

2.1 知识解耦的基本原理

CKDA（Cross-modal Knowledge Disentanglement and Alignment）框架的创新之处在于，它从特征编码阶段就将知识流物理隔离。具体来说，将行人特征分解为：

• 跨模态共享特征（如人体姿态、步态等几何信息）
• 模态私有特征（如可见光的颜色纹理、红外的热辐射分布）

这种解耦设计源于一个关键观察：在跨模态ReID任务中，约65%的判别性特征实际上是模态无关的。通过实验分析发现，仅使用这些共享特征就能达到基准模型78%的识别准确率。

2.2 三模块协同架构

2.2.1 跨模态通用提示生成器

采用双分支通道注意力机制，其工作流程为：

1. 输入图像经过Instance Normalization消除模态间分布差异
2. 通过交叉模态注意力权重计算：

   python复制# 伪代码示例
   shared_weights = softmax(conv1x1(concat([rgb_feat, ir_feat])))
   rgb_shared = rgb_feat * shared_weights
   ir_shared = ir_feat * shared_weights
   

3. 输出维度为256的共享特征向量

2.2.2 单模态专用提示生成器

每个模态独立拥有：

• 随机失活层（Dropout率=0.5）
• 可学习投影矩阵W∈R^(512×256)
• 模态特定损失函数：

  math复制L_{priv}