1. 论文背景与核心问题
这篇被AAAI 2026收录为Oral报告的研究工作,针对当前视觉语言模型(Vision-Language Models)在测试时提示调优(test-time prompt tuning)过程中存在的偏差问题,提出了一种创新的双重去偏方法。在深入解析具体方法前,我们需要先理解几个关键概念:
视觉语言模型(如CLIP、BLIP等)通过对比学习将图像和文本映射到共享的嵌入空间,实现了强大的跨模态理解能力。这类模型通常采用"提示工程"(prompt engineering)来适配下游任务,而测试时提示调优则是在模型部署阶段,根据少量测试样本动态调整提示词(prompt)的技术。
然而,现有方法面临两个关键挑战:
- 模态偏差(Modality Bias):模型在训练过程中可能过度依赖某一模态(如更关注文本提示而忽视视觉特征),导致提示调优时难以平衡双模态信息
- 样本偏差(Sample Bias):测试时的少量样本往往无法全面代表真实数据分布,基于这些样本的提示调优容易放大模型原有偏见
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 双重去偏机制设计原理
2.1 模态解耦与再平衡
该方法首先通过模态解耦网络(Modality Disentanglement Network)分离视觉和语言特征。具体实现上:
- 使用交叉注意力机制构建双通道特征提取器
- 引入正交约束损失函数,最小化模态间特征相关性
- 动态门控单元根据测试样本自动调整模态权重
python复制# 伪代码示例:模态解耦的核心实现
class ModalityDisentangler(nn.Module):
def __init__(self, embed_dim):
self.vision_proj = nn.Linear(embed_dim, embed_dim)
self.text_proj = nn.Linear(embed_dim, embed_dim)
self.gate = nn.Sequential(
nn.Linear(2*embed_dim, embed_dim),
nn.Sigmoid())
def forward(self, vis_
