视觉语言模型鲁棒性提升：Adv-W2S框架解析

1. 视觉语言模型鲁棒性超对齐的挑战与突破

视觉语言模型（Vision-Language Models, VLMs）近年来在图像分类、字幕生成、视觉问答等任务中展现出接近人类水平的性能。但当我们深入实际应用场景时会发现，这些模型在面对对抗样本时表现得异常脆弱——轻微扰动就可能导致完全错误的预测结果。这种现象暴露出现有监督学习范式的根本缺陷：人类标注者提供的监督信号虽然能指导模型在标准测试集上取得高分，却难以传递对抗干扰下的判别能力。

传统弱到强泛化（Weak-to-Strong Generalization）方法试图通过弱监督模型（如小型模型或低质量标注）来指导强模型的训练，以此缓解对高质量人工标注的依赖。但我在复现实验中发现，即使使用经过对抗训练的弱模型，其指导产生的强模型在对抗攻击下的准确率仍可能骤降40%以上。这就像用不防弹的材料训练士兵，即使训练方法再先进，实战中仍会不堪一击。

2. Adv-W2S框架的核心设计原理

2.1 标准弱到强泛化的鲁棒性缺陷

通过分析CLIP、BLIP等主流VLMs在CIFAR-10-C、ImageNet-C等鲁棒性基准上的表现，可以清晰看到标准弱到强方法的局限性。当使用ResNet-50作为弱监督模型指导ViT-L强模型时，虽然干净样本的准确率能保持98%，但在PGD攻击（ε=4/255）下准确率会从75%暴跌至12%。这种断崖式下降表明：

1. 传统对齐目标函数（如KL散度）过度依赖干净样本的分布
2. 弱模型的决策边界信息未被有效编码到强模型中
3. 对抗样本空间与干净样本空间的几何特性存在本质差异

2.2 无监督鲁棒知识提取机制

Adv-W2S的创新之处在于完全摒弃了对额外对抗样本的依赖，转而从两个维度挖掘弱模型自身的鲁棒信息：

2.2.1 熵引导的不确定性重加权

设计基于预测熵的自适应权重函数：

code复制w(x) = 1 - H(p_w(x))/logK

其中H(·)为香农熵，K为类别数，p_w为弱模型预测分布。这个看似简单的设计实际解决了关键问题：

• 高熵样本（预测不确定）可能对应决策边界附近点
• 自然样本中的高熵区域往往与对抗脆弱区域重合
• 动态降低噪声监督的权重可避免错误知识传递

在ImageNet-1k上的实验显示，该方法能使对抗准确率相对