美可琼杰1. 项目概述：对抗攻击在多模态大语言模型中的新突破
最近在整理2025年NIPS会议论文时，一篇关于多模态大语言模型(MLLMs)对抗攻击的研究引起了我的特别关注。这篇论文提出的FOA-Attack方法，解决了当前对抗样本在闭源模型上迁移性不足的核心痛点。作为一名长期关注AI安全的研究者，我发现这项工作在攻击方法和实际效果上都有显著突破。
传统对抗攻击方法往往只关注全局特征对齐，而忽视了局部特征的重要性。这就好比只看到了森林的轮廓，却忽略了树木的细节——虽然能对开源模型产生效果，但在面对闭源黑盒模型时，攻击成功率就会大幅下降。FOA-Attack的创新之处在于，它同时考虑了全局和局部特征的对齐，通过最优传输理论将这个问题数学化，实现了在14种不同模型上的稳定攻击效果。
特别值得注意的是，这种方法在严格阈值(0.5)下仍保持高攻击成功率，且对常见防御机制(如JPEG压缩)表现出强抗性。这对AI安全领域的研究具有重要启示意义——我们需要重新审视当前模型的防御策略，特别是在多模态场景下的脆弱性。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心方法解析：特征最优对齐框架
2.1 全局-局部联合对齐机制
FOA-Attack的核心创新在于其双层次的联合对齐框架。在全局层面，方法采用改进的余弦相似度损失函数：
code复制L_global = 1 - cos(f_adv, f_target)
其中f_adv和f_target分别代表对抗样本和目标样本的[CLS]令牌特征。这个看似简单的公式背后，其实蕴含着一个关键洞见：传统的L2距离在特征空间中对方向变化不敏感，而余弦相似度能更好地捕捉特征方向的一致性。
在局部层面，方法首先通过K-Means聚类将图像分割成K个视觉概念簇。这里的选择K=16是基于大量实验得出的平衡点——既能捕捉足够细节，又不会引入过多计算开销。然后，作者将局部对齐问题转化为最优传输(OT)问题：
code复制L_local = OT(P_adv, P_target)
其中P_adv和P_target分别表示对抗样本和目标样本的局部特征分布。这个OT损失的引入，使得方法能够自动发现并对齐两个样本间最相关的局部区域，而不需要严格的像素级对应。
提示：最优传输理论在此处的应用非常巧妙，它自然地解决了不同图像间局部区域对应关系不明确的问题，这是传