1. 对抗性强化学习在多模态大语言模型中的应用背景
多模态大语言模型(MLLMs)近年来在视觉理解和推理任务中展现出令人印象深刻的能力,但我在实际应用中发现一个关键问题:这些模型在面对复杂视觉场景时,其感知基础异常脆弱。就像新手司机在复杂路况下容易出错一样,MLLMs在面对细微的图像修改或无关干扰物时,往往会做出完全错误的判断。
这种脆弱性源于两个主要因素:首先,现有模型严重依赖有限的训练数据集,而这些数据集难以覆盖现实世界中的无限变化;其次,传统的训练方式缺乏对模型抗干扰能力的针对性培养。我在测试Qwen-VL和Gemma等主流模型时发现,仅仅在图像中添加一个不相关的物体(如在餐桌图片旁放一个足球),就可能导致模型对"桌上有什么"这类基础问题的回答完全错误。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. AOT框架的核心设计原理
2.1 自我博弈的训练范式
AOT(Adversarial Opponent Training)框架的创新之处在于采用了类似AlphaGo的自我博弈机制。这个框架包含两个核心角色:
- 攻击者(Attacker):一个经过特殊设计的图像编辑模型,负责生成各种对抗性干扰
- 防御者(Defender):需要增强鲁棒性的MLLM模型
在实际操作中,这两个角色会进行多轮对抗:
- 攻击者尝试生成能欺骗防御者的图像修改
- 防御者在被欺骗的样本上进行学习
- 防御者能力提升后,迫使攻击者开发更复杂的攻击策略
- 循环往复,形成协同进化
2.2 两阶段数据生成流程
为了避免"冷启动"问题,作者设计了一个精巧的两阶段数据准备流程:
阶段一:场景扩展
使用Qwen2.5-VL模型引导图像外扩(Outpainting),增加场景复杂度。这里的关键是保持三个特性:
- 一致性:扩展内容不能改变原始问题的答案
- 非重复性:避免生成重复或单调的内容
- 真实性:新增内容必须符合物理规律
阶段二:对抗性干扰植入
在验证通过的图像中策略性插入干扰物体。我们团队在实际复现时发现,必须进行严格的边界框(Bbox)重叠检查,确保:
- 干扰物不遮挡关键物体
- 不改变图像的逻辑真值
- 保持合理的空间关系
3. 攻击者模型的训练细节
3.1 Flow-GRPO算法实现
攻击者模型采用Flow-GRPO算法进行优化
