1. 项目背景与核心目标
2025年NIPS会议上即将发布的《Jailbreak-AudioBench》研究项目,正在构建一个针对大型音频模型的系统性越狱威胁评估框架。这个项目源于当前生成式AI安全领域的一个关键痛点——随着语音合成、音乐生成等音频AI技术的普及,模型被恶意操控的风险正在急剧上升。
去年某知名音乐平台的AI作曲功能被黑客利用,生成了包含隐蔽指令的音频文件,导致用户设备异常。这类"音频越狱"攻击与传统文本提示注入有着本质区别:人类听觉无法感知的频段调制、相位偏移等数字信号处理技术,可以绕过常规内容过滤机制。我们的团队在复现该事件时发现,现有安全评估体系对音频模态的特殊性考虑严重不足。
AudioBench的核心使命是建立首个专为音频AI设计的多维度越狱评估体系。我们不仅要量化模型对各类音频对抗样本的脆弱性,更要深入分析攻击链的物理可实现性。举个例子:一段添加了特定谐波干扰的钢琴曲,在CD音质下人耳听不出异常,但经过模型预处理后却能被解析为"忽略安全协议"的指令——这类攻击在实际场景中的可行性究竟如何?这正是我们要回答的问题。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 评估框架的技术架构
2.1 威胁建模的三层体系
AudioBench采用"信号层-语义层-系统层"的分级评估模型:
-
信号层攻击:聚焦物理音频特性
- 测试超声/次声频段注入(18kHz以上/20Hz以下)
- 评估动态位深度压缩对抗样本的鲁棒性
- 典型案例:将恶意指令编码在22kHz载波上,测试模型FFT预处理模块的带通滤波缺陷
-
语义层攻击:利用音频的多义性
- 开发基于韵律学的对抗样本(语速、语调的刻意变形)
- 构建多语言混合的语音指令集
- 示例:用英语语法结构说中文触发词,绕过基于词表的安全检测
-
系统层攻击:复合攻击链构造
- 研究音频水印与模型内存的交互漏洞
- 测试跨模态攻击(如通过频谱图隐藏视觉指令)
我们特别设计了可配置的威胁评分公式:
code复制RiskScore = (Exploitability × Impact) / MitigationCost
其中Exploitability包含信号保真度、设备兼容性等12个子维度,全部参数均可通过配置文件动态调整。
