1. Agent安全新视角:从内容审核到系统攻击面的本质转变
作为一名长期从事AI系统安全研究的工程师,我见证了从传统聊天机器人到智能Agent系统的安全范式转变。当大模型开始具备工具调用、知识检索和自主规划能力时,安全问题已经发生了质的变化。这种变化的核心在于:攻击面从单一的文本交互扩展到了整个执行链路。
在传统聊天场景中,我们主要关注的是提示词注入(Prompt Injection)和输出审核问题。比如用户输入恶意提示词诱导模型输出不当内容,或者绕过内容过滤机制。这类问题的本质是"文本安全",防御手段也集中在输入检测和输出过滤上。
但当模型成为Agent系统的"大脑",能够自主调用工具、访问知识库、执行代码时,安全风险就变成了"系统安全"问题。攻击者不再满足于让模型"说错话",而是要让模型"做错事"。这种转变带来了全新的安全挑战:
- 攻击路径的复杂性:恶意输入可能通过检索、记忆、工具调用等多个环节传导
- 影响的持久性:攻击效果可能长期存在于系统状态、知识库或配置中
- 权限的放大效应:普通用户输入可能通过工具链获得高权限操作能力
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Agent系统的核心攻击面分析
2.1 典型Agent系统架构与攻击面分布
根据论文中的参考架构图,一个完整的Agent系统通常包含以下核心组件:
- 用户交互层:处理用户输入和系统输出
- 规划与编排层:决定任务执行流程
- 大模型核心:理解意图和生成决策
- 策略与防护层:执行安全策略
- 记忆存储:维护对话历史和系统状态
- 检索器:从知识库获取相关信息
- 工具代理:管理和调用外部工具/API
- 凭证管理:存储和提供访问凭证
- 执行环境:包括浏览器、代码沙箱、文件系统等
在这些组件之间的接口处,论文标识出了10个关键攻击面(AS1-AS10):
| 攻击面编号 | 攻击面位置 | 典型风险 |
|---|---|---|
| AS1 | 用户输入接口 | 直接提示词注入 |
| AS2 | 检索内容入口 | 间接提示词注入 |
| AS3 | 工具调用序列化 | 参数注入攻击 |
| AS4 | 沙箱边界 |
