1. 智能体大模型推理的I/O瓶颈现状
在传统的大语言模型(LLM)推理场景中,计算资源往往是主要的性能瓶颈。但随着智能体系统的兴起,这一情况发生了根本性变化。智能体系统通过多轮交互解决复杂任务的特点,使得KV缓存的存储I/O需求成为新的性能瓶颈。
1.1 智能体工作负载的特征分析
智能体工作负载与传统单轮对话相比,呈现出三个显著特征:
- 长上下文:智能体与环境的交互可能持续数十甚至数百轮,上下文长度可达百万令牌级别
- 短追加:每轮交互新增的提示内容通常较短(数百令牌)
- 高复用率:KV缓存的命中率通常超过95%,部分代码任务场景可达98.7%
这些特征导致KV缓存的加载效率成为系统性能的决定性因素。以典型的代码助手场景为例,开发者与智能体的交互可能涉及:
- 初始需求描述(约500令牌)
- 多轮代码修改请求(每轮约100-200令牌)
- 测试结果反馈(每轮约300-500令牌)
在此过程中,90%以上的注意力计算都依赖于历史KV缓存,而非新生成的内容。
1.2 现有架构的局限性
当前主流的预填充-解码(PD)解耦架构存在明显的设计缺陷:
| 架构组件 | 传统设计 | 智能体场景下的问题 |
|---|---|---|
| 预填充引擎 | 承担所有KV缓存加载 | 存储网卡带宽饱和 |
| 解码引擎 | 仅负责令牌生成 | 存储网卡大量闲置 |
| 数据传输 | 单一路径:存储→PE | 无法利用DE的闲置带宽 |
这种不对称的资源利用导致系统吞吐量受限于预填充引擎的存储带宽。在实际部署中,我们观察到:
- PE存储网卡利用率持续高于95%
- DE存储网卡利用率不足10%
- GPU计算资源平均利用率仅30-40%
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. DualPath系统架构设计
2.1 核心创新:双路径KV缓存加载
DualPath系统的突破性在于引入了第二条KV缓存加载路径:
传统路径(PE路径):
- KV缓存从存储加载到PE缓冲区
- 传输至PE的HBM
- 计算后完整KV缓存传输至DE缓冲区
新增路径(DE路径):
- KV缓存从存储直接加载到DE缓冲区
- 按需传输至PE的HBM
- 仅将新计算
