JjjjjNP1. 项目概述
今天要跟大家分享一个让我眼前一亮的AI系统优化方案——DeepSeek团队最新发布的DualPath推理框架。作为一名长期关注大模型推理优化的从业者，这个创新性的设计思路确实解决了不少我们在实际部署中遇到的痛点。
DualPath的核心创新点在于重新设计了KV-Cache的加载路径，通过利用解码引擎闲置的存储网卡带宽，配合RDMA高速网络，实现了存储带宽的全局池化和动态负载均衡。简单来说，就是让原本"闲着也是闲着"的解码侧网卡资源也能为预填充阶段出力，从而显著提升整体推理效率。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术背景与问题分析
2.1 当前大模型推理的I/O瓶颈
在大模型推理场景中，特别是长文本对话这类智能体应用，KV-Cache的管理已经成为性能瓶颈的关键所在。随着对话轮数的增加，上下文长度可能达到数万token，这时KV-Cache的体积会变得非常庞大。
传统方案中，KV-Cache的加载完全依赖预填充引擎(PE)的存储网卡(SNIC)。这就导致了一个典型的问题：在对话轮次较多时，预填充侧的存储网卡带宽会被瞬间占满，而解码侧(DE)的存储网卡却处于闲置状态。
2.2 PD分离架构的局限性
现有的预填充-解码分离(PD-disaggregated)架构虽然在一定程度上优化了计算资源利用率，但在存储访问方面仍然存在明显缺陷：
- 所有KV-Cache加载都集中在预填充引擎的存储网卡上
- 解码引擎的存储网卡带宽完全闲置
- 计算资源经常因为等待数据而处于空闲状态
这种资源错配现象随着模型规模的扩大和上下文长度的增加而愈发严重。根据我们的实测数据，在660B参数的模型上，存储带宽不足导致的等待时间可能占到整个推理时长的40%以上。
3. DualPath架构设计
3.1 双路径加载机制
DualPath的创新之处在于引入了第二条KV-Cache加载路径：
- 传统路径(Path A)：存储 → 预填充引擎(PE)
- 新增路径(Path B)：存储 → 解码引擎(DE) → 预填充引擎(PE)
这种设计的关键洞察在于认识到KV-Cache的加载不必以预填充为中心。通过利用解码引擎闲置的存储网卡带宽，系统可以更灵活地调度存储资源。
3.2 系统组件
DualPath架构