1. 智能体LLM推理的存储带宽瓶颈：从对话到智能体的范式转移
近年来，大语言模型（LLM）的应用范式正在经历一场深刻的变革。传统的"单轮问答"模式正在向复杂的"智能体系统"演进。在这种新型范式下，LLM不再仅仅是回答问题的对话者，而是能够自主规划、调用工具（如浏览器、解释器）并执行多步任务的"智能员工"。
这种范式转移带来了工作负载特性的根本改变。在智能体场景中，交互轮次大幅增加（通常达到数十甚至数百轮），上下文随时间累积，且每次交互多为短追加模式。这些特性导致KV-Cache（大模型处理长文本时的"记忆便签"）的命中率极高（通常≥95%），使得推理过程的瓶颈从GPU计算能力彻底转移到了存储I/O带宽。
提示：KV-Cache是大模型处理长文本时用于存储中间计算结果（键Key和值Value）的缓存机制。它就像是一个"记忆便签"，让模型不必每次都从头重新计算，从而显著提升推理效率。
当前主流的预填充-解码分离架构（PD分离架构）在应对这种变化时暴露了严重问题。这种架构本意是将"理解输入"（Prefill）和"生成回答"（Decode）分派给不同的硬件集群以提升效率。然而在智能体工作负载下，Prefill引擎需要频繁从远程存储加载海量KV-Cache，导致其存储网卡（SNIC）带宽持续饱和；与此同时，Decode引擎的存储网卡却大多处于闲置状态。这种"一边堵死、一边空闲"的带宽利用不平衡，成为制约系统吞吐量的关键瓶颈。
2. DualPath的核心创新：双路径KV-Cache加载机制
2.1 打破传统思维定式
DualPath最关键的创新在于打破了"KV-Cache必须直接加载到Prefill引擎"的思维定式。它提出了一种双路径加载机制，核心思想是"借力打力"：除了传统的"存储→Prefill"路径外，新增了一条"存储→Decode→Prefill"路径。这利用了闲置的Decode侧存储带宽读取数据，再通过高带宽的计算网络（CNIC）经由RDMA传输至Prefill引擎。
这种设计巧妙地聚合了所有引擎的I/O能力，解决了Prefill侧的带宽瓶颈。具体来说，DualPath实现了三大核心机制：
-
双路径数据加载：将Decode引擎变身为"数据中转站"。由于Decode阶段计算量小，其网络带宽资源丰富，通过RDMA（远程直接内存访问）技术将数据快速转运至Prefill引擎。
-
CNIC中心的流量管理：利用InfiniBand的虚拟通道（VL）进行QoS控制，确保推理通信优先，KV-Cache传输在后，实现了关键流量的隔离。
-
自适应请求调度器：系统根据Token数量和磁盘读取队列长度，动态决定走哪条路径，确保计算和网络资源的双重平衡。
2.2 关键技术实现细节
2.2.1 双路径加载的具体实现
在传统架构中，KV-Cache的加载只有一条路径：
code复制存储设备 → 存储网络(SNIC) → Prefill引擎
而DualPath新增了第二条路径：
code复制存储设备 → 存储网络(SNIC) → Decode引擎 → 计算网络(CNIC) → Prefill引擎
这种设计的精妙之处在于：
- Decode引擎的计算负载通常较轻，其存储网卡带宽利用率低
- 计算网络(CNIC)的带宽通常远高于存储网络(SNIC)
- RDMA技术可以实现Decode和Prefill引擎间的超低延迟数据传输
2.2.2 流量隔离机制
为了防止KV-Cache传输干扰对延迟敏感的模型推理通信，DualPath采用了InfiniBand的虚拟通道(VL)技术。这相当于在高速公路上划定了"快车道"和"慢车道"：
| 虚拟通道类型 | 优先级 | 用途 | 带宽分配 |
|---|---|---|---|
| VL0 | 高 | 模型推理通信 | 99% |
| VL1 | 低 | KV-Cache传输 | 1% |
这种配置确保了即使在高负载情况下，模型推理通信也能获得足够的带宽保障。
2.2.3 自适应调度算法
调度器根据以下因素动态选择路径：
- 当前存储NIC的负载情况
- 各Decode引擎的闲置带宽
- KV-Cache的大小和位置
- 计算网络的拥塞程度
算法会实时监控这些指标，选择最优的加载路径，确保系统资源的最佳利用。
3. 理论分析与性能保障
3.1 无瓶颈P/D比例约束
为了确保双路径设计不引入新的瓶颈，论文推导了关键的无瓶颈P/D比例约束公式：
$$
\frac{s}{g-s} \le P/D \le \min\left(\frac{g-2s}{s}, \frac{g-s}{2s}, \frac{M}{2Bs} - \frac{3}{2}\right)
$$
其中：
- $P$和$D$：分别代表Prefill和Decode节点数量
- $g$：每节点GPU数量
- $B$：计算网卡（CNIC）带宽
- $s$：存储带宽因子（存储带宽 = $s \times B$）
- $M$：内存带宽
这个公式的物理意义在于：在利用Decode侧带宽的同时，必须保证计算网络和内存带宽不被新增的转发流量压垮。它为系统配置提供了理论上的"安全区间"。
3.2 实际配置示例
假设一个典型的高性能服务器配置：
- 每节点8个GPU（$g=8$）
- 计算网络带宽$B=400$Gbps
- 存储带宽因子$s=0.1$（即存储带宽40Gbps）
- 内存带宽$M=500$GB/s
代入公式计算可得：
$$
\frac{0.1}{8-0.1} \le P/D \le \min\left(\frac{8-0.2}{0.1}, \frac{8-0.1}{0.2}, \frac{500}{2×40×0.1} - \frac{3}{2}\right)
$$
简化后：
$$
0.0127 \le P/D \le \min(78, 39.5, 61.75)
$$
这意味着在这个配置下，Prefill节点数量可以远多于Decode节点，而不会造成系统瓶颈。
4. 实验验证与性能评估
4.1 实验设置
论文使用了从生产环境的Agentic RL训练工作负载中收集的三个Agent trace数据集，每个包含500条轨迹。数据集特征如下：
| MaxLen | Turns | Append | Gen | Total | Context |
|---|---|---|---|---|---|
| 32K | 60 | 608 | 148 | 28639 | 17183 |
| 48K | 106 | 474 | 172 | 42607 | 25120 |
| 64K | 157 | 429 | 176 | 55958 | 32721 |
4.2 性能对比结果
4.2.1 离线推理性能
在DS 660B模型上，DualPath相比基线实现了最高1.87倍的加速：
| 模型 | 指标 | 结果 |
|---|---|---|
| DS 660B | 最大加速比 | 1.87× |
| DS 27B | 最大加速比 | 1.78× |
| DS 27B | 平均加速比(P/D变化) | 1.64× |
| DS 27B | 最大加速比(P/D变化) | 2.46× |
4.2.2 在线服务性能
在不违反SLO（TTFT ≤ 4s, TPOT ≤ 50ms）的情况下，DualPath显著提升了在线服务的吞吐量(APS)：
| 模型 | 指标 | 结果 |
|---|---|---|
| DS 660B | APS容量提升 | 2.25× |
| DS 27B | APS容量提升 | 1.67× |
| 总体 | 平均吞吐量提升 | 1.96× |
4.2.3 消融实验
基于DS 660B模型(MaxLen=64K)的消融研究结果：
| 组件 | 平均JCT降低(相比基线) |
|---|---|
| Layerwise prefill | 17.21% |
| Dual-path loading | 38.19% |
| Scheduling algorithm | 45.62% |
4.3 大规模扩展性
在扩展至1152个GPU(48P96D配置)的大规模实验中：
| 设置 | JCT | TTFT | TTST | TPOT |
|---|---|---|---|---|
| 2P4D, 2K agents | 3,167s | - | - | - |
| 48P96D, 48K agents | 3,201s | - | - | - |
| 2P4D, 0.4 APS | - | 1.739s | 0.228s | 0.039s |
| 44P88D, 8.8 APS | - | 1.847s | 0.194s | 0.036s |
实验表明，DualPath展现了接近线性的扩展能力，吞吐量从小规模配置的0.4 APS提升至8.8 APS。
5. 工程实践中的关键考量
5.1 硬件���求与配置建议
DualPath的有效性依赖于特定的硬件配置：
-
网络基础设施：
- 必须支持RDMA技术（如InfiniBand或RoCEv2）
- 建议使用支持虚拟通道(VL)的高端网卡
- 计算网络带宽应显著高于存储网络（建议≥4:1）
-
服务器配置：
- 内存带宽应足够高（建议≥500GB/s）
- 建议每个节点配置多个GPU（8个为佳）
- Prefill和Decode节点比例应根据公式计算确定
5.2 实际部署经验
在实际部署DualPath系统时，我们总结了以下经验：
-
监控与调优：
- 需要实时监控各路径的带宽利用率
- 根据负载动态调整P/D比例
- 定期检查虚拟通道的配置是否合理
-
常见问题排查：
- 如果吞吐量提升不明显，首先检查存储网络是否成为瓶颈
- 关注Decode引擎的内存带宽利用率，确保不超过安全阈值
- 检查调度器的决策日志，确认路径选择是否合理
-
性能优化技巧：
- 对高频访问的KV-Cache实施本地缓存
- 调整MTU大小以优化网络传输效率
- 实施预取策略减少等待时间
6. 技术影响与未来方向
6.1 对智能体系统设计的启示
DualPath的研究表明，在智能体LLM时代，系统架构必须随工作负载的演变而进化。传统的PD分离架构在新型负载下已不再是银弹。这项研究提供了一套重新审视推理系统资源分配的方法论：
- 资源利用视角：不仅要关注计算资源的利用率，更要关注存储和网络资源的平衡
- 瓶颈转移认知：在智能体场景下，瓶颈已从计算变为I/O，系统设计需相应调整
- 协同设计理念：硬件配置和软件算法必须协同设计才能发挥最大效益
6.2 局限性与改进空间
尽管DualPath表现优异，但仍存在一些局限性：
-
硬件依赖性：
- 需要特定的网络拓扑结构（如InfiniBand VL支持）
- 在异构集群中性能可能受限
-
模型适应性：
- 对于超长上下文（>100K tokens）的场景需要进一步优化
- 不同模型架构可能需要调整参数
-
动态负载挑战：
- 在负载剧烈波动时，静态配置可能不是最优
- 需要更智能的动态调整算法
6.3 未来研究方向
基于DualPath的基础，未来可能的研究方向包括：
- 更细粒度的流量预测：利用机器学习预测流量模式，提前进行资源分配
- 异构计算环境适配：扩展设计以适应包含不同硬件加速器的异构集群
- 能耗优化：在保证性能的同时降低系统能耗
- 多租户支持：研究在多租户环境下的资源隔离和公平调度
从实际工程角度看，DualPath的价值不仅在于解决了一个具体问题，更重要的是展示了一种系统设计哲学：在硬件资源受限时，通过精细化的系统设计挖掘闲置资源潜力，而非简单地堆砌硬件。这种思路对于面临类似瓶颈的其他分布式系统也具有重要参考价值。