霍风风1. 大语言模型推理的范式转变与系统挑战
大语言模型正经历从单轮对话工具向多轮智能体系统的革命性转变。这种转变带来的不仅是功能增强，更是底层系统架构的全面重构。传统LLM推理系统设计时主要考虑单轮问答场景，而现代Agentic工作负载呈现出三大典型特征：
-
超长上下文处理需求：在代码补全、自动化任务代理等场景中，单次交互轨迹可达数十万token。例如一个持续数小时的编程会话可能累积超过50万token的上下文历史。
-
极高的KV-Cache复用率：由于多轮交互中上下文高度复用，KV-Cache命中率通常≥95%。这意味着系统需要高效管理大量历史状态而非频繁重建。
-
短追加生成模式：每轮交互仅追加数百token的新内容，但系统仍需加载完整的KV-Cache历史。这种"小写入、大读取"模式对存储带宽提出严峻挑战。
这些特性共同导致现代LLM系统的性能瓶颈从计算密集型转向I/O密集型。实测数据显示，在典型Agentic工作负载下，GPU计算利用率可能低至30%，大部分时间都在等待KV-Cache从存储加载。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 传统架构的瓶颈分析与DualPath设计理念
2.1 Prefill-Decode分离架构的固有缺陷
现代LLM推理系统普遍采用Prefill-Decode（P/D）分离架构，这种设计在单轮场景下表现良好，但在Agentic工作负载中暴露出根本性缺陷：
-
存储带宽利用率失衡：Prefill端存储NIC带宽被完全占满（100%利用率），而Decode端NIC利用率接近0。这种不对称饱和导致系统吞吐量受限于单点带宽。
-
扩展性瓶颈：单纯增加Prefill节点成本高昂且效果有限。实测显示，在保持其他条件不变时，将Prefill节点从1增加到2仅带来约1.3倍吞吐提升，远低于线性增长预期。
-
资源浪费严重：系统总存储带宽实际上由Prefill和Decode两部分组成，但传统架构只能利用其中一半，造成硬件资源的巨大浪费。
2.2 DualPath的核心创新
DualPath通过架构级创新解决了上述问题，其核心思想可概括为"带宽聚合+动态调度"：
-
双路径KV-Cache加载机制：
- PE Read Path：传统路径（存储→PE Buffer→PE GPU→DE Buffer）
- DE Read Path：创新路径（存储→DE Buffer→PE GPU→DE Buffer）
-
RDMA加速数据传输：利用高速计算网络（如InfiniBand）的RDMA能力，实现Decode端到Prefill端的低延迟数据传输，有效聚合两端的存储带宽。
-
流量隔离与QoS保障：通过CNIC-Centric架构和InfiniBand虚拟通道(VL)技术，确保KV-Cache流量与模型通信流量互不干扰。
这种设计使得系统总有效存储带宽从原来的B（单NIC带宽）提升到接近2B，从根本上突破了传统架构的带宽瓶颈。
3. DualPath关键技术实现细节
3.1 层间预填充与混合布局策略
为实现高效的流式传输与计算重叠，DualPath采用了创新的数据布局方案：
-
Layer-wise预填充：将KV-Cache按注意力层切分，允许系统在完成第N层计算时，并行加载第N+1层的KV-Cache数据。
-
Block混合布局：
- Layer Block：包含单层所有头的KV数据，适合大块传输
- Full Block：包含单头所有层的KV数据，适合细粒度访问
- 系统根据当前负载动态选择最优布局策略
这种设计使得数据传输能够最大限度与计算重叠，实测显示可减少约17%的作业完成时间。
3.2 双层动态调度算法
DualPath的调度系统包含两个层级：
-
引擎间调度（Inter-engine）：
- 实时监控各引擎的NIC带宽利用率
- 动态分配KV-Cache加载任务到利用率较低的引擎
- 采用改进的Power-of-Two-Choices算法，避免简单的轮询调度
-
引擎内调度（Intra-engine）：
- 基于GPU执行进度预测下一阶段所需数据
- 采用优先级队列管理数据传输任务
- 实现计算与I/O的精确流水线化
该调度系统使存储NIC流量均衡比从传统方案的1.53优化至1.18，GPU利用率波动幅度降低60%以上。
4. 性能评估与实际应用效果
4.1 基准测试结果
在标准测试环境（8xA100节点，1TB/s存储网络）中，DualPath展现出显著优势：
| 模型规模 | 上下文长度 | 传统架构吞吐 | DualPath吞吐 | 加速比 |
|---|---|---|---|---|
| 27B | 64K | 12.8 req/s | 22.8 req/s | 1.78x |
| 660B | 128K | 3.4 req/s | 6.3 req/s | 1.85x |
| 1.5T | 256K | 0.9 req/s | 1.7 req/s | 1.89x |
特别值得注意的是，随着模型规模和上下文长度的增加，DualPath的优势更加明显。在256K上下文场景下，其性能提升接近2倍。
4.2 实际生产环境表现
在某大型科技公司的代码补全服务中部署DualPath后：
-
服务质量指标：
- TTFT（首token时间）从3.2s降至2.8s
- TPOT（每token时间）保持稳定在45ms
- 错误率降低23%
-
经济效益：
- 在保持相同SLO前提下，服务器使用量减少42%
- 电力消耗降低约35%
- 总体TCO下降约38%
4.3 极端场景验证
为测试系统极限性能，研究团队在1，152 GPU集群上进行了大规模测试：
-
离线推理：
- 完成100次660B模型推理（128K上下文）
- 传统架构：5，342秒
- DualPath：3，201秒（提升1.67倍）
-
在线服务：
- 峰值QPS达到2，300（传统架构1，050）
- 长尾延迟（P99）从78ms降至52ms
这些结果充分证明了DualPath在大规模生产环境中的实用价值。
5. 技术延伸与未来展望
DualPath的设计理念可扩展到更广泛的场景：
-
多模态模型推理：针对图像、视频等多模态数据的高带宽需求，可扩展为MultiPath架构，聚合更多存储资源。
-
边缘计算场景：在资源受限的边缘设备上，通过类似的带宽聚合思路优化有限资源的利用率。
-
训练-推理一体化：探索将DualPath思想应用于训练阶段，解决大型模型训练中的I/O瓶颈问题。
在实际部署中，我们总结了以下关键经验：
-
网络配置优化：确保RDMA网络具有足够的带宽和低延迟，建议使用100Gbps以上InfiniBand网络。
-
存储系统选择：优先考虑高吞吐、低延迟的存储方案，如NVMe-over-Fabric存储集群。
-
监控指标设计：除传统GPU利用率外，需新增存储NIC利用率、RDMA传输延迟等关键指标。
-
渐进式部署策略：建议先在部分节点试运行，逐步扩大部署范围，密切观察系统稳定性。
这项技术的突破不仅提升了现有系统的性能，更重要的是为下一代AI基础设施设计提供了新思路。随着大模型应用场景的不断扩展，类似DualPath这样的系统级创新将变得越来越重要。