1. xDiT 项目概述
xDiT 是一个专为大规模多 GPU 集群设计的分布式推理框架,主要针对 Diffusion Transformers(DiTs)模型进行优化。作为文生图和文生视频领域的核心网络架构,DiTs 在实际应用中面临着独特的计算挑战。与传统的 LLM(大语言模型)不同,DiT 模型具有计算密集、序列超长、架构多样等特点,这使得现有的 LLM 优化方案难以直接套用。
我在实际部署 DiT 模型时发现,当处理高分辨率图像或长视频序列时,单 GPU 的推理延迟会急剧增加。例如,Sora 模型的单次推理耗时可达数分钟,这完全无法满足实时应用的需求。xDiT 正是为了解决这一痛点而生,它通过创新的并行策略和内核优化,让 DiT 模型能够充分利用多机多卡的计算资源,实现近似线性的加速比。
1.1 DiT 与 LLM 的关键差异
通过对比 DiT 和 LLM 的推理特性,我们可以更清楚地理解 xDiT 的设计哲学:
-
计算模式差异:
- LLM 有 Prefill(计算密集)和 Decode(访存密集)两个阶段
- DiT 全程都是计算密集型的,没有 KVCache 不断增长的现象
- 这意味着 LLM 中用于优化 Decode 阶段的技术(如 Paged Attention)在 DiT 中并不适用
-
资源需求差异:
- LLM 模型参数庞大(数十亿到万亿级),但序列长度有限(通常几百 token)
- DiT 模型相对较小(数亿参数),但序列长度可达百万级
- 这种差异导致张量并行在 DiT 中效果不佳
-
架构统一性差异:
- LLM 多基于 Transformer 架构微调(如 LLaMA 系列)
- DiT 架构变体众多(SD3、Latte 等),模块连接方式复杂(常见 U-Net 结构)
- 这使得 DiT 的代码改造和优化更具挑战性
实际经验:在尝试将 vLLM 的优化技术迁移到 DiT 时,我们发现单纯的张量并行在 8 卡配置下只能获得 3 倍左右的加速,远低于理论值。这正是 xDiT 需要解决的核心问题。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. xDiT 核心技术解析
2.1 混合并行策略
xDiT 的核心创新在于其灵活的混合并行系统,支
