1. 模型架构之争:MoE与Dense的本质差异
在人工智能领域,特别是大模型时代,MoE(Mixture of Experts)和Dense(密集连接)两种架构的争论从未停止。要理解为什么训练侧偏爱MoE而部署侧倾向Dense,首先需要深入理解这两种架构的本质差异。
1.1 MoE架构的核心特点
MoE架构的核心思想是"分而治之"。它将模型划分为多个专家(experts)模块,每个输入token会根据路由机制被分配到少数几个专家进行处理。这种设计带来了几个关键特性:
- 参数解耦:总参数量(total params)可以非常大,但每个token实际激活的参数(active params)相对较小。例如,一个总参数量为1T的MoE模型,可能每个token只激活其中的100B参数。
- 条件计算:不同输入会激活不同的专家组合,这使得模型能够针对不同任务或输入特征进行"专业化"处理。
- 扩展性强:通过增加专家数量而非专家深度,可以显著提升模型容量而不线性增加计算量。
典型的MoE实现如Google的Switch Transformer,采用了每层选择1-2个专家的策略。这种稀疏激活的特性使其在保持计算量相对稳定的情况下,能够大幅提升模型容量。
1.2 Dense架构的核心特点
相比之下,Dense架构是传统的全连接方式:
- 全量激活:每个token都会经过所有模型参数,total params和active params基本相等。
- 计算确定性:执行路径固定,没有路由决策的开销和不确定性。
- 结构规整:层与层之间是完全连接的,没有条件计算带来的复杂性。
Dense架构的代表如GPT-3,虽然参数量巨大(175B),但每个token都需要完整经过这175B参数的计算。
1.3 关键差异对比
下表总结了两种架构的核心差异:
| 特性 | MoE | Dense |
|---|---|---|
| 参数激活方式 | 稀疏激活 | 全量激活 |
| 计算量增长曲线 | 总参数↑,计算量相对稳定 | 总参数↑,计算量线性↑ |
| 路由机制 | 需要复杂的路由决策 | 无路由开销 |
| 并行计算 | 需要专家并行 | 常规模型并行 |
| 内存占用 | 需驻留全部专家权重 | 只需当前计算部分权重 |
| 延 |
