1. 分布式训练:大模型时代的算力突围战
第一次看到训练日志里显存不足的报错时,我盯着那行刺眼的"CUDA out of memory"发了十分钟呆。当时正在微调一个7B参数的LLM,单卡A100的40GB显存在加载完模型权重后,连最小的batch size都撑不起来。这种场景在NLP领域越来越常见——模型参数规模每年呈指数级增长,而单卡算力的提升速度远远跟不上。去年业内还在讨论如何用ZeRO-3优化10B模型的训练,今年200B参数的模型已经进入实用阶段。这种算力需求与硬件性能之间的剪刀差,正是分布式训练技术爆发的核心驱动力。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 分布式训练的核心武器库
2.1 数据并行:最直观的算力扩展方案
数据并行(Data Parallelism)的本质是将训练数据分片后分配到不同计算设备上。假设原始batch size=256,使用8卡GPU时,每卡实际处理32条样本。前向传播阶段各卡独立计算梯度,随后通过AllReduce操作同步梯度信息。PyTorch中只需一行代码即可实现:
python复制model = torch.nn.DataParallel(model, device_ids=[0,1,2,3])
但这种方法存在明显的通信瓶颈。当使用NVIDIA NCCL后端时,AllReduce的通信开销与模型参数量成正比。对于175B参数的GPT-3,仅梯度同步就需要传输约700GB数据(假设fp32精度)。因此纯数据并行通常只适用于参数量小于10B的模型训练。
2.2 模型并行:破解显存墙的利刃
2.2.1 张量并行(Tensor Parallelism)
将单个矩阵乘法运算拆分到多个设备上执行。以线性层Y=XW为例,把权重矩阵W按列拆分为W=[W₁,W₂],分别在两个GPU上计算XW₁和XW₂,最后通过AllGather拼接结果。Megatron-LM提出的方案中,每个Transformer层的QKV投影会被拆分到8个GPU上,使得单个GPU只需存储1/8的参数量。
2.2.2 流水线并行(Pipeline Parallelism)
将模型按层切分到不同设备,形成类似CPU流水线的处理机制。GPipe采用微批次(micro-batch)技术缓解气泡(bubble)问题:假设模型被分为
