秦哲祺1. 从噪声到艺术：扩散模型的本质理解
第一次接触扩散模型时，我被它反直觉的工作方式所震撼——这个系统竟然通过逐步向图片添加噪声来学习生成图像。2015年DeepMind首次提出扩散概率模型时，大多数人都不看好这种"逆向破坏"的学习方式。直到2020年DDPM论文发表后，人们才意识到这种看似荒诞的方法，在图像生成质量上竟能超越当时的GAN系模型。
扩散模型的核心思想源于物理学中的非平衡热力学理论。想象一滴墨水落入清水中的过程：起初墨滴轮廓分明（有序状态），随着时间推移逐渐扩散直至完全均匀分布（无序状态）。扩散模型正是模拟了这个过程的逆过程——从无序的噪声中重建出有序的图像结构。
与GAN的对抗训练或VAE的隐变量压缩不同，扩散模型通过定义固定的前向扩散过程（逐步加噪）和可学习的逆向过程（逐步去噪），在像素空间直接操作。这种方法的优势在于：
- 训练稳定性远超GAN（无需判别器与生成器的动态平衡）
- 生成质量高于VAE（避免潜在空间的信息损失）
- 天然支持渐进式生成（可控制生成过程的中间状态）
关键洞察：扩散模型成功的关键在于将复杂的生成任务分解为一系列简单的去噪步骤，每个步骤只需学习如何从当前噪声水平恢复少量图像信息。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 数学骨架：扩散过程的形式化定义
2.1 前向扩散的马尔可夫链
前向过程被定义为固定的马尔可夫链，逐步向数据添加高斯噪声。给定原始图像x₀，在T个时间步内按照预定义的噪声调度β₁,...,β_T进行加噪：
q(x_t|x_{t-1}) = N(x_t; √(1-β_t)x_{t-1}, β_tI)
这个递推公式表示：每一步的图像x_t是从前一步x_{t-1}经过线性变换(保持部分原信息)加上随机噪声(引入不确定性)得到的。当T足够大时，x_T将近似服从各向同性的高斯分布。
有趣的是，由于马尔可夫性质，我们可以直接得到任意时间步t的闭式解：
q(x_t|x_0) = N(x_t; √(ᾱ_t)x_0, (1-ᾱ_t)I)
其中α_t = 1-β_t，ᾱ_t = ∏_{s=1}^t α_s。这个性质极大简化了训练过程——我们可以随机采样时间步t，直接计算x_t，而不需要逐步执行t次加噪。
2.2 逆向过程的参数化
逆向过程需要学习一个参数化的高斯转移：
p_θ(x_{t-1}|x_t) = N(x_{t-1}; μ_θ(x_t,t), Σ_θ(x_t,t))
关键在于，当β_t足够小时，逆向转移的分布也是高斯的。论文发现将协方差矩阵固定为σ_t^2I = β_tI效果已经很好，因此只需用神经网络预测均值μ_θ。
更聪明的做法是重新参数化预测目标。不是直接预测均值，而是让网络预测噪声ε：
μ_θ(x_t,t) = 1/√α_t (x_t - β_t/√(1-ᾱ_t)ε_θ(x_t,t))
这种参数化使网络的学习目标变为预测添加到图像中的噪声，实践表明这种形式更易优化。
3. 实战DDPM：PyTorch实现详解
3.1 模型架构设计
DDPM使用的U-Net结构包含以下几个关键组件：
python复制class UNet(nn.Module):
def __init__(self, T=1000, ch=128, ch_mult=[1,2,4,8]):
super().__init__()
self.time_embed = nn.Sequential(
nn.Linear(ch, 4*ch),
nn.SiLU(),
nn.Linear(4*ch, 4*ch)
)
self.down_blocks = nn.ModuleList([
DownsampleBlock(in_ch, out_ch)
for in_ch, out_ch in zip([3]+ch_mult[:-1], ch_mult)
])
self.mid_block = MidBlock(ch_mult[-1])
self.up_blocks = nn.ModuleList([
UpsampleBlock(in_ch, out_ch)
for in_ch, out_ch in zip(ch_mult[::-1][:-1], ch_mult[::-1][1:])
])
self.out = nn.Conv2d(ch_mult[0], 3, kernel_size=3, padding=1)
时间步信息通过正弦位置编码后输入网络，使模型能够区分不同的噪声水平。每个DownsampleBlock包含：
- 两个ResNet块（带组归一化和SiLU激活）
- 注意力机制（在特征图分辨率较低时引入）
- 下采样卷积
中间块(MidBlock)保持分辨率不变但加深特征提取，而上采样块(UpsampleBlock)通过转置卷积逐步恢复分辨率。
3.2 训练循环的关键细节
训练过程的核心代码如下：
python复制def train_step(batch):
optimizer.zero_grad()
# 随机采样时间步
t = torch.randint(0, T, (batch.size(0),))
# 计算加噪后的图像
sqrt_alpha_bar = torch.sqrt(alpha_bar[t])[:,None,None,None]
sqrt_one_minus_alpha_bar = torch.sqrt(1 - alpha_bar[t])[:,None,None,None]
noise = torch.randn_like(batch)
x_t = sqrt_alpha_bar * batch + sqrt_one_minus_alpha_bar * noise
# 预测噪声并计算损失
pred_noise = model(x_t, t)
loss = F.mse_loss(pred_noise, noise)
loss.backward()
optimizer.step()
return loss
几个容易被忽视但至关重要的实现细节：
- 噪声调度采用余弦计划比线性计划效果更好：
python复制def cosine_beta_schedule(T, s=0.008): steps = torch.arange(T+1) f_t = torch.cos((steps/T + s)/(1 + s) * math.pi/2)**2 alphas_bar = f_t / f_t[0] betas = 1 - (alphas_bar[1:]/alphas_bar[:-1]) return torch.clip(betas, 0, 0.999) - 训练初期应将预测目标从噪声改为图像本身（x_0），待loss下降后再切换，有助于稳定训练
- 使用EMA（指数移动平均）保存模型参数能显著提高生成质量
3.3 采样过程的工程优化
原始DDPM采样需要完整运行T步（通常T=1000），这导致生成速度极慢。以下是几种实用加速技巧：
重要性采样：不是所有时间步都同等重要。通过分析噪声预测误差的分布，可以设计非均匀的时间步采样策略，在关键步骤分配更多计算资源。
子序列采样：使用stride技巧只计算部分时间步：
python复制def sample_stride(model, stride=10):
x = torch.randn(1, 3, 256, 256)
indices = list(range(0, T, stride))
for i in indices[::-1]:
t = torch.full((1,), i)
with torch.no_grad():
pred_noise = model(x, t)
alpha_t = alpha[t][:,None,None,None]
alpha_bar_t = alpha_bar[t][:,None,None,None]
beta_t = beta[t][:,None,None,None]
if i > 0:
noise = torch.randn_like(x)
else:
noise = 0
x = 1/torch.sqrt(alpha_t) * (
x - (beta_t/torch.sqrt(1-alpha_bar_t))*pred_noise
) + torch.sqrt(beta_t)*noise
return x
实验表明，使用stride=50时（仅需20步），生成质量下降不明显但速度提升50倍。
4. 超越基础：扩散模型的进阶技巧
4.1 条件生成与引导技术
无条件生成的图像虽然质量高，但缺乏可控性。引入条件信息的主要方法有：
Classifier Guidance：使用预训练的分类器p(y|x_t)提供梯度引导：
python复制def guided_sample(x_t, t, classifier, scale=5.0):
with torch.enable_grad():
x_in = x_t.detach().requires_grad_(True)
logits = classifier(x_in)
probs = F.softmax(logits, dim=-1)
loss = -torch.log(probs[target_class])
grad = torch.autograd.grad(loss, x_in)[0]
pred_noise = model(x_t, t)
pred_noise = pred_noise - scale * torch.sqrt(1-alpha_bar[t]) * grad
return pred_noise
Classifier-Free Guidance：更优雅的方案是直接训练条件模型ε_θ(x_t,t,y)，然后在推理时插值：
python复制pred_noise = (1 + w) * ε_θ(x_t,t,y) - w * ε_θ(x_t,t,∅)
其中w是引导强度，∅表示空条件。这种方法避免了额外分类器的训练，在Stable Diffusion中得到广泛应用。
4.2 潜在扩散模型（LDM）的革新
直接在像素空间操作导致计算成本高昂。LDM的创新在于：
- 使用预训练的VAE将图像压缩到潜在空间（通常64×64×4）
- 在潜在空间中应用扩散过程
- 解码器将生成的潜在变量恢复为高分辨率图像
这种架构使计算量减少约80%，同时保持生成质量。关键实现点：
python复制class LatentDiffusion(nn.Module):
def __init__(self, autoencoder, unet):
super().__init__()
self.ae = autoencoder.eval() # 冻结VAE
self.unet = unet
def train_step(self, x):
with torch.no_grad():
z = self.ae.encode(x).latent_dist.sample()
t = torch.randint(0, T, (z.size(0),))
noise = torch.randn_like(z)
z_t = self.schedule.add_noise(z, t, noise)
pred_noise = self.unet(z_t, t)
loss = F.mse_loss(pred_noise, noise)
return loss
4.3 多模态融合实践
现代扩散系统常结合其他模态信息（如文本、语义图等）。以文本到图像为例：
CLIP引导：使用对比语言-图像预训练模型对齐文本和图像特征：
python复制text_emb = clip_model.encode_text(prompt)
image_emb = clip_model.encode_image(generated_img)
loss = -torch.cosine_similarity(text_emb, image_emb)
交叉注意力机制：在U-Net的中间层插入文本条件的注意力层：
python复制class CrossAttention(nn.Module):
def __init__(self, query_dim, context_dim, heads=8):
super().__init__()
self.scale = (query_dim // heads) ** -0.5
self.to_q = nn.Linear(query_dim, query_dim)
self.to_kv = nn.Linear(context_dim, query_dim*2)
def forward(self, x, context):
q = self.to_q(x)
k, v = self.to_kv(context).chunk(2, dim=-1)
attn = torch.einsum('bqd,bkd->bqk', q, k) * self.scale
attn = attn.softmax(dim=-1)
out = torch.einsum('bqk,bkd->bqd', attn, v)
return out
这种架构允许模型根据文本描述动态调整图像生成内容，是实现DALL·E 2、Stable Diffusion等系统的核心技术。