1. 扩散模型知识体系概述
扩散模型作为当前生成式AI领域最前沿的技术之一，其理论体系经历了从离散到连续、从随机到确定性的演进过程。本文将深入剖析扩散模型的核心理论框架，特别聚焦于SDE（随机微分方程）视角的统一理解。
在实践层面，扩散模型已广泛应用于图像生成（如Stable Diffusion）、音频合成、分子设计等领域。理解其数学本质不仅能帮助我们更好地调参优化，还能为创新性应用奠定基础。
2. 离散视角：DDPM框架解析
2.1 基本建模思想
DDPM（Denoising Diffusion Probabilistic Models）的核心是通过马尔可夫链逐步加噪，再学习逆向去噪过程。具体而言：
-
前向过程：定义固定的加噪步骤，将数据x₀逐渐变为纯噪声x_T
math复制q(x_t|x_{t-1}) = N(x_t; √(1-β_t)x_{t-1}, β_tI)其中β_t是噪声调度参数
-
逆向过程：训练神经网络预测噪声或原始数据
math复制p_θ(x_{t-1}|x_t) = N(x_{t-1}; μ_θ(x_t,t), Σ_θ(x_t,t))
2.2 关键训练技巧
实践中发现直接预测噪声效果最佳，损失函数简化为：
math复制L = E_{t,x_0,ε}[||ε - ε_θ(x_t,t)||^2]
其中：
- t从[1,T]均匀采样
- x_t = √ᾱ_t x_0 + √(1-ᾱ_t)ε
- ᾱ_t = ∏(1-β_s)
经验提示：噪声调度β_t的选择对生成质量影响显著。线性调度简单但效果一般，余弦调度在图像生成中表现更优。
3. 连续视角：SDE统一框架
3.1 从离散到连续的转化
当时间步T→∞时，离散过程可转化为连续SDE：
math复制dx = f(x,t)dt + g(t)dw
其中：
- f(x,t)为漂移项
- g(t)为扩散项
- dw为标准布朗运动
3.2 前向与逆向SDE
Song等人证明逆向过程也是SDE：
math复制dx = [f(x,t) - g(t)^2∇log p_t(x)]dτ + g(t)dw̄
关键区别在于：
- 时间方向反转（dτ）
- 增加了得分函数修正项
- 布朗运动方向反转
3.3 概率流ODE
更惊人的是存在确定性ODE：
math复制dx = [f(x,t) - 1/2 g(t)^2∇log p_t(x)]dt
其边缘分布与SDE完全相同，但：
- 解是确定性的
- 支持精确似然计算
- 可实现可逆编码
4. 实践中的采样方法
4.1 数值求解策略
| 方法 | 类型 | 优点 | 缺点 |
|---|---|---|---|
| Euler-Maruyama | SDE | 实现简单 | 一阶精度 |
| Predictor-Corrector | 混合 | 质量较好 | 计算量大 |
| Runge-Kutta | ODE | 高阶精度 | 需计算得分导数 |
| DPM-Solver | ODE | 专为扩散设计 | 仅适用特定SDE |
4.2 加速采样技术
- 子序列采样：选择关键时间步而非全部
- 自适应步长：根据得分变化调整步长
- 隐式积分：提高数值稳定性
实测建议：对图像生成，DPM-Solver++(2M)在质量与速度间取得很好平衡；需要确定性时选用ODE求解器。
5. 前沿扩展方向
5.1 Flow Matching
通过最优传输理论构建更直的生成路径：
math复制dπ/dt = -∇·(v_tπ)
其中v_t是最优传输向量场，相比SDE：
- 训练更稳定
- 需要更少步数
- 但理论分析更复杂
5.2 条件控制技术
-
Classifier-free Guidance：
math复制ε̂ = ε_θ(x_t,t) + s·(ε_θ(x_t,t,c) - ε_θ(x_t,t))其中s为引导强度
-
ControlNet：保持原始模型权重不变，通过额外网络注入条件信息
6. 数学附录
6.1 Fokker-Planck方程推导
考虑测试函数ϕ(x)的期望变化：
math复制dE[ϕ]/dt = ∫[∇ϕ·f + 1/2 g^2∇²ϕ]p_t dx
通过散度定理可得：
math复制∂p_t/∂t = -∇·(fp_t) + 1/2 g^2∇²p_t
6.2 逆向SDE构造
要使逆向过程满足相同的边缘分布，需要：
math复制f_rev = -f + g^2∇log p_t
这一结果的直观理解：逆向过程需要抵消原漂移并增加得分修正项。
7. 工程实践建议
-
架构选择：
- U-Net仍是主流backbone
- 注意力机制对高分辨率至关重要
- 考虑使用DiT等Transformer变体
-
训练技巧：
- 采用EMA（指数移动平均）稳定训练
- 学习率与batch size协同缩放
- 对文本条件模型，CLIP嵌入效果优于原始文本
-
调试经验：
- 生成质量突然下降通常是数值不稳定导致
- 检查梯度范数可发现训练问题
- 可视化中间状态有助于诊断
在实际项目中，我发现将理论理解与实证调试结合最为有效。例如，理解SDE框架后，可以更有针对性地调整噪声调度；掌握概率流ODE特性后，能更自信地应用确定性采样。
扩散模型的数学深度既是挑战也是优势。通过SDE这一统一视角，我们不仅能实现更好的工程实践，也为未来创新奠定了坚实基础。建议读者在理解本文基础上，动手实现一个简易扩散模型（约200行PyTorch代码），将会对理论有更直观的认识。