1. 从物理现象到生成模型:Diffusion的跨学科演进
Diffusion最初是物理学中描述物质从高浓度区域向低浓度区域自发迁移的现象。1827年,植物学家罗伯特·布朗在显微镜下观察到悬浮颗粒的无规则运动,为后来的布朗运动理论奠定了基础。1905年,爱因斯坦发表了关于布朗运动的定量理论,建立了扩散系数与粒子迁移率之间的数学关系(即著名的爱因斯坦关系式):
D = μk_BT
其中D是扩散系数,μ是迁移率,k_B是玻尔兹曼常数,T是绝对温度。这个公式揭示了微观粒子运动与宏观扩散现象之间的联系,成为统计力学的重要里程碑。
在化学领域,阿道夫·菲克于1855年提出了描述扩散过程的菲克定律。第一定律指出扩散通量与浓度梯度成正比:
J = -D∇φ
其中J是扩散通量,D是扩散系数,∇φ是浓度梯度。第二定律则描述了浓度随时间的变化:
∂φ/∂t = D∇²φ
这些方程不仅在传统化工领域有广泛应用,在半导体制造中的掺杂工艺、药物缓释系统设计等方面也发挥着关键作用。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 随机过程与概率建模:Diffusion的理论框架演进
20世纪中叶,随着随机过程理论的发展,数学家伊藤清和斯特拉托诺维奇分别提出了随机微分方程的两种积分形式,为扩散过程提供了严格的数学描述。伊藤引理将经典微积分扩展到随机过程,使得我们可以用微分方程描述带有随机扰动的扩散系统:
dX_t = μ(X_t,t)dt + σ(X_t,t)dW_t
其中W_t是维纳过程(布朗运动),μ是漂移系数,σ是扩散系数。这套理论为后来扩散模型的概率建模奠定了基础。
在计算机科学领域,1995年提出的Metropolis-adjusted Langevin算法(MALA)将扩散过程与马尔可夫链蒙特卡洛(MCMC)采样相结合,通过引入朗之万动力学实现了更高效的采样:
θ_{t+1} = θ_t + (ε²/2)∇log p(θ_t) + εz_t
其中ε是步长,z_t是高斯噪声。这种方法显著提升了高维空间中的采样效率,为后来的扩散概率模型提供了重要启示。
3. 现代扩散模型:从去噪到创造
2015年,Jascha Sohl-Dickstein等人首次将扩散过程引入生成模型领域,提出了扩散概率模型的基本框架。其核心思想是通过正向扩散过程逐渐破坏数据分布,再学习反向过程以恢复数据:
