1. 离散扩散模型的核心挑战与突破
在自然语言处理领域,生成模型长期被自回归方法主导。这类模型通过顺序预测token的方式生成文本,虽然效果显著但存在三个根本性缺陷:采样速度受限于序列长度、难以实现灵活的生成控制(如文本填充)、以及需要复杂的退火技术来保证生成质量。扩散模型在连续数据领域(如图像生成)取得巨大成功后,研究者们自然希望将其优势迁移到离散数据领域,但传统方法面临两大技术瓶颈:
首先,连续扩散依赖的分数匹配理论(score matching)在离散空间无法直接应用。连续空间的梯度概念(∇ₓlog pₜ)在离散域没有对应物,必须寻找新的数学工具。现有尝试要么采用迂回的均值预测方法(类似DDPM),导致训练目标模糊;要么使用比率匹配(ratio matching),但面临计算复杂度爆炸的问题。
其次,离散扩散的逆转过程缺乏有效的参数化方法。连续扩散可以通过神经网络直接预测分数函数,而离散扩散需要建模所有可能状态转移的概率比值(pₜ(y)/pₜ(x))。传统ℓ²损失函数无法保证比值的正定性,导致训练不稳定。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 分数熵:离散扩散的理论基础
2.1 核心数学构造
我们提出分数熵(Score Entropy)作为离散空间的分数匹配替代方案。给定离散状态空间𝒳={1,...,N},定义具体分数(concrete score)为概率比值向量:
sₜ(x) = [pₜ(y)/pₜ(x)]_{y≠x} ∈ ℝ^
分数熵损失函数采用Bregman散度形式:
L_SE = 𝔼ₓ∼pₜ[∑_{y≠x} (sθ(x)ᵧ - (pₜ(y)/pₜ(x))·log sθ(x)ᵧ + K(pₜ(y)/pₜ(x)))]
其中K(a)=a(log a-1)为归一化项。这个设计具有三个关键特性:
- 正定性保证:对数项天然约束sθ(x)ᵧ>0
- 梯度重缩放:梯度信号按1/sθ(x)ᵧ缩放,避免小比值时的梯度爆炸
- 最优解一致性:当sθ(x)ᵧ→pₜ(y)/pₜ(x)时损失趋近于0
2.2 可扩展的训练方案
直接优化分数熵需要计算所有状态对的比值,对于语言模型(N=50257)显然不可行。我们通过两种技术突破这一限制:
结构化转移矩阵:采用分块对角矩阵Q=diag(Q₁,...,Q_d),每个子矩阵Qᵢ∈ℝ^
