Mercury 2：扩散模型如何革新文本生成技术

1. Mercury 2：扩散模型如何颠覆传统自回归范式

在语言模型领域，速度与质量的平衡一直是核心难题。传统自回归模型（如GPT系列）采用顺序生成方式，就像老式打字机逐个字符输出，导致延迟随输出长度线性增长。而Mercury 2的创新在于将扩散模型（Diffusion Model）成功应用于文本生成，实现了并行化处理。

扩散模型最初在图像生成领域大放异彩（如Stable Diffusion），其核心思想是通过"去噪"过程逐步生成内容。Mercury 2团队创新性地将这一机制迁移到离散的文本领域，开发了Score Entropy Discrete Diffusion（SEDD）技术。具体实现上：

1. 前向过程：在训练阶段，模型学习如何逐步向文本数据添加噪声
2. 反向过程：生成时，模型从随机噪声开始，通过多轮迭代"去噪"生成连贯文本
3. 并行优化：不同于自回归的串行生成，扩散模型可以同时处理所有位置的token

这种机制带来了两个关键优势：

• 延迟与长度解耦：生成100个token和1000个token的时间差异极小
• 全局一致性：模型能在生成初期就把握整体语义框架，避免自回归模型常见的"遗忘开头"问题

2. 核心技术解析：SEDD如何突破离散数据限制

将扩散模型应用于文本面临的核心挑战是：图像数据是连续的像素值，而文本由离散的token组成。Inception Labs团队通过以下创新解决了这一难题：

2.1 分数熵离散扩散模型（SEDD）

传统扩散模型依赖连续空间的分数匹配（score matching），SEDD创新性地提出了：

• 离散分数匹配：直接在token空间定义和优化分数函数
• 熵正则化：引入信息熵约束，防止生成过程陷入局部最优
• 动态温度调度：自适应调整生成过程的"创造性"与"确定性"

技术细节上，SEDD的损失函数可表示为：

L(θ) = E[||sθ(x_t,t) - ∇log p(x_t)||²] + λH(pθ)

其中第一项是离散分数匹配项，第二项是熵正则项。这种设计使得模型在保持生成质量的同时，能高效处理离散token序列。

2.2 两阶段生成架构

Mercury 2实际采用了两阶段生成流程：

1. **草稿生