1. 从打字员到编辑:Mercury 2如何重构LLM推理范式
第一次用ChatGPT时,你有没有盯着屏幕等它一个字一个字往外蹦的经历?这种被称为"自回归"的生成方式,就像老式打字机——必须等前一个字母敲完才能打下一个。在2026年的今天,斯坦福团队带来的Mercury 2彻底颠覆了这个模式,其核心创新在于将图像领域的扩散模型(Diffusion Model)成功迁移到语言模型领域。
传统自回归模型(如GPT系列)生成文本时,每个token的生成都严格依赖前序token,形成串行计算瓶颈。就像装配流水线,即使增加工人(GPU)数量,产品(文本)仍然需要逐个工序完成。Mercury 2采用的扩散范式则像现代编辑部:先快速产出草稿(初始噪声文本),然后多轮并行修订(去噪过程),最终在3-5次迭代内生成高质量内容。实测显示,这种并行处理方式在NVIDIA H100集群上可实现每秒1000个token的吞吐量,是Claude 4.5 Haiku的11倍。
技术细节:语言扩散模型的关键突破在于设计了离散空间的噪声注入机制。不同于图像的像素值可以连续变化,文本token必须保持离散性。Mercury 2通过可学习的词嵌入扰动(Embedding Perturbation)和token替换概率(Token Replacement Probability)实现了这一目标,其噪声调度算法借鉴了EDM(Elucidated Diffusion Model)的改进版本。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 性能实测:速度与成本的颠覆性突破
在A100 80G GPU上的对比测试显示,当处理128k上下文长度的数学证明题时:
| 指标 | Mercury 2 | GPT-5 Mini | Claude 4.5 Haiku |
|---|---|---|---|
| 首次token延迟(ms) | 120 | 350 | 420 |
| 生成速度(tokens/s) | 1024 | 73 | 89 |
| 端到端耗时(s) | 1.7 |
