GLM-Image：自回归与扩散混合架构在图像生成中的创新应用

1. GLM-Image的技术定位与核心创新

GLM-Image作为首个开源的工业表现级离散自回归图像生成模型，其技术定位直指当前图像生成领域的两个核心痛点：知识密集型场景的语义理解不足，以及高保真细节的生成质量瓶颈。传统扩散模型虽然在通用图像生成上表现稳定，但在需要精确语义对齐的复杂场景（如包含特定文化元素、专业术语或复杂逻辑关系的图像）中往往力不从心。而GLM-Image通过自回归+扩散解码器的混合架构，实现了语义理解与视觉细节的解耦优化。

这种架构的核心创新点在于：

• 语义与细节的双通路处理：自回归模块专注于低频语义信息的准确捕捉，扩散解码器则负责高频视觉细节的生成。这种分工使得模型在保持语义精确性的同时，不牺牲图像的真实感。
• 渐进式生成策略：在生成高分辨率图像时，先通过低分辨率token确定整体布局，再逐步细化，这种"由粗到精"的生成方式显著提升了输出的可控性。
• 语义增强的视觉token：采用semantic-VQ作为tokenizer方案，相比传统VQVAE，其token携带更多语义信息，使模型在生成过程中能更好地理解并表达复杂概念。

实际测试表明，这种架构在生成包含专业术语（如医学插图）或文化特定元素（如传统服饰纹样）的图像时，准确率比纯扩散模型提升约37%。

2. 混合架构的技术实现细节

2.1 自回归模块的设计哲学

GLM-Image的自回归部分基于GLM-4-9B-0414语言模型进行改造，这种选择绝非偶然。大型语言模型在长期训练中积累的语义理解能力，正是图像生成中最需要的底层能力。改造过程包含几个关键步骤：

1. 嵌入层改造：

   • 冻结原始文本词嵌入层，保留其语义编码能力
   • 新增视觉词嵌入层，专门处理图像patch转化而来的token
   • 输出层替换为视觉LMhead，适配图像token的预测任务

2. 位置编码创新：
   采用MRoPE（Mixed-Resolution RoPE）位置编码，这是为多分辨率训练特别设计的方案。在256px到1024px的多阶段训练中，它能保持位置关系的连续性。具体实现上，对不同分辨率的token使用不同的旋转基频，但共享相同的旋转矩阵参数。

3. 渐进生成策略：

   python复制