霍风风1. DiT论文核心思想解析
DiT（Diffusion with Transformers）这篇论文提出了一种将Transformer架构与扩散模型相结合的创新方法。我在研读这篇论文时发现，其核心突破点在于用Transformer替换了传统扩散模型中的U-Net主干网络。这种替换带来了几个显著优势：
首先，Transformer的自注意力机制能够更好地捕捉图像中的长距离依赖关系。在图像生成任务中，全局一致性往往比局部细节更难把握。传统U-Net通过下采样和上采样操作来获取多尺度特征，但这种方式在建模全局关系时存在局限。而Transformer的自注意力层可以同时关注图像的所有位置，这在处理复杂场景时尤为关键。
其次，论文提出的"patchified"输入处理方式非常巧妙。将图像分割为固定大小的patch（如16x16像素块），然后将每个patch线性投影为token，这种处理使得Transformer能够像处理自然语言一样处理视觉信息。我在复现实验时发现，patch大小对模型性能影响很大：较小的patch能保留更多细节但计算量剧增，较大的patch则可能丢失重要纹理信息。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 模型架构设计细节
2.1 Transformer模块的改进
DiT在标准Transformer基础上做了几项关键改进：
-
自适应层归一化（Adaptive Layer Norm）：在每次前向传播时，会根据当前的时间步t动态调整归一化参数。这相当于给模型提供了一个时间编码信号，使其能够区分扩散过程的不同阶段。具体实现是通过一个小型MLP网络将时间步t映射为缩放和偏移参数。
-
多头注意力机制优化：论文采用了memory-efficient的注意力实现，通过分块计算降低显存占用。我在实际部署时对比发现，这种优化能让模型在消费级GPU（如RTX 3090）上处理更高分辨率的图像。
-
位置编码创新：不同于传统的固定或可学习位置编码，DiT采用了相对位置偏置（relative position bias）。这种设计让模型能够更好地理解patch之间的空间关系，对保持生成图像的几何一致性很有帮助。
2.2 扩散过程的数学建模
DiT延续了DDPM（Denoising Diffusion Probabilistic Mo