1. 从NLP到CV:Transformer的跨界革命
2017年,Transformer架构在自然语言处理领域掀起了一场革命。但谁曾想到,这个为序列数据设计的模型会在三年后彻底改变计算机视觉的格局?Vision Transformer(ViT)的诞生,标志着深度学习领域的一次重大范式转移。
传统卷积神经网络(CNN)在图像处理领域统治了近十年。其核心思想是通过局部感受野逐步提取特征——就像用放大镜一寸寸检查画布。而ViT采用完全不同的思路:将图像拆分为16x16的像素块(patch),把这些patch视为类似NLP中的token序列,然后直接用Transformer处理。
这种看似简单的转变带来了三个根本性突破:
- 全局注意力机制:每个patch都能直接关注图像任意位置,克服了CNN必须通过堆叠卷积层才能建立远距离关联的局限
- 并行处理能力:Transformer的自注意力机制天然适合并行计算,大幅提升了训练效率
- 统一架构:NLP和CV任务可以使用相同的基础模型,为多模态学习铺平道路
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. ViT的核心架构解析
2.1 图像分块与线性嵌入
ViT处理图像的第一步是将输入图像分割为固定大小的patch。以224x224的输入图像为例:
- 使用16x16的patch大小 → 得到(224/16)²=196个patch
- 每个patch展平为16x16x3=768维向量(RGB三通道)
- 通过可学习的线性投影(D=768)将每个patch映射到模型维度
这个过程可以用公式表示:
$$
z_0 = [x_{class}; x_p^1E; x_p^2E; ...; x_p^NE] + E_{pos}
$$
其中E是patch嵌入矩阵,$E_{pos}$是位置编码。
2.2 位置编码的创新
与CNN不同,ViT需要显式编码空间信息。原始论文尝试了多种位置编码方案:
- 标准可学习1D位置编码
- 2D位置编码(行列分别编码)
- 相对位置编码
实验表明,简单的1D编码在ImageNet上表现足够好,这暗示Transformer能够从序列顺序中学习2D空间关系。
2.3 Transformer编码器细节
ViT的编码器由L个相同的层堆叠而成,每层包含:
- *多头自注意力
