1. Transformer模型维度解析基础
在深入探讨Transformer模型的维度细节前,我们需要先建立几个基本概念框架。Transformer模型的核心在于其独特的自注意力机制,这种机制彻底改变了传统序列建模的方式。与RNN、LSTM等循环结构不同,Transformer完全依赖注意力机制来捕捉序列中的长距离依赖关系。
1.1 输入表示与嵌入层
原始输入(无论是文本token还是图像patch)首先需要通过嵌入层转换为模型可处理的向量形式。假设我们有一个包含n个token的序列,每个token被映射为d_model维的向量(原始论文中d_model=512)。这就形成了初始的输入矩阵X ∈ ℝ^(n×d_model),其中n是序列长度,d_model是模型的主维度。
实际应用中,d_model的选择需要权衡模型容量和计算效率。较大的d_model能提高模型表现力但会增加计算开销,通常取256-1024之间的2的幂次方。
1.2 多头注意力中的维度拆分
Transformer最具创新性的设计是多头注意力机制。它将d_model维的向量拆分为h个头(论文中h=8),每个头的维度为d_k = d_model/h。这种拆分使得模型可以并行学习不同的注意力模式:
- 查询矩阵Q ∈ ℝ^(n×d_model)
- 键矩阵K ∈ ℝ^(n×d_model)
- 值矩阵V ∈ ℝ^(n×d_model)
这些矩阵被线性投影到h个头:
code复制Q_i = QW_i^Q, 其中 W_i^Q ∈ ℝ^(d_model×d_k)
K_i = KW_i^K, W_i^K ∈ ℝ^(d_model×d_k)
V_i = VW_i^V, W_i^V ∈ ℝ^(d_model×d_v)
通常设置d_k = d_v = d_model/h。以原始论文为例,当d_model=512且h=8时,每个头的维度为64。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 编码器层的维度流动
2.1 自注意力子层
自注意力计算的核心是缩放点积注意力:
code复制Attention(Q,K,V) = softmax(QK^T/√d_k)V
这里QK^T产生一个n×n的注意力分数矩阵,表示序列中每个位置对其他位置的关注程度。除以√d_k的操作是为了防止点积结果过大
