1. 为什么需要手算Attention公式?
第一次接触Transformer模型时,我被那个看似复杂的Attention公式吓到了。Q、K、V矩阵,softmax,还有那个神秘的缩放因子√d_k...直到有一天我决定亲手推导这个公式,才发现它的数学本质其实非常优雅。
Attention机制的核心思想很简单:当我们在处理一个词时,应该"注意"其他哪些词?比如在句子"The animal didn't cross the street because it was too tired"中,"it"应该更关注"animal"还是"street"?这就是Attention要解决的问题。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Attention公式的完整推导过程
2.1 从相似度到注意力权重
假设我们有两个词向量x₁和x₂,计算它们的相似度最简单的方法是点积:
code复制相似度 = x₁ · x₂
但直接使用点积有问题:当维度d_k很大时,点积结果会变得非常大,导致softmax函数的梯度变得极小(梯度消失问题)。因此需要除以√d_k来缩放:
code复制相似度 = (x₁ · x₂)/√d_k
2.2 Q,K,V矩阵的作用
在实际实现中,我们会用三个可学习的权重矩阵W_Q, W_K, W_V把输入向量x转换为Query、Key和Value:
code复制Q = xW_Q
K = xW_K
V = xW_V
为什么需要三个矩阵而不是直接使用x?因为这样模型可以学习不同的表示:
- Query:当前词想要查询什么
- Key:其他词能提供什么信息
- Value:实际要传递的信息
2.3 完整的Attention计算步骤
假设我们有一个包含两个词的句子,计算过程如下:
- 计算QK^T:
code复制[ q₁ ] [ k₁ k₂ ] = [ q₁k₁ q₁k₂ ]
[ q₂ ] [ q₂k₁ q₂k₂ ]
- 缩放并应用softmax:
code复制softmax([ q₁k₁/√d_k q₁k₂/√d_k ]) = [ α₁₁ α₁₂ ]
[ q₂k₁/√d_k q₂k₂/√d_k ] [ α₂₁ α₂₂ ]
- 乘以V得到最终输出:
code复制[ α₁₁ α₁₂ ] [ v₁
