1. 从向量到矩阵:自注意力机制的数学基础
2014年是深度学习发展史上的关键转折点,当大多数研究者还在研究循环神经网络(RNN)时,一篇名为《Neural Machine Translation by Jointly Learning to Align and Translate》的论文悄然埋下了Transformer架构的种子。这个后来被称为"自注意力"的机制,本质上是一套精妙的向量矩阵运算体系。
在传统RNN中,每个时间步只能处理一个词向量,信息通过隐藏状态依次传递。而自注意力机制的革命性在于,它允许模型同时看到输入序列的所有位置,通过矩阵运算一次性完成全局关系建模。这种并行性不仅大幅提升了训练效率,更突破了RNN的长程依赖瓶颈。
关键突破:将序列建模问题转化为可并行计算的矩阵运算,这是GPU时代深度学习的必然选择。单个A100 GPU的矩阵乘法吞吐量可达312 TFLOPS,而相同硬件上RNN的串行计算可能连1%的利用率都难以达到。
1.1 向量点积的语义魔力
自注意力的核心计算是缩放点积注意力(Scaled Dot-Product Attention),其数学表达式为:
python复制Attention(Q, K, V) = softmax(QK^T/√d_k)V
这里Q(Query)、K(Key)、V(Value)都是输入向量的线性变换。点积QK^T的物理意义在于:两个向量的点积结果越大,说明它们在语义空间中的方向越接近。例如:
- "猫"和"狗"的词向量点积可能为0.8
- "猫"和"汽车"的点积可能只有0.1
- 完全无关的词对点积趋近于0
通过softmax归一化,我们得到一组注意力权重,这些权重决定了每个位置对当前词的理解应该贡献多少信息。√d_k的缩放是为了防止点积结果过大导致softmax进入梯度饱和区。
1.2 矩阵运算的并行之美
将上述向量计算扩展为矩阵形式,才是自注意力真正的威力所在。假设输入序列有n个词,每个词向量维度为d,则:
- 将整个输入序列打包为X ∈ ℝ^(n×d)矩阵
- 通过可学习的权重矩阵W_Q, W_K, W_V ∈ ℝ^(d×d_k)计算Q,K,V
- 注意力得分矩阵A = softmax(QK^T/√d_k) ∈ ℝ^(n×n)
- 输出矩阵
