1. 从矩阵乘法到注意力机制:QKV的数学本质
在Transformer架构中,QKV(Query-Key-Value)机制是自注意力计算的核心组件。要真正理解其工作原理,我们需要从最基础的线性代数操作开始拆解。
1.1 向量空间的投影变换
假设我们有一个包含n个词的输入序列,每个词用d维向量表示,那么整个输入可以表示为矩阵X ∈ R^(n×d)。QKV机制首先通过三个独立的线性变换将X投影到不同的子空间:
python复制Q = XW_Q # Query矩阵
K = XW_K # Key矩阵
V = XW_V # Value矩阵
其中W_Q, W_K, W_V ∈ R^(d×d_k)是可学习的参数矩阵。这三个变换的本质是将原始输入映射到不同的语义空间:
- Query空间:表示当前词"想要寻找什么"
- Key空间:表示每个词"可以提供什么"
- Value空间:表示每个词"实际携带的信息"
关键理解:这里的矩阵乘法不是简单的维度变换,而是为同一组输入数据赋予三种不同的角色视角。
1.2 注意力得分的几何解释
计算注意力权重时使用的点积操作:
python复制attention_scores = QK^T / sqrt(d_k)
从几何角度看,这实际上是计算Query向量和Key向量之间的余弦相似度(经过缩放)。两个向量的点积越大,说明它们在语义空间中的方向越接近,相关性越强。
1.3 概率分布的物理意义
对注意力得分进行softmax归一化:
python复制attention_weights = softmax(attention_scores)
这一步将实数域得分转换为概率分布,具有两个重要特性:
- 非负性:保证注意力权重都是正数
- 归一性:所有位置的权重和为1,形成加权平均
这种设计使得模型可以动态决定"关注多少"和"忽略多少",而不是像RNN那样强制处理所有输入。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. QKV三者的角色分工与协同机制
2.1 Query的角色解析
Query向量代表当前处理位置的信息需求。例如在机器翻译中,当解码器处理"苹果"这个词时:
- 对应的Query会编码"我需要寻找与水果相关的信息"
- 这个需求会与编码器所有位置的Ke
