Mu Tian1. 旋转位置编码（RoPE）技术解析
在自然语言处理领域，Transformer架构已成为主流模型的基础。然而，标准的自注意力机制存在一个关键缺陷：它无法直接感知输入序列中词元的顺序信息。旋转位置编码（Rotary Position Embedding，RoPE）作为一种创新的位置编码方案，通过将绝对位置信息以旋转矩阵的形式融入查询和键向量，巧妙地解决了这一问题。
1.1 位置编码的必要性
自注意力机制的核心计算可以表示为：
$$
\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V
$$
这个公式存在一个根本性问题：交换任意两个键值对的位置不会改变最终的输出结果。举例来说，对于序列"我吃苹果"和"苹果吃我"，模型无法区分两者的语义差异，因为自注意力计算具有排列不变性。
1.1.1 位置编码的演进历程
传统的位置编码方案主要分为三类：
-
绝对位置编码：
- 学习式嵌入（如BERT）：直接为每个位置学习一个嵌入向量
- 正弦式编码（原版Transformer）：使用预定义的正弦函数生成位置编码
-
相对位置编码：
- 在注意力得分中加入与位置偏移相关的偏置项
- 典型代表：T5的相对位置偏置
-
旋转位置编码（RoPE）：
- 通过旋转矩阵将位置信息融入查询和键向量
- 目前被LLaMA、Qwen等主流大模型采用
1.2 RoPE的核心思想
RoPE的创新之处在于，它不再简单地将位置编码加到词嵌入上，而是通过旋转矩阵对查询和键向量进行变换。具体来说：
- 对于位置$m$的查询向量$q_m$，应用旋转矩阵$R(mθ)$
- 对于位置$n$的键向量$k_n$，应用旋转矩阵$R(nθ)$
这样处理后，注意力得分计算满足：
$$
\langle R(mθ)q, R(nθ)k \rangle = \langle q, R(nθ-mθ)k \rangle
$$
这意味着注意力得分仅依赖于相对位置$(n-m)$，而非绝对位置。这种设计既保留了绝对位置编码的实现简单性，又获得了相对位置编码的表达能力。