1. 注意力机制的基本概念与背景
注意力机制(Attention Mechanism)最初源于人类视觉系统的工作方式——我们不会同时处理视野中的所有信息,而是有选择性地聚焦于关键区域。这种生物启发式的设计思想在2014年被引入机器学习领域,最初用于解决机器翻译中的长距离依赖问题。
传统神经网络的固定窗口限制在自然语言处理中表现尤为明显。以循环神经网络(RNN)为例,当处理第t个词元时,隐状态h_t主要包含前t个词元的信息,距离当前位置较远的词元信息会逐渐衰减。这种架构在面对长序列时会出现两个典型问题:
- 信息瓶颈:编码器需要将整个输入序列压缩到固定维度的上下文向量中
- 遗忘效应:序列早期的重要特征可能在传递过程中丢失
注意力机制的创新之处在于,它允许模型动态地为每个输出位置分配不同的输入位置权重。具体实现包含三个关键组件:
- 查询(Query):当前需要生成输出的目标位置表示
- 键(Key):输入序列中各个位置的表示
- 值(Value):实际要加权求和的特征表示
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 注意力计算的数学原理与实现
最基础的注意力计算遵循以下流程:
2.1 计算注意力分数
给定查询向量q∈R^d和键向量k∈R^d,常用的评分函数包括:
- 点积注意力:score(q,k) = q^T k
- 缩放点积注意力:score(q,k) = q^T k / √d
- 加性注意力:score(q,k) = v^T tanh(W_q q + W_k k)
对于序列输入,我们通常计算查询与所有键的点积:
python复制scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(d_k)
2.2 注意力权重分配
通过softmax函数将分数转换为概率分布:
python复制attention_weights = F.softmax(scores, dim=-1)
2.3 上下文向量生成
加权求和值向量得到最终输出:
python复制context = torch.matmul(attention_weights, value)
这种设计带来了几个重要特性:
- 动态权重:每个输出位置可以关注输入的不同部分
- 并行计算:不同于
