1. 注意力机制基础解析
注意力机制的核心思想源于人类视觉系统的选择性关注特性。当我们观察复杂场景时,大脑会本能地聚焦于关键区域而忽略次要信息。这种生物机制启发了深度学习中的注意力模型设计。
1.1 注意力计算原理
最基本的注意力计算涉及三个核心向量:查询(Query)、键(Key)和值(Value)。其数学表达为:
Attention(Q, K, V) = softmax(QK^T/√d_k)V
其中d_k是键向量的维度。这个公式实现了以下功能:
- 通过QK^T计算查询与键的相似度
- 使用√d_k进行缩放防止梯度消失
- softmax归一化得到注意力权重
- 最后加权求和值向量
实际实现时需要注意:当d_k较大时,点积结果可能变得极大,导致softmax进入梯度饱和区。这就是需要缩放因子的根本原因。
1.2 注意力类型对比
| 类型 | 计算方式 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|---|
| 点积注意力 | QK^T | 序列长度适中 | 计算简单 | 需要维度对齐 |
| 加性注意力 | v^T tanh(W_qQ + W_kK) | 长序列处理 | 更灵活 | 参数量大 |
| 自注意力 | Q=K=V | 序列内部关系 | 捕捉长程依赖 | 计算复杂度高 |
| 多头注意力 | 并行多个注意力头 | 复杂关系建模 | 多子空间表示 | 显存占用高 |
我在NLP任务中的经验是:对于短文本(如评论分类),点积注意力足够;处理长文档(如论文摘要)时,加性注意力表现更好;而Transformer架构中的多头自注意力则是通用性最强的选择。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Transformer架构深度剖析
2.1 编码器模块实现细节
标准Transformer编码器包含以下核心组件:
python复制class TransformerEncoderLayer(nn.Module):
def __init__(self, d_model, nhead, dim_feedforward=2048, dropout=0.1):
super().__init__()
self.self_attn = MultiHeadAttention(d_model, nhead) # 多头注意力
self.linear1 = nn.Linear(d_model, dim_feedforward)
self.dropout = nn.Dropout(dropout)
self.linear2 = nn.Linear(dim_feedforward, d_model)
self.norm1 = nn.Lay
