1. 注意力机制基础解析
注意力机制最初来源于人类视觉系统的工作方式——当我们观察一个复杂场景时,大脑会本能地聚焦于关键区域而忽略次要信息。2014年,Bahdanau等人首次将这一思想引入机器翻译领域,提出了经典的Seq2Seq with Attention模型。其数学本质是通过计算查询向量(Query)与键向量(Key)的相似度,得到归一化的权重分布后对值向量(Value)进行加权求和。
核心计算公式如下:
python复制Attention(Q, K, V) = softmax(QK^T/√d_k)V
其中√d_k的缩放因子用于防止点积结果过大导致softmax梯度消失。这种机制使模型能够动态调整对不同输入部分的关注程度,显著提升了长序列建模能力。
注意:实际实现时通常会采用多头注意力(Multi-Head Attention),即将Q、K、V投影到多个子空间并行计算后再拼接,这允许模型在不同表示子空间里学习多样化的关注模式。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Transformer架构深度拆解
2.1 编码器层实现细节
每个编码器层包含两个核心子层:
- 多头自注意力机制:处理输入序列时,每个位置都能关注序列中的所有位置,计算公式为:
python复制
MultiHead(Q, K, V) = Concat(head_1,...,head_h)W^O where head_i = Attention(QW_i^Q, KW_i^K, VW_i^V) - 前馈神经网络:采用两层全连接+ReLU激活,实现非线性变换:
python复制FFN(x) = max(0, xW_1 + b_1)W_2 + b_2
每个子层都配有:
- 残差连接:x + Sublayer(LayerNorm(x))
- 层归一化:稳定训练过程
- Dropout:防止过拟合
2.2 解码器关键改进
解码器在自注意力层新增:
- 掩码机制:防止当前位置关注后续位置(保证自回归特性)
python复制mask = torch.triu(torch.ones(seq_len, seq_len), diagonal=1).bool() scores.masked_fill_(m
