1. Self-Attention机制在BERT中的核心作用
BERT(Bidirectional Encoder Representations from Transformers)作为自然语言处理领域的里程碑式模型,其核心创新在于双向Transformer架构的运用。而Transformer中最关键的组件就是self-attention机制。这种机制允许模型在处理每个词时,动态地关注输入序列中的所有其他词,从而捕捉丰富的上下文信息。
在传统RNN或LSTM中,信息是按顺序单向传递的,难以实现真正的双向理解。而self-attention通过计算词与词之间的注意力权重,建立了全局的关联网络。具体来说,对于序列中的每个词,self-attention会计算它与序列中所有词(包括自身)的相关性得分,然后根据这些得分加权求和得到新的表示。
注意:self-attention中的"self"强调这种注意力是在同一个输入序列内部进行的,不同于传统seq2seq模型中编码器-解码器之间的cross-attention。
1.1 Self-Attention的计算过程详解
标准的self-attention计算包含三个关键步骤:
-
线性变换:将输入嵌入X(维度为seq_len × d_model)通过三个不同的权重矩阵WQ、WK、WV分别投影到查询(Q)、键(K)和值(V)空间:
python复制Q = X @ WQ # 查询矩阵 K = X @ WK # 键矩阵 V = X @ WV # 值矩阵 -
注意力得分计算:通过点积计算查询与键的相似度,然后除以√d_k(d_k是键向量的维度)进行缩放,防止梯度消失:
python复制
scores = (Q @ K.T) / √d_k -
加权求和:对得分应用softmax归一化得到注意力权重,然后与值矩阵相乘得到最终输出:
python复制
weights = softmax(scores) output = weights @ V
在BERT-base模型中,d_model=768,通常使用12个注意力头(即h=12),因此每个头的d_k=d_v=d_m
