1. 大模型如何理解人类语言:句子层面的解码
当我们把单词喂给大模型时,这些离散的符号就像散落的乐高积木。而真正让大模型展现出理解能力的,是它如何将这些积木组装成有意义的句子结构。这背后的魔法主要来自Transformer架构中的几个核心设计。
1.1 位置编码:给词语装上GPS
传统神经网络处理文本时就像把句子扔进搅拌机——词语顺序信息完全丢失。2017年Transformer论文提出的位置编码(positional encoding)完美解决了这个问题。
我做过一个对比实验:同样的"狗咬人"和"人咬狗"输入给没有位置编码的模型时,两者的处理结果几乎相同。而加入位置编码后,模型就能准确捕捉到语义的截然不同。
目前主流的位置编码实现方式有两种:
python复制# 正弦波版本(原始Transformer采用)
def positional_encoding(seq_len, d_model):
position = np.arange(seq_len)[:, np.newaxis]
div_term = np.exp(np.arange(0, d_model, 2) * -(math.log(10000.0) / d_model))
pe = np.zeros((seq_len, d_model))
pe[:, 0::2] = np.sin(position * div_term)
pe[:, 1::2] = np.cos(position * div_term)
return pe
# 可学习版本(BERT等模型采用)
self.position_embeddings = nn.Embedding(max_seq_len, hidden_dim)
实际应用中发现:正弦波编码在长文本处理上表现更稳定,而可学习编码在短文本任务中更具灵活性。建议根据具体场景选择。
1.2 自注意力机制:词语间的社交网络
自注意力机制(self-attention)就像给每个单词装上了社交雷达。当处理"银行"这个词时,模型会同时关注:
- 前面的"河流"(可能指向金融机构)
- 后面的"存款"(确认金融语义)
- 远处的"利息"(强化金融语境)
这种全局关联能力远超传统的RNN序列
