1. 词嵌入与位置编码的本质差异
词嵌入(Word Embedding)和位置编码(Positional Encoding)是自然语言处理中两个看似相似却本质不同的概念。词嵌入负责将离散的词语映射到连续的向量空间,而位置编码则用于保留序列中词语的顺序信息。这两者在Transformer架构中扮演着互补角色:词嵌入解决"是什么"的问题,位置编码解决"在哪里"的问题。
1.1 词嵌入的核心原理
词嵌入技术的核心是将高维稀疏的one-hot表示转换为低维稠密的向量表示。以Word2Vec为例,通过Skip-gram或CBOW模型训练后,"king"的向量表示可能接近于"queen"的向量,但与"apple"的向量相距较远。这种分布式表示能够捕捉词语之间的语义和语法关系。
关键点:好的词嵌入应该使语义相近的词在向量空间中距离相近,这种特性被称为"几何平移性"——例如"king - man + woman ≈ queen"
1.2 位置编码的数学基础
位置编码采用正弦余弦函数生成确定性的位置信息:
PE(pos,2i) = sin(pos/10000^(2i/d_model))
PE(pos,2i+1) = cos(pos/10000^(2i/d_model))
这种设计具有三个优势:
- 可以表示任意长度的序列
- 相邻位置的编码具有线性关系,便于模型学习相对位置
- 不同维度的波长形成几何级数,能同时捕获短期和长期依赖关系
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 主流实现方案对比
2.1 词嵌入的典型实现
python复制# PyTorch实现示例
embedding = nn.Embedding(vocab_size, embedding_dim)
# 预训练加载
pretrained_embeddings = torch.from_numpy(load_glove_vectors())
embedding.weight.data.copy_(pretrained_embeddings)
常见预训练词向量对比:
| 类型 | 维度 | 训练语料 | 特点 |
|---|
