1. 从零理解词嵌入:让计算机读懂人类语言
第一次接触词嵌入概念时,我正尝试用Python处理中文文本分类任务。当时发现直接把文字扔给机器学习模型根本行不通——计算机无法理解"苹果"和"香蕉"都是水果,就像不懂"快乐"和"高兴"是近义词。这正是词嵌入要解决的核心问题:如何把人类语言转化为计算机能处理的数学表示。
1.1 词嵌入的本质与工作原理
词嵌入(Word Embedding)的本质是将离散的符号(单词、字符等)映射到连续的向量空间中。举个例子,当我们用三维空间表示"人"和"狗"这两个概念时:
python复制human = [0.98, 0.01, 0.05] # 人
dog = [0.05, 0.92, 0.03] # 狗
这里的每个数字代表该词在某个语义维度上的强度。第一维可能表示"人类属性",第二维表示"动物属性",第三维可能是"移动方式"。通过这种表示,计算机就能进行量化比较——比如计算余弦相似度:
python复制import numpy as np
from numpy.linalg import norm
cos_sim = np.dot(human, dog)/(norm(human)*norm(dog))
print(f"人与狗的语义相似度: {cos_sim:.2f}") # 输出约0.07
实际应用中,词嵌入维度通常在50-300之间。Google的Word2Vec常用300维,GloVe常用50/100/200/300维,BERT-base则是768维。维度越高,表达能力越强,但也需要更多计算资源。
1.2 词嵌入的训练过程揭秘
词嵌入不是人工设计的,而是通过神经网络从海量文本中自动学习得到的。以经典的Skip-gram模型为例:
- 构建训练数据:取文本中每个词作为中心词,周围±2个词作为上下文
- 设计网络结构:
- 输入层:one-hot编码的单词(维度=词汇表大小V)
- 隐藏层:无激活函数的全连接层(权重矩阵就是词嵌入矩阵)
- 输出层:softmax预测上下文词
- 优化目标:最大化正确上下文词的概率
python复制# 简化版的Skip-gram实现
import torch
import torch.nn as nn
class SkipGram(nn.Module):
def __init__(self, vocab_size, embed_dim):
super().__init__()
self.in_embed = nn.Embedding(vocab_size, embed_dim) # 输入词嵌入
self.out_embed = nn.Embedding(vocab_size, embed_dim) # 输出词嵌入
def forward(self, target, context):
in_vec = self.in_embed(target) # (batch, embed_dim)
out_vec = self.out_embed(context) # (batch, embed_dim)
scores = torch.matmul(in_vec, out_vec.t()) # (batch, batch)
return scores
训练完成后,in_embed就是我们需要的词嵌入矩阵。有趣的是,这种训练方式会让语义相似的词自动聚集在一起,甚至能捕捉到"国王-男+女≈女王"这样的语义关系。
1.3 主流词嵌入方法对比
| 方法 | 发布年份 | 核心思想 | 优点 | 缺点 |
|---|---|---|---|---|
| Word2Vec | 2013 | 预测上下文词 | 训练快、效果好 | 无法处理一词多义 |
| GloVe | 2014 | 基于全局词共现统计 | 利用全局信息 | 静态表示 |
| FastText | 2016 | 加入子词信息 | 能处理未登录词 | 内存消 |
