1. 词嵌入的本质:用数学空间定位词语含义
当我们在键盘上敲下"苹果"这个词时,人类能瞬间联想到红彤彤的水果或科技巨头的Logo,但对计算机而言,它看到的只是两个冷冰冰的汉字编码。词嵌入技术正是架起这道语义鸿沟的数学桥梁——它将离散的符号转化为连续空间中的坐标点,让机器能够量化处理词语之间的微妙关系。
1.1 从独热编码到分布式表示
传统NLP使用独热编码(one-hot encoding)表示词语,就像给每个词分配唯一的座位号。"国王"可能是[1,0,0,0],"女王"是[0,1,0,0]。这种表示法存在两个致命缺陷:维度灾难(词汇量越大维度越高)和语义盲区(无法体现"国王"与"女王"的关联)。而词嵌入采用分布式表示,用密集的低维向量承载语义信息,例如:
- "国王" = [0.95, 0.81, -0.23, ...]
- "女王" = [0.93, 0.79, 0.12, ...]
- "苹果" = [0.42, -0.65, 0.38, ...]
每个维度不再是简单的存在标志,而是编码了潜在的语义特征。通过余弦相似度计算,我们可以发现vec("国王")与vec("女王")的相似度(约0.98)远高于vec("国王")与vec("苹果")的相似度(约0.21),这与人类的语义直觉高度吻合。
1.2 向量运算中的语义代数
词嵌入最神奇的特性是支持线性运算。以经典的"国王-男人+女人≈女王"为例:
code复制vec("国王") - vec("男人") + vec("女人")
= [0.95,0.81,-0.23] - [0.32,0.45,0.67] + [0.28,0.52,0.71]
= [0.91,0.88,0.19]
≈ vec("女王")(实际值[0.93,0.79,0.12])
误差主要来自性别维度(第二维)的细微差异。这种特性源于词向量空间的几何结构——语义关系表现为向量间的恒定位移。类似地:
- 首都关系:vec("巴黎")-vec("法国")+vec("德国")≈vec("柏林")
- 动词时态:vec("swim")-vec("swimming")+vec("running")≈vec("run")
提示:实际应用中建议使用余弦相似度而非欧氏距离评估词向量关系,因为前者对向量长度不敏感,更聚焦
