1. 静态词嵌入的起源与核心思想
2013年Word2Vec的横空出世,彻底改变了自然语言处理的游戏规则。作为一名长期从事NLP研究的从业者,我至今还记得第一次看到"国王-男人+女人≈女王"这个语义算术时的震撼。这种将词语映射到连续向量空间的方法,让计算机第一次真正"理解"了词语之间的语义关系。
静态词嵌入的核心思想其实很简单:基于"分布假说",即一个词的语义可以由它经常出现的上下文决定。通过在大规模语料上训练,每个词被表示为一个固定长度的实数向量(通常是50-300维)。语义相近的词在向量空间中距离较近,比如"猫"和"狗"的向量相似度会高于"猫"和"汽车"。
技术细节:Word2Vec有两种训练方式:
- Skip-gram:用中心词预测周围词
- CBOW:用周围词预测中心词
两者都使用负采样来优化训练效率
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 静态词嵌入的致命缺陷:上下文独立性
2.1 多义词的灾难性混淆
在实际项目中,我发现静态词嵌入最严重的问题就是无法处理多义词。记得有一次做情感分析项目时,系统把"这个苹果很甜"和"苹果发布了新手机"中的"苹果"完全等同对待,导致分类结果一团糟。
这是因为静态词嵌入为每个词分配唯一的向量表示。以GloVe模型为例,"bank"这个词的向量是训练语料中所有"bank"出现实例的平均:
- 金融银行语境:"去bank取钱"
- 河岸语境:"坐在bank钓鱼"
- 数据存储语境:"blood bank"
这些完全不同含义被迫共享同一个向量表示,结果就是得到一个语义模糊的"四不像"。
2.2 定量分析:多义词的向量质量
我们做过一个实验,用余弦相似度比较多义词与不同语境下相关词的相似性:
| 目标词 | 语境相关词 | 相似度 |
|---|---|---|
| bank | money | 0.51 |
| bank | river | 0.49 |
| bank | blood | 0.32 |
可以看到,静态向量与各语境的相关词相似度都很平庸,没有明显的区分度。相比之下,人类可以轻松区分这些不同含义。
3. 静态词嵌入的其他重要局限
3.1 未登录词问题
在真实业务场景中,新词
