1. 词嵌入模型:让计算机理解语言的核心技术
第一次接触词嵌入模型是在处理一个电商评论分类项目时。面对海量的用户评价,传统的文本处理方法显得力不从心——简单的词频统计无法捕捉"质量很好"和"品质极佳"之间的语义关联。直到引入词嵌入技术后,模型才开始真正"理解"这些评价背后的情感倾向。
词嵌入(Word Embedding)本质上是一种将词语映射到低维连续向量空间的技术。不同于传统的one-hot编码(每个词用一个很长的向量表示,只有对应位置为1,其余为0),词嵌入通过稠密向量(通常50-300维)捕捉词语的语义和语法特征。这种表示方式的神奇之处在于:语义相似的词在向量空间中距离相近,甚至可以通过向量运算得到"国王-男人+女人≈女王"这样的关系。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 词嵌入的核心原理与演进历程
2.1 从统计语言模型到分布式表示
早期的语言模型主要基于统计方法,如n-gram模型。这些模型虽然能捕捉一定的词语共现规律,但存在数据稀疏和维度灾难问题。2013年,Mikolov等人提出的Word2Vec突破性地采用了神经网络来学习词向量,开创了现代词嵌入技术的先河。
Word2Vec包含两种架构:
- CBOW(Continuous Bag-of-Words):通过上下文预测当前词
- Skip-gram:通过当前词预测上下文
以一个简单句子为例:"the quick brown fox jumps"。训练Skip-gram模型时,假设窗口大小为2:
- 对于中心词"brown",模型需要学习预测["the", "quick", "fox", "jumps"]
- 通过调整神经网络权重,最终得到每个词的向量表示
2.2 经典词嵌入模型对比
| 模型 | 发布时间 | 核心思想 | 优点 | 缺点 |
|---|---|---|---|---|
| Word2Vec | 2013 | 预测上下文词 | 训练快,效果好 | 无法处理多义词 |
| GloVe | 2014 | 全局词共现统计 | 利用全局信息 | 静态表示 |
| FastText | 2016 | 子词(subword)信息 | 处理未登录词 | 向量维度较高 |
| ELMo | 2018 | 上下文相关表示 | 解决多义词问题 |
