1. Word2Vec技术概述
Word2Vec是2013年由谷歌研究团队提出的一种词向量表示方法,它通过神经网络模型将词语映射到低维连续向量空间,使得语义相似的词语在向量空间中距离相近。这项技术彻底改变了自然语言处理领域对词语表示的传统方式。
提示:Word2Vec的核心思想是"分布假说"——出现在相似上下文中的词语往往具有相似的语义。
1.1 传统词表示方法的局限
在Word2Vec出现之前,NLP领域主要使用以下几种词表示方法:
-
One-hot编码:
- 每个词用一个长度为词汇表大小的向量表示
- 该词对应位置为1,其余位置为0
- 缺点:维度灾难、无法表达语义关系
-
TF-IDF:
- 基于词频和逆文档频率的统计方法
- 可以反映词的重要性但无法捕捉语义
-
共现矩阵:
- 统计词语在固定窗口内的共现频率
- 维度仍然很高且稀疏
这些方法都无法有效解决"语义鸿沟"问题——即无法量化表示词语之间的语义关系。
1.2 Word2Vec的核心突破
Word2Vec通过两种神经网络模型实现了词语的分布式表示:
-
**CBOW(Continuous Bag-of-Words)**模型:
- 通过上下文预测当前词
- 适合小型数据集和频繁词
- 训练速度较快
-
Skip-gram模型:
- 通过当前词预测上下文
- 适合大型数据集和稀有词
- 能更好地处理低频词
两种模型都采用浅层神经网络结构(通常只有输入层、隐藏层和输出层),通过无监督学习从大规模文本中自动提取语义信息。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Word2Vec的技术实现细节
2.1 模型架构详解
2.1.1 输入层处理
Word2Vec的输入层采用one-hot编码表示词语。例如,在一个包含10000个词的词汇表中,每个词被表示为一个10000维的向量,其中只有对应词的位置为1,其余为0。
2.1.2 隐藏层设计
隐藏层通常有100-300个神经元,这个维度就是最终词向量的维度。从输入层到隐藏层的权重矩阵就是我们要学习的词向量矩阵。
注意:隐藏层没有激活函数,直接进行线性变换。
