1. Word2vec:词向量技术的革命性突破
2013年Google发布的Word2vec工具彻底改变了自然语言处理领域对词汇表示的方式。作为一名长期从事NLP开发的工程师,我至今还记得第一次看到词向量空间可视化时的震撼——语义相近的词在向量空间中自然地聚集成簇,甚至能完成"国王-男人+女人≈女王"这样的向量运算。
传统NLP处理文本时面临的根本困境在于:计算机本质上只能处理数字,而我们需要将人类语言中的词汇转化为数值表示。早期的独热编码(One-hot Encoding)虽然简单直接,但存在两个致命缺陷:
- 维度灾难:假设词汇表有10万个词,每个词就需要用10万维的稀疏向量表示
- 语义缺失:"苹果"和"香蕉"的向量点积为零,无法反映它们都是水果的语义关系
Word2vec的创新之处在于,它通过浅层神经网络模型,将词汇映射到200-300维的稠密向量空间(称为词嵌入),使得:
- 语义相似的词具有相近的向量表示
- 词向量之间可以进行有意义的线性运算
- 大大降低了特征空间的维度
在实际项目中,我们通常使用预训练的Word2vec模型作为下游任务(如文本分类、情感分析)的特征输入,或者在自己的领域语料上重新训练词向量。根据我的经验,即使是中等规模的数据集(如百万级文本),训练出的词向量也能显著提升模型性能。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. CBOW与Skip-gram:双生子模型解析
2.1 CBOW模型原理与实现
CBOW(Continuous Bag-of-Words)模型的核心思想是"通过上下文预测中心词"。想象你在玩一个填空游戏:给定句子"猫坐在___上",你需要预测空白处最可能是哪个词(如"地板"、"沙发")。这就是CBOW在做的事情。
从技术实现角度看,CBOW的神经网络结构包含三层:
- 输入层:上下文词的one-hot向量(假设窗口大小为2,则共4个词)
- 隐藏层:所有上下文词向量的平均值(维度通常设为300)
- 输出层:通过softmax计算词汇表中每个词作为中心词的概率
具体计算公式为:
code复制h = (W^T(x1 + x2 + x3 + x4))/4
P(w|context) = softmax(h^T w')
其中W是输入权重矩阵,w'是输出权重矩阵。
在实际应用中,CBOW有几个显著特点:
