笨zhu1. 词向量技术发展概述
2013年对自然语言处理领域而言是个分水岭。当时还在斯坦福读博士的Tomas Mikolov发表了一篇名为《Efficient Estimation of Word Representations in Vector Space》的论文，提出了Word2vec模型。这个看似简单的神经网络结构，却彻底改变了文本表示的方式——它让每个单词都能用一个稠密向量来表示，而这些向量竟然能捕捉到"国王-男人+女人≈女王"这样的语义关系。
我在第一次复现Word2vec时就遇到了维度选择的困惑。当时在200维和300维之间反复测试，最终发现300维的向量在语义类比任务上准确率比200维高出7%，但继续增加到500维时提升却不到1%。这种非线性变化让我意识到，词向量维度与语义表达能力之间并非简单的正比关系。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Word2vec核心技术解析
2.1 两种训练架构对比
Word2vec提供了CBOW和Skip-gram两种训练方式，它们的区别就像填词游戏的正反两面：
-
CBOW（连续词袋模型）相当于给你上下文单词（如"猫 在 沙发 上"），让你猜中间缺失的"抓"字。它的训练速度更快，对高频词处理更好。我在处理新闻语料时，CBOW比Skip-gram快约1.8倍。
-
Skip-gram则相反，给你中心词预测上下文。它更适合处理稀有词，在小规模数据集上表现更优。当我的语料只有100MB时，Skip-gram的MR（语义相关性）指标比CBOW高12%。
实际应用建议：语料大于500MB用CBOW，小于200MB用Skip-gram，中间状态可以两种都试试
2.2 负采样与层次Softmax
原始的Softmax计算在整个词汇表上进行，当词汇量达到百万级时，计算成本会变得难以承受。Word2vec通过两种技术解决这个问题：
-
层次Softmax：将词汇表组织成霍夫曼树，把复杂度从O(V)降到O(logV)。我在200万词汇的维基百科数据上测试，训练速度提升了17倍。
-
负采样：只更新正样本和少量负样本的权重。通常5-20个负样本就能取得不错效果。有个容易踩的坑是负样本采样率设置——我建议对高频词采用subsampling（如设置阈值10^-5），否则模型会过度关注"的"、"是"这类词。