北知春1. 理解word2vec的双矩阵设计
在word2vec的Skip-gram模型中，最令人困惑的设计之一就是维护两套词向量矩阵：中心词矩阵（input vectors）和上下文词矩阵（output vectors）。我第一次实现word2vec时也不理解这种设计的必要性，直到在实际训练过程中踩了几个坑才恍然大悟。
1.1 基础模型结构回顾
Skip-gram模型的核心思想是通过中心词预测上下文词。假设我们有一个句子"I love natural language processing"，当中心词是"natural"时，模型需要预测它周围的词（如"love", "language", "processing"）。在传统实现中：
- 中心词矩阵V（通常记作W_input）存储每个词作为中心词时的向量表示
- 上下文词矩阵U（通常记作W_output）存储每个词作为上下文词时的向量表示
这两个矩阵的维度都是[词汇表大小 × 嵌入维度]，但包含完全独立的参数。例如对于一个10,000词的词汇表和300维的嵌入空间，V和U都是300×10,000的矩阵。
1.2 双矩阵的数学必要性
从数学优化角度看，双矩阵设计避免了梯度更新的冲突。考虑损失函数对中心词向量v_c和上下文词向量u_o的偏导数：
∂L/∂v_c = (σ(v_c·u_o) - 1)u_o + Σ[σ(-v_c·u_k)]u_k
∂L/∂u_o = (σ(v_c·u_o) - 1)v_c
如果使用单一矩阵，即v_c = u_c，那么更新v_c时会同时改变它作为中心词和上下文词的表示。这会导致两种角色间的优化目标相互干扰：
- 作为中心词时，我们希望v_c与正样本u_o更相似
- 作为上下文词时，u_c可能同时需要与其他中心词保持不同关系
这种角色冲突会使优化过程变得不稳定，我在早期实验中观察到单矩阵设计的收敛速度比双矩阵慢30%以上。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 负采样实现细节解析
让我们深入分析提供的负采样代码，理解双矩阵在实际训练中如何协同工作。
2.1 代码结构分解
python复制def negSamplingLossAndGradient(
centerWordVec, # v_c: 当前中心词向量
outsideWordIdx