1. 论文背景与核心价值
《A Neural Probabilistic Language Model》(神经概率语言模型)这篇由Yoshua Bengio等学者在2003年发表的经典论文,首次提出了用神经网络建模自然语言序列概率分布的创新方法。当时主流的n-gram语言模型存在两大痛点:一是无法捕捉超出窗口长度的长距离依赖,二是遭遇维度灾难(curse of dimensionality)导致罕见序列概率估计不准。这篇论文通过神经网络学习词的低维分布式表示(distributed representation),同时解决了这两个问题。
我在复现这篇论文时发现,其核心突破在于三个关键设计:
- 将离散的one-hot词向量映射到连续的嵌入空间(embedding layer)
- 用隐藏层捕捉词序列的联合概率分布(hidden layer)
- 通过共享参数实现不同位置特征的统一表示(parameter sharing)
这种架构直接启发了后来的word2vec和深度学习NLP模型,可以说是现代神经语言模型的奠基之作。即便今天读来,文中对"分布式表示能自动学习语义相似性"的洞见依然令人惊叹——相似的词在嵌入空间会自然聚集,这个特性后来成为词向量的核心价值。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 模型架构详解
2.1 整体框架设计
论文提出的模型结构如下图所示(图示为三层前馈神经网络):
code复制输入层 -> 嵌入层 -> 隐藏层 -> 输出层
具体来说:
- 输入层:接收前n-1个词的one-hot编码,假设词表大小为V,则输入维度为(n-1)×V
- 嵌入层:通过共享矩阵C将每个词映射到d维空间,得到(n-1)×d的稠密向量
- 隐藏层:将拼接后的嵌入向量输入带tanh激活的全连接层,维度为h
- 输出层:用softmax计算下一个词的概率分布,维度回到V
关键技巧:嵌入矩阵C是所有词共享的,这意味着模型必须学会用同一组参数表示不同位置的相同词语。
2.2 数学形式化表达
给定词序列w₁...wₜ,模型要最大化对数似然:
code复制∑ log P(wₜ | wₜ₋₁,...,wₜ₋ₙ₊₁)
条件概率通过神经网络计算:
code复制P(wₜ | context) = exp(y_wₜ) /
