1. 语言模型的任务定义与核心价值
在自然语言处理领域,语言模型(Language Model, LM)扮演着基础而关键的角色。它的核心任务是计算一个词序列作为自然语言出现的概率。用数学语言表达,给定一个由词w₁,w₂,...,wₙ构成的句子S,语言模型需要估计联合概率P(w₁,w₂,...,wₙ)。
这个看似简单的任务背后蕴含着深刻的语言学意义。通过概率链式法则,我们可以将这个联合概率分解为一系列条件概率的乘积:
P(w₁,w₂,...,wₙ) = P(w₁) × P(w₂|w₁) × P(w₃|w₁,w₂) × ... × P(wₙ|w₁,...,wₙ₋₁)
这种分解方式揭示了语言模型的核心挑战:如何准确估计给定历史上下文时下一个词出现的条件概率P(wₖ|w₁,...,wₖ₋₁)。这个问题的解决直接关系到语言模型在各种NLP任务中的应用效果。
提示:在实际应用中,语言模型的概率估计质量直接影响下游任务的性能。一个优秀的语言模型应该能够准确捕捉语言的统计规律和语义关系。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 统计语言模型的基石:n-gram及其平滑技术
2.1 n-gram模型的基本原理
n-gram模型是早期统计语言模型的核心方法。它基于马尔可夫假设,即当前词出现的概率仅依赖于前面有限个词。具体来说,n-gram模型假设:
P(wₖ|w₁,...,wₖ₋₁) ≈ P(wₖ|wₖ₋ₙ₊₁,...,wₖ₋₁)
根据n的取值不同,我们有以下常见模型:
- unigram (n=1):词独立出现
- bigram (n=2):当前词依赖前一个词
- trigram (n=3):当前词依赖前两个词
以bigram为例,句子概率可近似为:
P(w₁,w₂,...,wₙ) ≈ ∏ₖ₌₁ⁿ P(wₖ|wₖ₋₁)
2.2 参数估计与数据稀疏问题
n-gram模型的参数通常通过极大似然估计(MLE)获得:
P(wᵢ|wᵢ₋ₙ₊₁,...,wᵢ₋₁) = count(wᵢ₋ₙ₊₁,...,wᵢ) / count(wᵢ₋ₙ₊₁,...,wᵢ₋₁)
然而,这种方法面临严重的数据稀疏问题。即使在大规模语料上训练,绝大多数可能的n-gram组合仍然不会出现,导致零概率问题。
2.3 平滑技术详解
为了解决数据稀疏问题,研究者提出了多种平滑技术:
1
