1. N-gram模型的核心原理剖析
N-gram模型本质上是一个基于马尔可夫假设的概率模型。它的核心思想是:一个词的出现概率只依赖于前面有限个词。这种假设虽然简化了语言建模的复杂性,但在实际应用中却展现出惊人的效果。
举个例子,当我们看到"人工智能"这个词时,大脑会自然联想到"技术"、"发展"等后续词汇。N-gram模型正是通过量化这种联想概率来实现文本预测和分词。在中文场景下,"北京大学"作为一个完整词出现的概率,远高于"北京"和"大学"单独出现的概率乘积,这就是N-gram模型判断分词边界的关键依据。
注意:N的取值直接影响模型性能。N太小(如unigram)无法捕捉上下文,N太大(如5-gram)会导致数据稀疏问题。实践中bigram和trigram最为常用。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 中文分词的N-gram实现全流程
2.1 数据准备与预处理
中文分词的N-gram模型训练需要大规模标注语料。我推荐使用以下开源数据集:
- 人民日报语料库(约100万字)
- 微软亚洲研究院的MSR语料库
- 北京大学计算语言学研究所的PKU语料库
预处理步骤包括:
- 统一编码为UTF-8
- 去除特殊符号和HTML标签
- 将分词标注转换为统一格式(如用空格分隔)
- 按9:1划分训练集和测试集
python复制# 示例预处理代码
import re
def preprocess(text):
text = re.sub(r'<[^>]+>', '', text) # 去HTML标签
text = re.sub(r'\s+', ' ', text) # 合并空白符
return text.strip()
corpus = [preprocess(line) for line in open('raw.txt')]
2.2 N-gram统计与概率计算
以bigram为例,我们需要构建两个核心数据结构:
- unigram计数表:记录每个词的出现次数
- bigram计数表:记录词对的出现次数
概率计算公式:
$$
P(w_i|w_{i-1}) = \frac{count(w_{i-1},w_i)}{count(w_{i-1})}
$$
实际实现时需要处理零概率问题。这是我常用
