1. N-gram技术原理与文本生成实战
1.1 N-gram模型基础概念
N-gram是自然语言处理领域最基础也最实用的统计语言模型之一。它的核心思想非常简单:通过统计文本中连续出现的n个词语(或字符)的组合频率,来捕捉语言的局部规律。这种看似简单的方法,在实际应用中却展现出惊人的效果。
我第一次接触N-gram是在处理一个自动补全功能的需求时。当时需要根据用户输入的前几个词,预测下一个可能出现的词语。N-gram模型完美地解决了这个问题,而且实现起来非常直观。
N-gram模型根据n的取值不同分为几种类型:
- Unigram(1-gram):单个词语为基本单位。例如:"自然"、"语言"、"处理"
- Bigram(2-gram):两个连续词语的组合。例如:"自然 语言"、"语言 处理"
- Trigram(3-gram):三个连续词语的组合。例如:"自然 语言 处理"
在实际应用中,Bigram和Trigram最为常用。更大的n值虽然能捕捉更长的依赖关系,但会导致数据稀疏问题——很多长序列在训练数据中从未出现过。
技术细节:N-gram模型本质上是一个马尔可夫链,假设当前词的概率只依赖于前n-1个词。这种假设虽然不完全准确,但在大多数情况下已经足够好,而且大大简化了计算。
1.2 N-gram文本生成实现
让我们用Python实现一个基础的N-gram文本生成器。我将以莎士比亚的经典独白作为训练数据,展示完整的实现过程。
首先准备文本数据:
python复制text = """
To be or not to be, that is the question;
Whether 'tis nobler in the mind to suffer
The slings and arrows of outrageous fortune,
Or to take arms against a sea of troubles
And by opposing end them. To die—to sleep,
No more; and by a sleep to say we end
The heart-ache and the thousand natural shocks
That flesh is heir to, 'tis a consummation
Devoutly to be wish'd. To die, to sleep;
To sleep, perchance to dream—ay, there's the rub,
For in that sleep of death what dreams may come,
When we have shuffled off this mortal coil,
Must give us pause—there's the respect
That makes calamity of so long life;
"""
# 预处理:转为小写并去除换行符
text = text.replace('\n', ' ').lower()
接下来构建N-gram模型:
python复制def create_ngram_model(text, n=2):
words = text.split()
ngrams = []
for i in range(len(words) - n + 1):
ngram = ' '.join(words[i:i + n])
ngrams.append(ngram)
return ngrams
n = 2 # 使用bigram模型
ngram_model = create_ngram_model(text, n)
print(ngram_model[:10]) # 查看前10个bigram
输出结果:
code复制['to be', 'be or', 'or not', 'not to', 'to be,', 'be, that', 'that is', 'is the', 'the question;', 'question; whether']
有了N-gram模型后,我们可以用它来生成新文本:
python复制import random
def generate_text(ngram_model, n, length=50):
generated_text = random.choice(ngram_model)
words = generated_text.split()
while len(words) < length:
last_words = ' '.join(words[-n+1:]) if n > 1 else ''
possible_next = [ng for ng in ngram_model if ng.startswith(last_words)]
if not possible_next:
break
next_ngram = random.choice(possible_next)
words.extend(next_ngram.split()[n-1:])
return ' '.join(words)
generated_text = generate_text(ngram_model, n, length=100)
print(generated_text)
这个基础版本已经能生成看似合理的文本,但存在明显的重复和不通顺问题。我们将在后续章节探讨如何改进生成质量。
1.3 中文N-gram的特殊处理
中文与英文在N-gram处理上有显著差异。英文天然以空格分隔单词,而中文需要先进行分词。让我们看看如何处理中文文本。
首先准备中文语料(以巴金的《家》为例):
python复制text = """
风刮得很紧,雪片像扯破了的棉絮一样在空中飞舞,没有目的地四处飘落。左右两边墙脚各有一条白色的路,好像给中间满是水泥的石板路镶了两道宽边。
街上有行人和两人抬的轿子。他们斗不过风雪,显出了畏缩的样子。雪片愈落愈多,白茫茫地布满在天空中,向四处落下,落在伞上,落在轿顶上,落在轿夫的笠上,落在行人的脸上。
"""
中文N-gram生成的关键步骤:
- 文本清洗:去除数字、特殊符号等噪声
- 分词处理:使用jieba等工具将连续的中文字符分割成词语
- N-gram构建:基于分词结果构建N-gram模型
python复制import jieba
import re
def clean_chinese_text(text):
text = re.sub(r'[0-90-9]+[::]?\s*', '', text) # 去除数字编号
text = re.sub(r'-{4,}', '', text)
