苏澄宇1. 项目概述：基于词频统计的诗歌生成模型
在自然语言处理领域，统计语言模型是最早被广泛应用的基础技术之一。这个项目通过分析大量诗歌文本中的词频组合规律，构建了一个能够自动生成诗歌的统计模型。不同于现代的深度学习模型，这种基于n-gram的方法虽然简单，却能够很好地展示语言统计规律的本质。
我曾在早期的一个文化科技项目中尝试过类似方法，用来生成符合特定风格的广告文案。当时发现，即便是简单的2-gram模型，只要训练数据足够丰富，也能产生令人惊讶的合理结果。这种统计方法特别适合处理像诗歌这样具有固定格式和常见搭配的文本类型。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心原理与技术实现
2.1 N-gram语言模型基础
N-gram模型的核心思想是通过统计文本中连续n个词语共同出现的概率来建模语言。对于诗歌生成来说，我们通常使用：
- 1-gram（unigram）：只考虑单个词的出现概率
- 2-gram（bigram）：考虑前一个词对当前词的影响
- 3-gram（trigram）：考虑前两个词对当前词的影响
在实际应用中，bigram和trigram往往能取得较好的平衡。我曾对比过不同n值的效果，发现对于中文诗歌，3-gram通常能捕捉到足够的上下文信息，而不会因为n值太大导致数据稀疏问题。
2.2 诗歌生成的统计方法
诗歌生成的流程可以分解为以下几个关键步骤：
- 语料准备：收集大量同类型的诗歌作为训练数据
- 分词处理：对诗歌文本进行分词（中文需要额外处理）
- 频率统计：计算各种n-gram组合的出现频率
- 概率计算：基于频率数据计算转移概率
- 文本生成：根据概率分布进行序列采样
这里有个实用技巧：在处理古典诗歌时，我会预先将诗句按平仄和韵脚分类，这样生成的诗歌在格律上会更规范。例如，在生成五言绝句时，可以限定每行5个字，并按照"平平仄仄平"等固定模式选择词语。
2.3 平滑技术处理低频词
统计模型面临的一个主要问题是低频词或未登录词的处理。常用的平滑技术包括：
- Laplace平滑（加一平滑）
- Good-Turing估计
- Kneser-Ney平滑
在我的实践中，对于诗歌生成这种相对封闭的领域，简单的加一平滑通常就足够有效。但对于更通用的文本生成，Kneser-Ney平滑往往表现更好，因为它能更好地处理上下文多样性。
3. 完整实现步骤
3.1 数据收集与预处理
首先需要准备足够多的诗歌文本作为训练数据。可以从以下渠道获取：
- 公开的古典诗歌数据库
- 现代诗歌选集电子版
- 特定诗人的作品全集
预处理步骤包括：
python复制import jieba
from collections import defaultdict
# 示例：中文分词处理
def preprocess_poem(poem_text):
# 去除标点和空格
cleaned = re.sub(r'[^\w]', '', poem_text)
# 使用jieba进行分词
words = list(jieba.cut(cleaned))
return words
3.2 构建N-gram模型
下面是构建bigram模型的示例代码：
python复制def build_bigram_model(corpus):
bigram_counts = defaultdict(lambda: defaultdict(int))
unigram_counts = defaultdict(int)
for poem in corpus:
words = preprocess_poem(poem)
for i in range(len(words)-1):
bigram_counts[words[i]][words[i+1]] += 1
unigram_counts[words[i]] += 1
# 计算概率
bigram_probs = defaultdict(dict)
for word1 in bigram_counts:
for word2 in bigram_counts[word1]:
bigram_probs[word1][word2] = bigram_counts[word1][word2] / unigram_counts[word1]
return bigram_probs
3.3 诗歌生成算法
基于构建好的模型，可以实现一个简单的诗歌生成器：
python复制import random
def generate_poem(bigram_model, start_word, length=20):
poem = [start_word]
current_word = start_word
for _ in range(length-1):
next_words = list(bigram_model[current_word].keys())
probabilities = list(bigram_model[current_word].values())
# 按概率随机选择下一个词
current_word = random.choices(next_words, weights=probabilities)[0]
poem.append(current_word)
return ''.join(poem)
提示：在实际应用中，可以加入押韵约束，即在特定位置只从押韵词表中选词，这样生成的诗歌会更符合传统审美。
4. 优化与改进方向
4.1 结合TF-IDF加权
单纯的词频统计可能会过度依赖高频但无意义的常用词。引入TF-IDF加权可以突出诗歌中的特色词汇：
python复制from sklearn.feature_extraction.text import TfidfVectorizer
def calculate_tfidf(corpus):
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(corpus)
return X, vectorizer.get_feature_names_out()
4.2 混合模型策略
在实践中，我发现将不同n值的模型组合使用往往能取得更好效果。例如：
- 首词选择使用unigram
- 中间内容使用bigram或trigram
- 结尾词考虑与首句的呼应关系
这种混合策略既保持了语言的流畅性，又增加了诗歌的整体性。
4.3 风格控制技巧
要生成特定风格的诗歌，可以采用以下方法：
- 主题词引导：在生成过程中偏向使用特定主题相关的词汇
- 温度参数：调整采样时的随机性程度
- 模板约束：预先定义诗歌的结构模板
我曾用这种方法为一个文化项目生成过"边塞诗"风格的文本，通过限定使用"沙场"、"征战"等关键词，成功营造出了想要的氛围。
5. 实际应用中的挑战与解决方案
5.1 数据稀疏问题
当n值较大或语料较小时，会遇到很多n-gram组合从未出现过的情况。解决方法包括：
- 使用回退(backoff)或插值(interpolation)平滑技术
- 降低n值（如从5-gram降到3-gram）
- 增加训练数据量
5.2 语义一致性维护
统计模型生成的文本有时会出现语义跳跃的问题。改进方法：
- 引入简单的语义相似度检查
- 使用更大的上下文窗口（增加n值）
- 后处理时进行语义筛选
5.3 评估指标选择
如何评估生成诗歌的质量是个难题。可以考虑：
- 人工评估（最可靠但成本高）
- 与训练数据的相似度指标
- 格律符合度自动检查
- 语言模型困惑度
在我的项目中，最终采用了70%自动评估加30%人工评估的混合方案，既保证了效率又维持了质量。
6. 项目扩展与应用
这种基于统计的文本生成方法虽然简单，但在很多场景下仍然实用：
- 教育领域：帮助学生理解古典诗歌的用词规律
- 创意辅助：为作家提供创作灵感
- 文化传播：生成特定风格的宣传文案
- 游戏内容：为游戏NPC自动生成对话文本
一个有趣的案例是，我曾将这种方法应用于生成菜谱描述，通过分析大量菜谱文本的用词规律，自动生成听起来很专业的烹饪步骤说明。