1. 项目背景与核心思路
在自然语言处理领域,统计语言模型一直是构建文本生成系统的基础方法。这个项目通过分析经典诗歌的词汇分布规律,建立了一个基于n-gram模型的诗歌生成器。不同于深度学习需要海量数据和计算资源,统计模型在小样本场景下就能产生令人惊喜的效果。
我最初尝试这个方向,是因为发现许多传统诗歌都有明显的用词规律。比如李白的"床前明月光"中,"明月"与"光"的搭配出现频率极高。通过统计大量类似的语言组合,我们完全可以让计算机学会这种创作模式。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心模型构建
2.1 语料准备与预处理
收集了《全唐诗》中300位诗人的5万余首作品作为训练集。预处理阶段需要特别注意:
- 去除标点符号和诗题
- 统一繁体字转换
- 按诗句分行存储
- 标注每首诗的体裁(五言/七言)
实际操作中发现,不同版本的电子版唐诗存在大量异体字和排版错误,建议优先选择中华书局点校本作为基准。
2.2 N-gram模型实现
采用三元模型(trigram)捕捉词语组合规律。具体实现步骤:
- 构建词频统计表:
python复制from collections import defaultdict
trigram_counts = defaultdict(int)
for i in range(len(words)-2):
trigram = (words[i], words[i+1], words[i+2])
trigram_counts[trigram] += 1
- 计算转移概率:
python复制def get_transition_prob(a, b, c):
bigram_count = bigram_counts[(a,b)]
trigram_count = trigram_counts[(a,b,c)]
return trigram_count / bigram_count if bigram_count else 0
- 加入平滑处理(Laplace平滑):
python复制def smoothed_prob(a, b, c):
return (trigram_counts.get((a,b,c),0)+1) / (bigram_coun
