1. 项目概述:当Transformer遇上传统文化
对联生成这个看似传统的任务,实际上包含了自然语言处理中最具挑战性的几个技术点:对仗工整、平仄协调、意境连贯。传统基于规则或统计的方法往往顾此失彼,而Transformer架构凭借其强大的序列建模能力,为我们提供了全新的解决方案。这个项目完整实现了从原始数据清洗到最终模型部署的全流程,实测生成的对联在语义相关性和形式规范性上都达到了实用水平。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心需求解析
2.1 对联的四大核心要素
- 对仗结构:上联与下联在词性、句式上的严格对应
- 平仄规则:遵循"一三五不论,二四六分明"的基本格律
- 语义关联:上下联内容需主题统一且相互呼应
- 意境表达:需体现传统文化中的美学追求
2.2 技术实现难点
- 长程依赖建模:7字联的上下文窗口虽小,但需要建模跨句的严格对应关系
- 双重约束满足:同时满足形式规则和语义连贯的双重要求
- 数据稀疏问题:优质对联语料规模有限,需设计有效的数据增强方案
3. 数据集构建工程
3.1 原始数据采集
我们从三个维度构建初始语料库:
- 经典对联集:收录《楹联丛话》等典籍中的3.2万对精品
- 现代创作集:爬取专业论坛近5年的8.7万对用户作品
- 名家题写集:整理景区、庙宇等场所的1.5万对实物对联
关键技巧:对网络爬取的数据需进行严格的朝代验证,避免混入现代白话风格作品影响模型表现
3.2 数据清洗流程
python复制def clean_couplet(text):
# 去除商业广告联(含电话号码、地址等)
if re.search(r'[0-9]{5,}', text):
return None
# 过滤非对称联(上下联字数不等)
if len(text.split(',')[0]) != len(text.split(',')[1]):
return None
# 标准化标点(全角转半角)
text = text.replace(',', ',').replace('。','.')
return text
