乔一帆丶1. 项目概述：当古诗词遇见AI知识图谱
作为一名同时深耕传统文化和AI技术的开发者，我最近完成了一个让我自己都感到兴奋的项目——基于Django+LLM大模型的知识图谱古诗词分析系统。这个项目最初源于我在图书馆看到学生们对着厚厚的《全唐诗》发愁的场景，当时就在想：能不能用现代技术让古诗词学习变得更智能、更有趣？
经过三个月的开发和迭代，这个系统已经能够实现：
- 自动分析50万首古诗词的情感倾向（准确率88.5%）
- 构建包含12类实体关系的知识图谱（93.2%识别准确率）
- 通过可视化界面展示诗人社交网络和情感演化
- 根据用户偏好推荐相关诗词（点击转化率提升40%）
下面我就从技术选型到实现细节，完整分享这个项目的开发历程。无论你是想了解AI如何赋能传统文化，还是正在寻找毕业设计灵感，相信这些实战经验都能给你启发。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术架构设计
2.1 为什么选择Django作为基础框架？
在技术选型阶段，我对比了Flask、FastAPI等Python框架后，最终选择Django主要基于以下考量：
- ORM支持：古诗词涉及诗人、朝代、作品等多维关系，Django自带的ORM能优雅地处理这些复杂关联。例如定义诗人模型时：
python复制class Poet(models.Model):
name = models.CharField(max_length=100)
dynasty = models.ForeignKey('Dynasty', on_delete=models.CASCADE)
intro = models.TextField()
# 自动生成的关系字段：poet.works.all()
- Admin后台：内置的Admin系统可以快速构建数据管理界面，这对需要人工校验的古诗词数据特别重要。通过简单配置就能实现：
python复制@admin.register(Poem)
class PoemAdmin(admin.ModelAdmin):
list_display = ('title', 'author', 'dynasty')
search_fields = ('title', 'content')
list_filter = ('dynasty', 'emotion_tag')
- 扩展性：Django的中间件机制方便集成各类AI服务。比如我们添加的情感分析中间件：
python复制class EmotionAnalysisMiddleware:
def __init__(self, get_response):
self.get_response = get_response
self.model = load_llm_model() # 加载预训练模型
def __call__(self, request):
if '/api/analyze/' in request.path:
text = request.POST.get('text')
emotion = self.model.predict(text)
request.emotion_result = emotion
return self.get_response(request)
注意：实际部署时需要将模型加载放在服务启动时完成，避免每次请求重复加载。
2.2 知识图谱存储方案选型
知识图谱存储面临的核心挑战是处理复杂的多跳关系查询。我们对比了三种方案：
| 方案 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| MySQL | 成熟稳定，事务支持完善 | 多跳查询性能差 | 基础信息存储 |
| MongoDB | 灵活的模式，适合非结构化数据 | 缺乏原生图查询能力 | 注释/评论存储 |
| Neo4j | 原生图查询，路径分析高效 | 集群部署成本高 | 核心知识图谱 |
最终采用混合存储策略：
- MySQL：存储诗人、朝代等结构化数据
- MongoDB：存储用户评论、诗词注解等动态内容
- Neo4j：存储实体关系，支持如下Cypher查询：
cypher复制MATCH (p:Poet)-[:FRIEND_OF]->(p2:Poet)
WHERE p.name = "李白"
RETURN p2.name, p2.dynasty
2.3 LLM模型微调实战
在模型选择上，我们测试了ChatGLM、Qwen等开源模型后，最终选择Qwen-7B进行微调：
-
数据准备：
- 收集5万首标注诗词构建训练集
- 标注维度包括：情感标签（喜、怒、哀、乐）、意象标签（月=思乡，柳=离别）
- 通过数据增强生成10万条问答对
-
微调策略：
python复制from transformers import AutoModelForCausalLM, Trainer
model = AutoModel.from_pretrained("Qwen/Qwen-7B")
trainer = Trainer(
model=model,
train_dataset=train_data,
args=TrainingArguments(
per_device_train_batch_size=8,
learning_rate=5e-5,
num_train_epochs=3
)
)
trainer.train()
- 关键技巧：
- 使用LoRA技术降低显存占用（从24G降到12G）
- 混合精度训练加速收敛（训练时间从3天缩短到1天）
- 动态padding提升batch size（从4提升到8）
3. 核心功能实现
3.1 知识图谱构建流水线
知识图谱构建是本项目的核心难点，具体流程如下：
- 数据采集：
- 爬取《全唐诗》《全宋词》等权威版本
- 使用Scrapy构建分布式爬虫，关键配置：
python复制class PoemSpider(scrapy.Spider):
name = "poems"
custom_settings = {
'DOWNLOAD_DELAY': 2,
'CONCURRENT_REQUESTS': 16
}
def parse(self, response):
item = PoemItem()
item['title'] = response.css('.title::text').get()
item['author'] = response.css('.author a::text').get()
yield item
-
实体识别：
采用BERT-BiLSTM-CRF三层架构：- BERT层：获取字符级embedding
- BiLSTM层：捕捉上下文特征
- CRF层：优化标签序列
在《全唐诗》测试集上的表现：
模型 准确率 召回率 F1 BERT 89.2% 88.7% 88.9 BERT-BiLSTM 91.5% 90.8% 91.1 BERT-BiLSTM-CRF 93.2% 92.7% 92.9 -
关系抽取：
基于RoBERTa-Large构建分类模型，识别8类关系：python复制relations = { 0: "创作", 1: "引用", 2: "同代", 3: "师从", ... }
3.2 情感分析模块设计
传统情感分析方法在古诗词场景下效果不佳，我们创新性地融合了三种特征：
-
文本特征：
- 使用LLM提取512维语义向量
- 关键词："愁"→负面，"欢"→正面
-
韵律特征：
python复制def analyze_rhythm(text): pingze = { '平': ['ā','ē','ī','ō','ū','ǖ'], '仄': ['á','é','í','ó','ú','ǘ'] } # 统计平仄比例 return pingze_ratio -
意象特征：
构建意象-情感映射表：意象 情感 示例 月亮 思乡 床前明月光 杨柳 离别 杨柳岸晓风残月
最终采用加权投票机制：
$$ Emotion = 0.6Text + 0.2Rhythm + 0.2*Image $$
3.3 可视化交互实现
前端采用Vue3 + ECharts实现动态可视化：
- 力导向图：
javascript复制const graph = {
nodes: [
{id: 1, name: "李白", category: "诗人"},
{id: 2, name: "杜甫", category: "诗人"}
],
links: [
{source: 1, target: 2, relation: "好友"}
]
}
option = {
series: [{
type: 'graph',
layout: 'force',
data: graph.nodes,
links: graph.links
}]
}
-
情感热力图：
按朝代统计情感分布：python复制# 后端聚合逻辑 emotions_by_dynasty = Poem.objects.values('dynasty').annotate( joy=Count('emotion', filter=Q(emotion='喜')), sorrow=Count('emotion', filter=Q(emotion='哀')) ) -
实用技巧：
- 使用WebWorker防止大数据量渲染阻塞UI
- 对超过1万节点的图谱采用QuadTree空间索引优化
- 实现细节层级（LOD）控制，缩放时动态加载数据
4. 避坑指南与性能优化
4.1 爬虫反反爬策略
在采集诗词数据时，我们遇到了几个典型问题：
-
IP封锁：
- 解决方案：使用住宅代理轮换（注意合法合规）
python复制# scrapy中间件配置 class ProxyMiddleware: def process_request(self, request, spider): request.meta['proxy'] = get_random_proxy() -
动态加载：
- 使用Selenium模拟滚动：
python复制driver.execute_script("window.scrollTo(0, document.body.scrollHeight)") time.sleep(2) # 等待加载 -
数据清洗：
- 构建专用于古诗词的正则表达式：
python复制def clean_text(text): # 去除现代标点保留古诗词标点 return re.sub(r'[^\w\u4e00-\u9fff，。！？、]', '', text)
4.2 知识图谱性能优化
当图谱规模达到10万节点时，查询延迟显著上升。我们采用以下优化措施：
-
索引优化：
cypher复制CREATE INDEX ON :Poet(name) CREATE INDEX ON :Dynasty(name) -
查询优化：
- 避免全图扫描：限制路径长度
cypher复制MATCH path=(p1:Poet)-[:FRIEND_OF*1..3]->(p2) WHERE p1.name = "李白" RETURN path -
缓存策略：
- 对高频查询结果缓存5分钟
- 使用Redis存储热点数据
4.3 模型部署陷阱
在将LLM模型部署到生产环境时，我们踩过的坑包括：
-
显存溢出：
- 解决方案：使用模型量化
python复制model = AutoModelForCausalLM.from_pretrained( "Qwen/Qwen-7B", torch_dtype=torch.float16 ) -
响应延迟：
- 实现流式传输：
python复制@app.route('/api/analyze') def analyze(): def generate(): for chunk in model.stream_predict(text): yield f"data: {chunk}\n\n" return Response(generate(), mimetype='text/event-stream') -
并发瓶颈：
- 使用Celery任务队列：
python复制@app.task def async_analyze(text): return model.predict(text) # 调用方 result = async_analyze.delay(text)
5. 项目扩展方向
目前系统已经实现了基础功能，但还有更多可能性值得探索：
-
多模态扩展：
- 关联书法作品：使用CLIP模型计算诗词文本与书法图像的相似度
- 音频合成：根据情感标签生成符合意境的背景音乐
-
教育应用：
python复制def generate_quiz(poem): # 自动生成练习题 return { "fill_blank": f"{poem.title}的作者是____", "choice": ["李白", "杜甫", "白居易"] } -
创作辅助：
实现韵律检查功能：python复制def check_rhyme(lines): last_chars = [get_rhyme_char(line) for line in lines] return len(set(last_chars)) == 1 # 是否押韵
这个项目让我深刻体会到，AI技术不是要取代传统文化，而是为经典赋予新的生命力。在开发过程中，每当看到系统准确识别出"春风又绿江南岸"中的欣喜，或是"独钓寒江雪"中的孤寂，都让我对古人的智慧产生新的敬意。