1. 项目背景与核心价值
作为一名长期从事自然语言处理与知识图谱开发的工程师,我发现传统文化领域的数字化建设往往面临两大痛点:一是古诗词数据分散且缺乏结构化关联,二是传统检索方式难以满足深度语义查询需求。这个项目正是为了解决这些问题而生。
中华古诗词知识图谱系统通过大模型技术实现了三个突破性功能:
- 智能问答:用户可以用自然语言提问"李白在什么情况下写了《静夜思》",系统能理解意图并返回结构化答案
- 多维分析:支持按朝代、作者、意象等维度进行交叉统计分析,比如比较唐宋两代"月亮"意象的使用频率差异
- 关系挖掘:自动发现诗人之间的社交网络、诗词之间的用典传承等隐性关联
技术选型心得:选择Django作为后端框架主要考虑其完善的ORM系统能同时管理关系型数据(MySQL)和图数据(Neo4j),这对混合存储架构至关重要。实测中,用Django Channels实现的WebSocket长连接使图谱可视化交互延迟降低了63%。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 系统架构设计解析
2.1 整体技术栈
采用前后端分离架构,关键组件包括:
- 前端:Vue3 + D3.js + ECharts(兼顾交互式图谱与统计图表)
- 后端:Django REST Framework + Django Channels
- 数据处理:PySpark + HanLP(分布式处理千万级文本)
- NLP核心:基于LoRA微调的ChatGLM3-6B(诗词领域微调后F1值提升28%)
2.2 数据流设计
mermaid复制graph TD
A[原始数据] --> B(爬虫集群)
B --> C{MySQL}
C --> D[预处理流水线]
D --> E[大模型标注]
E --> F{Neo4j}
F --> G[Django ORM]
G --> H[API服务]
H --> I[前端可视化]
避坑指南:初期尝试直接用Neo4j的Python驱动时遇到连接池泄漏问题,后来改用Django-neomodel扩展包后稳定性显著提升。建议图数据库连接管理一定要用成熟ORM工具。
3. 知识图谱构建实战
3.1 数据采集方案
构建了分布式Scr
