1. 项目概述:当文学经典遇上知识图谱
《平凡的世界》作为茅盾文学奖获奖作品,构建了一个横跨1975-1985年的陕北农村社会全景图。这部百万字巨著涉及近百个角色、数十个关键事件和复杂的社会关系网络,传统阅读方式难以系统化掌握其中知识关联。本项目通过构建知识图谱实现三个核心目标:一是将小说中的人物、地点、事件等实体及其关系结构化存储;二是支持自然语言问答交互;三是为文学研究提供可视化分析工具。
知识图谱(Knowledge Graph)本质上是一种语义网络,采用"实体-关系-实体"三元组形式存储知识。在文学领域应用时,一个典型的三元组可能是"孙少安-妻子-贺秀莲",这种表示方法比传统数据库更贴近人类认知方式。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 系统架构设计
2.1 整体技术栈选型
系统采用分层架构设计,各组件选型基于以下考量:
- 存储层:Neo4j图数据库(社区版4.4.5)
- 优势:原生图存储引擎、Cypher查询语言、ACID事务支持
- 实测数据:10万节点级查询响应时间<200ms
- 计算层:Python 3.8 + PyTorch 1.12
- 搭配Transformers库实现BERT-Base中文模型微调
- 应用层:Flask 2.0 + Bootstrap 5
- 轻量级框架适合快速原型开发
- 前端采用Vue.js实现动态数据绑定
2.2 数据处理流水线
mermaid复制graph TD
A[原始文本] --> B(实体识别)
B --> C{实体类型?}
C -->|人物| D[属性提取]
C -->|地点| E[坐标解析]
C -->|事件| F[时间标准化]
D --> G[Neo4j导入]
E --> G
F --> G
3. 知识图谱构建实战
3.1 数据采集与清洗
使用Scrapy框架构建定向爬虫,从权威文学网站获取结构化数据:
python复制class CharacterSpider(scrapy.Spider):
name = "character"
custom_settings = {
'ITEM_PIPELINES': {
