1. 项目背景与核心价值
去年参与某影视平台推荐系统改造时,我第一次接触到用知识图谱解决"钢铁侠和黑寡妇在哪部漫威电影里同时出现过"这类复杂查询的可行性。传统基于关键词的搜索在面对这类需要多跳推理的问题时,往往需要用户自己拼凑碎片信息。而当我们把1.2万部电影、8.7万演员、36万条关系数据构建成知识图谱后,查询响应时间从平均4.3秒降至0.8秒,准确率提升至92%。
这个电影智能问答系统的核心架构分为三个层次:
- 数据层:融合豆瓣电影、IMDb等结构化数据与影评等非结构化数据
- 图谱层:使用Neo4j存储实体关系,支持Cypher查询语言
- 应用层:基于Python的Flask框架提供API服务
关键突破点在于将"克里斯·埃文斯饰演美国队长"这类自然语言描述,通过关系抽取模型转化为(克里斯·埃文斯)-[饰演]->(美国队长)的图谱关系。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 知识图谱构建全流程
2.1 数据采集与清洗
我们采用混合数据源策略:
- 结构化数据:通过豆瓣API获取电影基础信息(标题、导演、演员表等)
- 半结构化数据:从IMDb爬取演职员关系数据
- 非结构化数据:使用Scrapy爬取20万+影评数据
清洗时特别注意:
- 演员同名处理(建立唯一ID体系)
- 电影系列关联(《哈利波特》1-8部的关联关系)
- 时间属性标准化(统一用YYYY-MM-DD格式)
python复制# 示例:豆瓣数据清洗代码片段
def clean_douban_movie(data):
# 处理导演/演员字段中的特殊符号
data['directors'] = [d.replace('·', '') for d in data['directors']]
# 转换时长格式 "128分钟" -> 128
data['duration'] = int(data['duration'][:-2]) if data['duration'] else None
return data
2.2 本体设计
电影领域本体包含6大类实体:
- 影视作品(电影/电视剧)
- 人物(演员/导演)
- 制作公司
- 奖项
- 类型
- 地点
关系类型设计示例:
code复制(人物)-[主演]->(电影)
