1. 项目概述
这套四大名著自然语言处理系统是我在教授Python数据分析课程时设计的教学案例,专门用于展示如何用Python处理中文文本数据。系统以《三国演义》为分析对象,完整实现了从基础文本处理到高级可视化的全流程功能。
这个项目的独特之处在于:
- 采用模块化设计,每个功能都封装为独立函数,方便教学演示和代码复用
- 使用easygui创建了图形化交互界面,降低了使用门槛
- 整合了jieba分词、词频统计、词性标注、命名实体识别等NLP基础技术
- 提供了四种可视化方式,满足不同分析需求
提示:系统默认使用《三国演义》文本进行分析,但通过简单修改文件路径,可以轻松应用于其他三部名著(《红楼梦》《水浒传》《西游记》)的文本分析。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境配置与准备工作
2.1 依赖库安装
在开始前,需要确保安装以下Python库:
bash复制pip install jieba matplotlib wordcloud networkx easygui -i https://pypi.tuna.tsinghua.edu.cn/simple
各库的作用说明:
jieba:中文分词核心库,支持自定义词典和词性标注matplotlib:基础绘图库,用于生成柱状图和饼图wordcloud:专业词云生成工具networkx:复杂网络分析库,用于人物关系图easygui:轻量级GUI库,提供文件选择对话框等交互功能
2.2 文本数据准备
系统需要两个文本文件:
sanguo.txt:完整的《三国演义》文本,UTF-8编码格式stop_words.txt(可选):停用词表,用于过滤无意义的常用词
注意:文本文件应放在与Python脚本相同的目录下,或者修改代码中的文件路径。获取《三国演义》完整文本可以从权威电子书网站下载,确保没有章节缺失。
3. 核心功能模块详解
3.1 文本读取与预处理
python复制def read_txt(filename):
"""读取UTF-8编码的txt文件"""
with open(filename, 'r', encoding='utf-8') as f:
