基于Streamlit和LangChain构建本地文档智能问答系统

1. 项目概述：本地文档智能问答系统的核心价值

在信息爆炸的时代，我们每天都要处理大量文档资料——产品手册、技术规范、会议纪要、研究报告...这些文件往往以PDF、Word、Excel等多种格式分散存储。当需要查找特定信息时，传统的关键词搜索效率低下，更无法理解问题的上下文含义。这就是为什么我们需要一个能真正"读懂"文档内容的智能问答系统。

这个项目将教你用Streamlit和LangChain搭建一个运行在本地的文档问答系统。它不仅能处理多种格式的文档，还能理解自然语言提问，从文档中提取精准答案。所有数据处理都在本地完成，无需担心敏感数据泄露。我曾在多个企业知识管理项目中部署过类似系统，实测能减少60%以上的信息检索时间。

2. 技术架构解析

2.1 核心组件选型

Streamlit作为前端框架有几个不可替代的优势：

• 开发效率极高，用纯Python就能构建交互式Web界面
• 内置完善的组件库（文件上传、按钮、表格等）
• 实时更新特性让开发过程所见即所得
• 我在实际项目中发现，即使没有前端经验的Python开发者也能在2小时内完成基础界面搭建

LangChain是这个系统的"大脑"，它提供了：

• 文档加载器（支持PDF、Word、TXT等格式）
• 文本分割与向量化工具
• 与多种LLM（大语言模型）的对接能力
• 检索增强生成（RAG）的完整实现框架

提示：虽然LangChain也支持在线API（如OpenAI），但本项目坚持本地化原则，推荐使用Llama 2、ChatGLM等可本地部署的开源模型。

2.2 系统工作流程

1. 文档预处理阶段：

   • 文件上传与格式识别
   • 文本提取与清洗（处理PDF中的乱码、Word中的格式标记等）
   • 基于语义的文本分块（避免机械地按固定长度分割）

2. 向量化存储阶段：

   • 使用HuggingFace嵌入模型（如bge-small-zh）生成文本向量
   • 用FAISS构建高效的向量检索索引
   • 元数据关联存储（记录每个文本块的来源文档和位置）

3. 问答推理阶段：

   • 将用户问题转换为向量
   • 从向量库检索最相关的文本片段
   • 将问题和检索结果组合成Prompt送入本地LLM
   • 生成并返回格式化的答案

3. 详细实现步骤

3.1 环境准备与依赖安装

推荐使用conda创建Python 3.9环境：

bash复制conda create -n doc_qa python=3.9
conda activate doc_qa

安装核心依赖（注意版本兼容性）：

bash复制pip install streamlit==1.25.0
pip install langchain==0.0.287
pip install faiss-cpu==1.7.4  # 无GPU时使用
pip install python-docx pdfminer.six unstructured

3.2 文档加载模块实现

创建document_loader.py：