从零搭建基于RAG的PDF知识库问答系统

1. RAG 技术入门：从零搭建 PDF 知识库问答系统

作为一个刚接触 RAG 技术的开发者，我最近成功实现了第一个可运行的 RAG 程序。这个项目虽然简单，但完整实现了从 PDF 文档读取到智能问答的全流程。下面我将详细分享这个项目的实现过程和技术细节，希望能帮助同样想入门 RAG 的朋友们少走弯路。

RAG（Retrieval-Augmented Generation）技术正在改变我们与知识库交互的方式。不同于传统的关键词搜索，RAG 能够理解问题的语义，并从文档中找到最相关的内容作为回答依据。我的这个项目使用 Python 实现，涉及 PDF 解析、文本分块、向量嵌入、向量数据库存储和 LLM 问答等多个环节。

2. RAG 技术核心原理

2.1 什么是 RAG？

RAG 全称 Retrieval-Augmented Generation，中文译为"检索增强生成"。这项技术的核心思想可以概括为"先查资料，再回答问题"。与直接使用大语言模型回答问题不同，RAG 系统会先从知识库中检索相关信息，然后将这些信息作为上下文提供给模型，最后生成回答。

这种方法的优势在于：

• 可以处理模型训练数据之外的知识
• 回答基于最新、最相关的文档内容
• 适用于企业内部知识库、专业文档等场景

2.2 RAG 工作流程详解

一个完整的 RAG 系统通常包含以下关键步骤：

1. 文档处理阶段：

   • 文档加载：从各种格式（PDF、Word、HTML等）中提取文本
   • 文本分块：将长文档分割成适当大小的片段
   • 向量化：使用嵌入模型将文本转换为向量表示
   • 存储：将文本块和对应向量存入向量数据库

2. 问答阶段：

   • 问题向量化：将用户问题转换为向量
   • 相似度检索：在向量数据库中查找最相关的文本块
   • 答案生成：将检索结果作为上下文，由大模型生成最终回答

3. 项目实现细节

3.1 环境准备与依赖安装

首先需要安装必要的 Python 包：

bash复制pip install pdfminer.six chromadb openai python-dotenv

本项目使用的主要技术栈：

• PDF 解析：pdfminer.six
• 向量数据库：ChromaDB
• 嵌入模型：text-embedding-v2
• 大语言模型：qwen-plus

3.2 PDF 文本提取实现

文本提取是 RAG 系统的第一步，我使用 pdfminer.six 库来实现：

python复制from pdfminer.high_level import extract_pages
from pdfminer.layout import LTTextContainer

def extract_text_from_pdf(filename, page_number=None):
    full_text = ''
    for num, page in enumerate(extract_pages(filename)):
        if page_number is not None and num >= page_number:
            break
        for element in page:
            if isinstance(element, LTTextContainer):
                text = element.get_text()
                clean_text = text.replace('\n', '').replace(' ', '')
                full_text += clean_text
    return split_text(full_text, chunk_size=100, strike=90)

这段代码实现了：

1. 逐页读取 PDF 文档
2. 提取每页中的文本内容
3. 进行简单的文本清洗（去除换行符和空格）
4. 调用分块函数处理长文本

注意：在实际应用中，更复杂的 PDF 可能需要专门的解析工具，特别是包含表格、图片等非文本内容时。

3.3 文本分块策略

文本分块是 RAG 系统中的关键环节，直接影响检索效果：

python复制def split_text(text, chunk_size, strike):
    return [text[i:i+chunk_size] for i in range(0, len(text), strike)]

我采用了固定长度的滑动窗口分块方法：

• chunk_size=100：每个文本块包含100个字符
• strike=90：滑动步长为90个字符，确保有10个字符的重叠

这种方法的优点是实现简单，但也有局限性：

• 可能切断完整的句子或段落
• 不考虑语义边界
• 固定长度可能不适合所有文档类型

更高级的分块策略可以考虑：

• 按句子或段落分割
• 使用语义分割算法
• 动态调整块大小
• 添加元数据标记

3.4 向量化与存储

向量化是将文本转换为数值表示的过程，我使用 text-embedding-v2 模型实现：

python复制class MyVectorDBConnector:
    def __init__(self, collection_name):
        client = chromadb.PersistentClient(path="/path/to/db")
        self.collection = client.get_or_create_collection(name=collection_name)
    
    def get_embeddings(self, texts, model="text-embedding-v2"):
        data = client.embeddings.create(input=texts, model=model).data
        return [x.embedding for x in data]
    
    def add_documents(self, documents):
        self.collection.add(
            embeddings=self.get_embeddings(documents),
            documents=documents,
            ids=[f"id{i}" for i in range(len(documents))]
        )

关键点说明：

1. 初始化 ChromaDB 客户端和集合
2. 使用嵌入模型将文本转换为向量
3. 将文本块、向量和ID一起存入数据库

ChromaDB 的选择考虑：

• 轻量级，适合本地开发和测试
• 简单的API，学习成本低
• 无需额外服务，开箱即用

3.5 检索与问答实现

问答环节的核心代码如下：

python复制class RAG_Bot:
    def __init__(self, vector_db, n_results):
        self.vector_db = vector_db
        self.n_results = n_results
    
    def get_completion(self, prompt, model="qwen-plus"):
        messages = [{"role": "user", "content": prompt}]
        response = client.chat.completions.create(
            model=model,
            messages=messages,
            temperature=0,
        )
        return response.choices[0].message.content
    
    def chat(self, query):
        # 1. 检索
        results = self.vector_db.search(query, self.n_results)
        
        # 2. 构建提示词
        prompt = prompt_template.replace("__INFO__", "\n".join(results['documents'][0])).replace("__QUERY__", query)
        
        # 3. 调用LLM生成回答
        return self.get_completion(prompt)

提示词模板设计：

python复制prompt_template = '''
你是一个财务专家，请根据提供的信息，回答问题。
__INFO__
请根据提供的信息，回答问题：__QUERY__
'''

这个简单的模板包含：

1. 角色设定（财务专家）
2. 检索到的上下文信息
3. 用户原始问题

4. 项目优化与改进方向

4.1 当前实现的局限性

虽然这个基础版本可以工作，但存在多个可以改进的地方：

1. PDF 解析方面：

   • 无法处理复杂的版式（如多栏布局）
   • 会丢失表格、图片等非文本内容
   • 文本清洗过于简单

2. 文本分块方面：

   • 固定长度分块不考虑语义边界
   • 没有考虑文档结构信息
   • 块大小和重叠参数需要调优

3. 检索方面：

   • 简单的向量相似度检索
   • 没有考虑多模态内容
   • 缺乏查询扩展和重写

4. 问答方面：

   • 提示词设计简单
   • 没有处理检索结果的质量问题
   • 缺乏答案验证机制

4.2 进阶优化方案

针对上述问题，可以考虑以下改进：

文档处理优化：

• 使用更强大的 PDF 解析库（如 PyPDF2、pdfplumber）
• 添加文档预处理步骤（OCR、格式标准化）
• 实现基于语义的分块算法

检索优化：

• 引入混合检索（结合关键词和向量检索）
• 添加查询扩展和重写
• 实现多轮检索和精炼

问答优化：

• 设计更复杂的提示词模板
• 添加检索结果评估和过滤
• 实现答案验证和溯源

系统架构优化：

• 添加缓存层提高性能
• 实现增量更新机制
• 添加监控和日志

5. 常见问题与解决方案

在实际开发过程中，我遇到了以下几个典型问题：

5.1 PDF 解析不完整

问题现象：

• 部分文本内容丢失
• 特殊字符解析错误
• 格式信息完全丢失

解决方案：

1. 尝试不同的 PDF 解析库
2. 对于扫描件，先进行 OCR 处理
3. 添加后处理步骤清理文本

5.2 检索结果不相关

问题现象：

• 返回的文本块与问题无关
• 重要内容被遗漏
• 检索到重复内容

解决方案：

1. 调整分块大小和重叠参数
2. 尝试不同的嵌入模型
3. 添加重新排序（reranking）步骤
4. 实现多向量检索策略

5.3 回答质量不稳定

问题现象：

• 回答与检索内容不符
• 产生幻觉（hallucination）
• 回答过于笼统

解决方案：

1. 优化提示词设计
2. 添加检索结果验证
3. 限制模型只基于提供的内容回答
4. 实现答案评分和过滤

6. 项目扩展与应用

这个基础 RAG 系统可以扩展到多个实际应用场景：

6.1 企业知识管理

• 内部文档问答系统
• 规章制度查询
• 产品知识库

6.2 教育领域

• 教材内容问答
• 学习辅助系统
• 自动答疑平台

6.3 专业服务

• 法律文档分析
• 医疗知识检索
• 金融报告解读

实现这些扩展需要考虑：

• 领域特定的文档处理流程
• 专业术语和知识表示
• 行业特定的评估指标

7. 开发心得与建议

通过这个项目，我总结了以下几点经验：

1. 从简单开始：先实现最小可行产品，再逐步优化
2. 重视数据质量：垃圾进，垃圾出（GIGO）原则在 RAG 中尤其明显
3. 端到端测试：尽早建立完整的测试流程
4. 监控与评估：建立量化指标评估系统表现
5. 迭代优化：RAG 系统需要持续调优和改进

对于想要入门 RAG 的开发者，我的建议是：

1. 先理解核心概念和工作原理
2. 亲手实现一个简单版本
3. 逐步添加复杂功能
4. 多参考开源项目和最佳实践
5. 保持学习和实验的心态