Python与LangChain构建RAG系统入门指南-AI智能范式网

Python与LangChain构建RAG系统入门指南

绾绾居·2026-08-18·阅读 22 GEO检测（免费）

PythonLangChainRAG系统

|难度：普通|阅读约 18 分钟

1. 项目概述：用Python和LangChain构建RAG系统的入门指南

在人工智能应用开发领域，检索增强生成（RAG）已成为连接大语言模型与私有知识库的主流方案。但对于刚接触Python的新手来说，从零开始搭建RAG系统往往面临诸多技术门槛。本文将使用LangChain这一热门框架，演示如何用不到100行代码完成文档加载、文本分割和向量化存储的全流程。

我选择LangChain作为教学工具，主要基于三个考量：首先，它封装了复杂的底层操作，提供了直观的API接口；其次，其模块化设计让开发者可以灵活组合不同组件；最后，活跃的社区和丰富的文档特别适合学习。通过本文的实践，即使是Python初学者也能掌握RAG开发的核心环节。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 环境准备与工具选型

2.1 Python环境配置建议

对于完全的新手，我推荐使用Miniconda管理Python环境。以下是具体步骤：

bash复制# 安装Miniconda（以Linux/macOS为例）
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

# 创建专用环境
conda create -n rag python=3.10
conda activate rag

选择Python 3.10版本是因为它在稳定性和新特性之间取得了良好平衡，且被大多数AI库良好支持。避免使用Python 3.11+的较新版本，某些依赖可能尚未完全兼容。

2.2 开发工具选择

VSCode配合Python插件是最佳选择，其优势在于：

内置终端方便执行命令
出色的代码补全和调试功能
丰富的扩展生态系统

安装后务必添加以下扩展：

Python (官方插件)
Pylance (类型提示支持)
Jupyter (方便测试代码片段)

2.3 关键库安装

执行以下命令安装必需依赖：

bash复制pip install langchain python-dotenv tiktoken pypdf chromadb

各库的作用说明：

langchain: 核心框架，提供文档处理链
python-dotenv: 管理环境变量
tiktoken: OpenAI的分词器（用于文本分割）
pypdf: PDF文档解析
chromadb: 轻量级向量数据库

注意：如果网络环境导致安装缓慢，可以使用清华镜像源：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple [包名]

3. 文档加载实战

3.1 支持的文件类型

LangChain通过Document Loaders支持多种格式：

PDF (PyPDFLoader)
Word (UnstructuredWordDocumentLoader)
Excel (UnstructuredExcelLoader)
网页 (WebBaseLoader)
纯文本 (TextLoader)

以下演示加载PDF文档的完整代码：

python复制from langchain.document_loaders import PyPDFLoader

# 加载本地PDF
loader = PyPDFLoader("example.pdf")
pages = loader.load_and_split()

print(f"共加载 {len(pages)} 页")
print("第一页内容摘要:", pages[0].page_content[:200])

3.2 处理特殊格式文档

遇到扫描版PDF时，需要先用OCR工具提取文字。推荐使用pdf2image+pytesseract组合：

python复制from pdf2image import convert_from_path
import pytesseract

def ocr_pdf(pdf_path):
    images = convert_from_path(pdf_path)
    text = ""
    for img in images:
        text += pytesseract.image_to_string(img)
    return text

3.3 加载远程文档

从URL加载网页内容的示例：

python复制from langchain.document_loaders import WebBaseLoader

loader = WebBaseLoader("https://example.com/article")
documents = loader.load()

4. 文档标准化处理

4.1 文本分割策略

合理的文本分割对RAG效果至关重要。以下是常用方法对比：

分割方式	适用场景	优缺点
固定长度	技术文档	实现简单，可能切断语义
递归分割	自然语言	保持语义完整，计算量稍大
语义分割	混合内容	效果最好，需要额外模型

推荐使用RecursiveCharacterTextSplitter：

python复制from langchain.text_splitter import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=50,
    length_function=len
)

split_docs = splitter.split_documents(documents)

4.2 元数据保留技巧

在分割时保留文档结构信息：

python复制from langchain.schema import Document

processed = []
for i, chunk in enumerate(split_docs):
    new_doc = Document(
        page_content=chunk.page_content,
        metadata={
            "source": chunk.metadata.get("source", "unknown"),
            "chunk_id": i,
            "page": chunk.metadata.get("page", 1)
        }
    )
    processed.append(new_doc)

4.3 内容清洗方法

常见清洗步骤包括：

去除多余空格和换行符
统一编码格式（如全角转半角）
过滤特殊字符
标准化日期格式

实现示例：

python复制import re

def clean_text(text):
    # 合并连续空格
    text = re.sub(r'\s+', ' ', text)
    # 移除不可见字符
    text = text.replace('\u200b', '')
    # 标准化换行
    text = text.replace('\r\n', '\n')
    return text.strip()

5. 构建向量存储

5.1 向量化模型选择

常用嵌入模型对比：

模型	维度	特点
OpenAI text-embedding-3-small	1536	性价比高
BAAI/bge-small-zh-v1.5	512	中文优化
sentence-transformers/all-MiniLM-L6-v2	384	轻量级

本地运行示例：

python复制from langchain.embeddings import HuggingFaceEmbeddings

embedding = HuggingFaceEmbeddings(
    model_name="BAAI/bge-small-zh-v1.5",
    model_kwargs={'device': 'cpu'}
)

5.2 ChromaDB配置

创建持久化向量数据库：

python复制from langchain.vectorstores import Chroma

vector_db = Chroma.from_documents(
    documents=split_docs,
    embedding=embedding,
    persist_directory="./chroma_db"
)

vector_db.persist()  # 保存到磁盘

5.3 检索测试验证

检查向量检索效果：

python复制query = "RAG的核心思想是什么？"
results = vector_db.similarity_search(query, k=3)

for doc in results:
    print(f"来源: {doc.metadata['source']}")
    print(doc.page_content[:200] + "...")
    print("-" * 50)

6. 常见问题排查

6.1 文档加载失败

典型错误及解决方案：

PDF解析乱码
- 确认文件不是扫描件
- 尝试pdfminer.six作为备用解析器
网页加载超时
- 增加超时参数：WebBaseLoader(url, requests_kwargs={"timeout": 10})
- 检查反爬机制

6.2 向量化维度不匹配

错误现象：

code复制ValueError: Expected embedding dimension 1536, got 384

解决方法：

统一使用相同的嵌入模型
重建向量库时清空旧数据

6.3 内存不足处理

处理大文档时的优化技巧：

使用生成器逐批处理

python复制def batch_process(docs, batch_size=100):
    for i in range(0, len(docs), batch_size):
        yield docs[i:i + batch_size]

启用磁盘缓存

python复制Chroma(embedding_function=embedding, 
       persist_directory="./cache")

7. 性能优化建议

7.1 预处理流水线设计

高效处理流程示例：

mermaid复制graph LR
A[原始文档] --> B(格式转换)
B --> C{是否扫描件?}
C -->|是| D[OCR识别]
C -->|否| E[直接解析]
E --> F[文本清洗]
D --> F
F --> G[智能分割]
G --> H[向量化]
H --> I[存储]

7.2 缓存机制实现

使用磁盘缓存加速重复处理：

python复制from diskcache import Cache

cache = Cache("./processing_cache")

@cache.memoize()
def process_document(path):
    # 处理逻辑
    return result

7.3 并行处理技巧

利用多核CPU加速：

python复制from multiprocessing import Pool

def process_chunk(chunk):
    return splitter.split_documents([chunk])

with Pool(4) as p:
    results = p.map(process_chunk, large_documents)

8. 项目扩展方向

8.1 添加多模态支持

结合图像和表格处理：

python复制from unstructured.partition.pdf import partition_pdf

elements = partition_pdf("document.pdf", strategy="auto")
for elem in elements:
    if elem.category == "Table":
        process_table(elem)

8.2 实现自动更新机制

定期检查文档变更：

python复制import hashlib
import os

def get_file_hash(path):
    with open(path, 'rb') as f:
        return hashlib.md5(f.read()).hexdigest()

current_hash = get_file_hash("data.pdf")
if current_hash != last_known_hash:
    update_vector_db()

8.3 构建Web界面

使用Gradio快速搭建demo：

python复制import gradio as gr

def rag_query(question):
    results = vector_db.similarity_search(question)
    return results[0].page_content

gr.Interface(rag_query, 
             inputs="textbox",
             outputs="text").launch()

在实际项目中，我发现合理的chunk_size设置对最终效果影响最大。经过多次测试，对于技术文档，500-800字的分块长度配合10%的重叠率通常能取得最佳平衡。而处理文学类内容时，适当减小到300-500字效果更好。