香香甜甜圈1. 项目概述：大模型时代下的RAG与Agent实战
在当今AI技术快速发展的背景下，大型语言模型(LLM)已成为改变人机交互方式的核心技术。然而，单纯依赖大模型的生成能力往往面临知识更新滞后、专业领域知识不足等问题。这正是RAG(Retrieval-Augmented Generation)技术大显身手的领域——通过将信息检索与文本生成相结合，显著提升大模型输出的准确性和时效性。
本次实战教程聚焦于使用LangChain框架构建高效的RAG系统，特别针对向量检索这一关键技术环节进行深入剖析。不同于传统的全文检索，向量检索通过将文本转化为高维空间中的向量表示，能够捕捉语义层面的相似性，实现更精准的知识召回。我们将从实际开发角度出发，完整演示从文本处理到向量存储，再到最终生成增强提示词的在线流程。
提示：本教程假设读者已具备Python基础知识和基本的机器学习概念，但会尽量通过实例解释核心思想。实际操作中将使用开源的LangChain库和常见的向量数据库方案。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. RAG核心架构与在线流程解析
2.1 RAG系统的基本工作流程
一个完整的RAG系统通常包含以下关键环节：
- 文档预处理：将原始文本分割为适合检索的片段(chunks)
- 向量化编码：使用嵌入模型(embedding model)将文本转换为向量表示
- 向量存储：将向量及其关联的原始文本存入专用数据库
- 查询处理：将用户问题同样转换为向量并进行相似度检索
- 结果增强：将检索到的相关内容作为上下文注入大模型提示词
- 生成输出：大模型基于增强后的提示词生成最终回答
2.2 在线流程与离线流程的区别
在实际部署中，RAG系统通常区分两种运行模式：
- 离线流程：批量处理文档库，建立向量索引（通常定期执行）
- 在线流程：实时处理用户查询，完成检索-生成链条（要求低延迟）
本教程重点关注的在线流程需要特别优化以下几个方面：
- 检索速度：确保用户查询能在可接受时间内返回结果
- 结果相关性：检索到的文档片段必须精准匹配问题意图
- 上下文长度：合理控制注入提示词的文本量，避免超出模型限制
2.3 LangChain中的RAG实现架构
LangChain为RAG实现提供了高度模块化的设计，主要组件包括：
python复制from langchain_core.runnables import RunnableParallel
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
# 典型RAG链式结构
retriever = ... # 向量检索器
prompt = ChatPromptTemplate.from_template("""
根据以下上下文回答提问：
{context}
问题：{question}
""")
rag_chain = (
RunnableParallel({"context": retriever, "question": lambda x: x["question"]})
| prompt
| model
| StrOutputParser()
)
3. 向量检索的核心技术与实现
3.1 文本向量化原理与实践
文本向量化的质量直接决定检索效果。当前主流方案使用经过调优的嵌入模型，如OpenAI的text-embedding-3系列、HuggingFace上的开源模型等。关键考量因素包括：
- 嵌入维度：通常选择768或更高维度以获得足够表达能力
- 模型领域：通用模型 vs 领域专用模型（如医疗、法律等）
- 多语言支持：如果需要处理多语言内容需特别注意
python复制from langchain_community.embeddings import HuggingFaceEmbeddings
# 加载开源嵌入模型
embedding_model = HuggingFaceEmbeddings(
model_name="BAAI/bge-small-zh-v1.5",
model_kwargs={"device": "cuda"},
encode_kwargs={"normalize_embeddings": True}
)
3.2 向量数据库选型与配置
常见的向量数据库选项及其特点对比：
| 数据库 | 开源 | 云服务 | 特点 | 适用场景 |
|---|---|---|---|---|
| FAISS | 是 | 否 | 内存计算，高性能 | 中小规模数据 |
| Chroma | 是 | 有 | 易用性强 | 快速原型开发 |
| Weaviate | 是 | 有 | 支持混合搜索 | 生产环境 |
| Pinecone | 否 | 有 | 全托管服务 | 企业级应用 |
以ChromaDB为例的初始化代码：
python复制import chromadb
from chromadb.config import Settings
# 创建内存型客户端
client = chromadb.Client(Settings(
chroma_db_impl="duckdb+parquet",
persist_directory="/path/to/persist"
))
# 创建集合(相当于表)
collection = client.create_collection("knowledge_base")
3.3 高效构建向量索引的技巧
3.3.1 文本分块(Chunking)策略
合理的文本分块是有效检索的基础，常见策略包括：
- 固定大小分块：简单但可能切断语义连贯性
- 基于语义分块：使用NLP技术识别自然段落
- 重叠分块：相邻块间保留部分重叠文本
LangChain中的文本分割器示例：
python复制from langchain_text_splitters import RecursiveCharacterTextSplitter
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=500,
chunk_overlap=50,
length_function=len,
is_separator_regex=False,
)
3.3.2 批量导入优化技巧
当处理大规模文档时，需要注意：
- 分批处理避免内存溢出
- 利用多线程/多进程加速
- 添加去重机制
快速添加向量的实战方法（add_texts优化）：
python复制# 常规添加方式
vectorstore.add_texts(texts=chunks, embedding=embedding_model)
# 批量优化版
def batch_add_texts(vectorstore, texts, batch_size=100):
for i in range(0, len(texts), batch_size):
batch = texts[i:i + batch_size]
vectorstore.add_texts(texts=batch)
print(f"Processed {min(i + batch_size, len(texts))}/{len(texts)}")
4. 提示词工程与Agent集成
4.1 构建动态提示词模板
有效的RAG提示词应包含以下要素：
- 清晰的指令定义
- 检索上下文的合理组织
- 输出格式要求
- 防止幻觉的约束条件
示例模板：
python复制from langchain_core.prompts import ChatPromptTemplate
template = """你是一个专业的问答助手，请严格根据提供的上下文信息回答问题。
如果上下文不包含问题答案，请明确回复"根据现有信息无法回答该问题"。
上下文：
{context}
问题：{question}
请用中文给出详细、专业的回答："""
prompt = ChatPromptTemplate.from_template(template)
4.2 检索结果的重排序与过滤
原始检索结果可能需要进一步处理：
- 相关性过滤：设定相似度阈值
- 多样性筛选：避免重复内容
- 时效性排序：对时间敏感信息特别处理
实现示例：
python复制from langchain.retrievers import ContextualCompressionRetriever
from langchain.retrievers.document_compressors import LLMChainExtractor
# 使用LLM压缩检索结果
compressor = LLMChainExtractor.from_llm(llm)
compression_retriever = ContextualCompressionRetriever(
base_compressor=compressor,
base_retriever=vectorstore.as_retriever()
)
4.3 将RAG集成到Agent系统
在LangChain中创建RAG增强的Agent：
python复制from langchain.agents import AgentExecutor, create_react_agent
from langchain import hub
# 加载预设的Agent提示词
prompt = hub.pull("hwchase17/react-chat")
# 创建工具集
tools = [
Tool(
name="Knowledge Base",
func=retriever.invoke,
description="用于查询专业知识库"
)
]
# 构建Agent
agent = create_react_agent(llm, tools, prompt)
agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)
# 执行查询
result = agent_executor.invoke({"input": "LangChain中如何处理长文档检索？"})
5. 性能优化与生产部署
5.1 检索性能基准测试
建立评估体系时应考虑：
- 延迟：从查询到返回结果的时间
- 吞吐量：单位时间处理的查询量
- 准确性：召回结果的相关性
简单的性能测试脚本：
python复制import time
from sklearn.metrics import ndcg_score
def evaluate_retriever(retriever, test_queries, relevant_docs):
latencies = []
scores = []
for query, gold_docs in zip(test_queries, relevant_docs):
start = time.time()
results = retriever.invoke(query)
latencies.append(time.time() - start)
# 计算NDCG评分
relevance_scores = [1 if doc in gold_docs else 0 for doc in results]
scores.append(ndcg_score([relevance_scores], [range(len(results), 0, -1)]))
return {
"avg_latency": sum(latencies)/len(latencies),
"avg_ndcg": sum(scores)/len(scores)
}
5.2 缓存策略实现
常用缓存方案：
- 查询结果缓存：存储常见问题的直接回答
- 嵌入向量缓存：避免重复计算相同文本的向量
- 语义缓存：识别相似查询返回缓存结果
使用Redis实现缓存的示例：
python复制from redis import Redis
from langchain.cache import RedisCache
from langchain.globals import set_llm_cache
redis_client = Redis(host="localhost", port=6379)
set_llm_cache(RedisCache(redis_client))
5.3 监控与日志记录
生产环境必备的监控指标：
- 检索成功率
- 平均响应时间
- 资源利用率
- 异常请求比例
集成Prometheus监控的示例：
python复制from prometheus_client import start_http_server, Summary
# 创建指标
RETRIEVAL_TIME = Summary('retrieval_latency_seconds', 'Time spent processing retrieval')
# 装饰器记录耗时
@RETRIEVAL_TIME.time()
def retrieve_documents(query):
# 检索逻辑
pass
# 启动指标服务器
start_http_server(8000)
6. 常见问题排查与调试技巧
6.1 检索结果不相关
可能原因及解决方案：
- 嵌入模型不匹配：尝试不同嵌入模型
- 分块大小不当：调整chunk_size参数
- 元数据缺失：确保为每个块添加适当的元数据标签
6.2 响应时间过长
优化方向：
- 减少嵌入维度
- 使用近似最近邻(ANN)算法
- 部署专用向量检索加速硬件
6.3 内存消耗过高
应对策略：
- 使用磁盘持久化的向量数据库
- 实现分批加载机制
- 优化Python内存管理
调试工具推荐：
python复制import tracemalloc
tracemalloc.start()
# ...执行可疑代码...
snapshot = tracemalloc.take_snapshot()
top_stats = snapshot.statistics('lineno')
for stat in top_stats[:10]:
print(stat)
7. 进阶应用与扩展方向
7.1 多模态RAG系统
扩展传统文本RAG以处理：
- 图像与文本联合检索
- 视频内容分析
- 结构化数据查询
7.2 动态数据更新策略
实现实时知识更新：
- 变更检测机制
- 增量索引构建
- 版本化知识管理
7.3 混合检索方案
结合多种检索技术：
- 关键词检索 + 向量检索
- 语义检索 + 图关系查询
- 本地检索 + 云端知识扩展
实现混合检索的示例：
python复制from langchain.retrievers import BM25Retriever, EnsembleRetriever
# 创建不同检索器
bm25_retriever = BM25Retriever.from_texts(texts)
vector_retriever = vectorstore.as_retriever()
# 组合检索器
ensemble_retriever = EnsembleRetriever(
retrievers=[bm25_retriever, vector_retriever],
weights=[0.4, 0.6]
)
在实际项目部署中，我们发现当文档规模超过100万份时，采用分片索引策略配合负载均衡能够显著提升系统稳定性。同时，为不同业务部门建立独立的命名空间可以有效隔离知识领域，避免交叉干扰。