混合搜索技术：解决RAG系统检索不准的实践方案

1. 检索不准的根源与混合搜索解决方案

在构建RAG（检索增强生成）系统时，检索环节的准确性直接影响最终回答质量。许多开发者都会遇到这样的困境：明明知识库中包含正确答案，系统却总是返回无关内容。这种"检索不准"现象通常源于单一检索策略的固有缺陷。

1.1 单一检索策略的局限性

当前主流的检索方式主要有两种：

1. 向量检索（稠密检索）：

• 原理：将文本转换为高维向量，通过余弦相似度计算相关性
• 优势：能捕捉语义相似性
• 缺陷：对关键词不敏感
• 典型案例：用户查询"年假政策"，可能漏掉使用"带薪休假"表述的文档

2. BM25检索（稀疏检索）：

• 原理：基于词频和逆文档频率计算相关性
• 优势：精确匹配关键词
• 缺陷：无法理解同义词和语义关联
• 典型案例：查询"病假申请流程"找不到包含"病假办理步骤"的文档

python复制# 单一检索策略对比演示
from langchain_community.vectorstores import FAISS
from langchain_community.retrievers import BM25Retriever

# 向量检索示例
vector_results = vector_retriever.invoke("二甲双胍剂量")
print("向量检索结果：", [doc.page_content[:50] for doc in vector_results])

# BM25检索示例
bm25_results = bm25_retriever.invoke("2型糖尿病血糖")
print("BM25检索结果：", [doc.page_content[:50] for doc in bm25_results])

1.2 混合搜索的架构设计

混合搜索通过组合多种检索策略，形成两阶段检索流程：

第一阶段：海选（召回阶段）

• 并行执行向量检索和BM25检索
• 目标：尽可能扩大候选文档范围（高召回率）
• 典型配置：每路检索返回20-50个候选文档

第二阶段：决赛（精排阶段）

• 使用重排序模型对候选文档精细打分
• 目标：从海选结果中筛选最相关的3-5个文档
• 核心技术：Cross-Encoder等精排模型

mermaid复制graph TD
    A[用户提问] --> B[向量检索]
    A --> C[BM25检索]
    B --> D[结果融合]
    C --> D
    D --> E[重排序]
    E --> F[最终结果]

2. 混合搜索核心技术实现

2.1 BM25检索器的优化实践

BM25作为经典的关键词检索算法，在混合搜索中扮演重要角色。对于中文场景，需要特别处理分词问题：

python复制import jieba

def chinese_tokenizer(text):
    words = jieba.lcut(text)
    return [w for w in words if len(w) >