1. 混合检索技术为何成为生产级RAG系统的标配?
三年前我刚接触RAG系统时,业界还在争论该用稀疏检索(如BM25)还是密集检索(如BERT)。直到有一次在金融风控场景中,单纯用向量检索漏掉了关键术语"CDS spread",而传统关键词检索又找不到语义相似的"信用违约互换价差",才让我意识到混合检索的必要性。
现在的生产环境中,混合检索方案已经成为标配。这就像厨师做菜,单一调味料总会有局限,而合理的组合才能做出美味。具体来说:
- 稀疏检索(如Elasticsearch的BM25)擅长精确匹配术语和短文本
- 密集检索(如BGE向量模型)擅长捕捉语义相似性
- 学习排序(如LambdaMART)则像经验丰富的品鉴师,能综合各种特征给出最优排序
关键认知:混合不是简单堆砌,而是有机融合。就像交响乐需要指挥协调各声部,我们需要设计合理的融合策略。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 混合检索系统的核心架构设计
2.1 三层检索流水线实战
我参与的电商客服系统采用了典型的三阶段架构:
-
召回阶段(Recall):
- 并行执行稀疏检索和密集检索
- 稀疏检索使用ES的BM25,针对商品规格参数等结构化内容
- 密集检索用BGE-M3模型,处理用户咨询的语义理解
- 实验证明:单独使用时召回率约65%,混合后可达92%
-
粗排阶段(Rerank):
- 用Cross-Encoder(如bge-reranker)对召回结果初步排序
- 这里有个技巧:设置score阈值过滤低质量结果
python复制# 示例:使用BGE Reranker from FlagEmbedding import FlagReranker reranker = FlagReranker('BAAI/bge-reranker-large') scores = reranker.compute_score([[query, doc] for doc in candidates]) filtered = [doc for doc, score in zip(candidates, scores) if score > 0.7] -
精排阶段(Learning to R
