老白Walt1. RAG中的Reranker：检索结果的"精修"裁判
在构建RAG（检索增强生成）系统时，很多开发者都会遇到这样的困扰：明明使用了高质量的Embedding模型进行语义检索，但最终生成的答案却常常偏离预期。问题的根源往往不在于大语言模型（LLM）本身，而在于我们喂给它的上下文质量。这就是Reranker（重排序器）的价值所在——它就像一位严谨的"精修裁判"，对初步检索结果进行二次评判和优化。
我曾在多个实际项目中对比过使用和不使用Reranker的效果差异。在一个法律咨询项目中，仅使用向量检索时，系统返回的相关案例准确率约为65%；引入Reranker后，这个数字直接提升到了89%。更令人惊喜的是，由于输入上下文的精准度提高，LLM生成答案的幻觉率也显著下降。
1.1 为什么需要Reranker？
理解Reranker的必要性，首先要明白传统向量检索的局限性。在典型的RAG流程中，向量检索负责从海量文档中快速召回相关文档子集（如Top 100）。这种"初筛"存在两个关键问题：
-
语义相似≠答案相关：Embedding模型找到的是与问题整体语义相似的文档。但实际答案可能只隐藏在文档的某几句话中。例如，当询问"如何解除劳动合同"时，检索到的可能是整部《劳动法》，而真正需要的只是其中关于解除条款的特定章节。
-
双编码器的固有局限：为了追求检索速度，Embedding模型（双编码器）会分别编码问题和文档，然后计算向量相似度。这种方式缺乏问题与文档之间深度的、词对词的交互理解。就像两个人各自读完书后简单交流感受，而不是逐段讨论。
实际经验：在电商客服系统中，用户问"耳机保修期多久"，向量检索可能返回整个产品页面（包含规格、价格等各种信息），而Reranker能精准定位到保修条款段落。
1.2 Reranker的工作原理
Reranker的核心价值在于它采用了完全不同的技术架构——交叉编码器（Cross-Encoder）。与双编码器的独立编码方式不同，交叉编码器会将问题和文档拼接在一起，作为一个整体输入模型，让模型内部进行全方位的词对词注意力交互，直接输出相关性分数。
这种工作方式带来几个显著优势：
- 能捕捉"转折点"、"最便宜"等需要上下文对比的概念
- 对否定词（"不"、"没有"）和程度词（"非常"