1. RAG技术核心:召回与重排深度解析
在构建现代智能问答系统时,检索增强生成(Retrieval-Augmented Generation,简称RAG)已经成为最主流的技术方案之一。作为一名长期从事NLP系统开发的工程师,我发现很多初学者对RAG中的召回(Retrieval)和重排(Rerank)环节存在理解偏差。本文将基于我在多个工业级项目中的实战经验,详细拆解这两个关键环节的技术原理和工程实践。
1.1 召回阶段:系统性能的基石
召回阶段的核心任务是从海量文档中快速筛选出可能与用户查询相关的候选集。这个过程就像图书馆的图书检索系统——当读者提出需求时,系统需要从数百万册藏书中快速找出几十本可能相关的书籍。
1.1.1 向量相似度计算原理
现代RAG系统主要依靠向量相似度进行召回。其核心技术流程如下:
- 嵌入模型编码:将查询和文档都转换为高维向量(通常768或1024维)
- 相似度计算:在向量空间中计算查询向量与文档向量的距离
- 近邻搜索:返回相似度最高的K个文档作为候选
常用的相似度计算方法有三种:
余弦相似度(Cosine Similarity):
python复制def cosine_similarity(a, b):
return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
这是最常用的方法,只考虑向量方向不考虑长度,适合大多数场景。
点积相似度(Dot Product):
python复制def dot_product(a, b):
return np.dot(a, b)
当向量已经归一化时,点积等价于余弦相似度。
欧氏距离(Euclidean Distance):
python复制def euclidean_distance(a, b):
return np.linalg.norm(a - b)
值越小表示越相似,适合需要考虑向量绝对位置的场景。
工程实践提示:必须确保离线训练和线上服务使用相同的相似度计算方法,否则会导致效果不一致。
1.1.2 Top-K策略的权衡艺术
选择适当的K值(返回的候选文档
