1. 项目概述:RAG系统中的双引擎架构
在构建基于大语言模型(LLM)的问答系统时,检索增强生成(Retrieval-Augmented Generation,RAG)技术已成为解决模型"幻觉"问题的标准方案。这个架构的核心在于两个关键组件:embedding模型负责将文本转化为向量表示,而rerank模型则对初步检索结果进行精细化排序。就像图书馆的检索系统需要先通过关键词找到书籍(embedding),再根据相关性对结果进行二次筛选(rerank)一样,这两个模型共同构成了RAG系统的"双引擎"。
当前主流的技术栈中,embedding模型如OpenAI的text-embedding-ada-002、Cohere的embed-multilingual-v3.0,以及国产的qwen-embedding-v4等,都在不同场景下展现出色表现。而rerank阶段则常用cross-encoder结构的模型,如MXBAI的bge-reranker-base或Cohere的rerank-english-v3.0。理解这两个组件的模型结构差异,对于优化RAG系统的召回率和准确率至关重要。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Embedding模型结构解析
2.1 基础架构:从BERT到专用embedding模型
现代embedding模型大多基于Transformer架构,但与传统BERT类模型存在显著差异。以BAAI的bge系列为例,其核心改进包括:
-
无监督对比学习预训练:采用大规模文本对(title-content、question-answer)通过InfoNCE损失函数进行训练,使相似语义的文本在向量空间靠近。公式表示为:
code复制L = -log[exp(sim(q,k+)/τ) / Σ exp(sim(q,k)/τ)]其中q为查询向量,k+为正例样本,k为负例样本,τ为温度系数。
-
维度优化技术:通过以下方法提升向量质量:
- 层归一化(LayerNorm)前置
- 均值池化时移除CLS token
- 添加可学习的温度参数τ
-
动态负采样:在训练批次内自动构造困难负样本(hard negative),提升模型区分相似文本的能力。
提示:选择embedding模型时
