1. RAG技术的前世今生:从信息检索到生成式增强
检索增强生成(Retrieval-Augmented Generation,简称RAG)技术的出现并非偶然,而是自然语言处理领域多年演进的必然产物。要真正理解RAG的价值,我们需要回溯到上世纪50年代。早期的语言处理系统完全依赖人工编写的规则,比如著名的ELIZA聊天机器人(1966年),它通过简单的模式匹配和脚本响应来模拟心理治疗师的对话。这种基于规则的系统虽然开创了人机交互的先河,但缺乏真正的语言理解和知识处理能力。
2000年后,随着统计机器学习方法的兴起,信息检索技术开始走向成熟。BM25算法(2009年优化版本)成为搜索引擎的核心排序算法,它通过计算查询词项与文档的统计相关性来实现高效检索。与此同时,语言模型从n-gram逐步发展到神经网络语言模型(NNLM),为后来的深度学习革命埋下伏笔。
真正的转折点出现在2017年——Transformer架构的诞生。Google提出的这一创新架构通过自注意力机制,使模型能够动态关注输入序列的不同部分。基于Transformer的BERT(2018)和GPT系列(2018-2020)模型展现了惊人的语言理解和生成能力。然而,这些大型语言模型(LLM)存在一个根本性缺陷:它们的知识完全来自训练时的数据快照,无法动态获取最新信息,也难以处理特定领域的专业知识。
2020年,Meta(原Facebook)的研究团队首次提出RAG架构,将信息检索与文本生成有机结合。这种混合系统既能利用LLM强大的语言生成能力,又能通过实时检索获取最新知识,完美解决了传统LLM的"知识冻结"问题。在金融领域,RAG系统可以实时查询市场数据后生成分析报告;在医疗领域,它能结合最新医学文献给出诊断建议——这些都是传统LLM无法实现的。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. RAG核心架构的三大支柱
2.1 检索子系统:知识获取的智能门户
现代RAG系统的检索子系统远非简单的关键词匹配工具。以典型的金融问答系统为例,其检索流程包含多个精密设计的环节:
首先,查询理解模块会对用户输入进行深度解析。当用户询问"美联储最近加息对科技股的影响"时,系统会识别关键实体("美联储"、"加息"、"科技股")和关系("影响"),并可能扩展相关术语(如"利率政策"、"纳斯达克指数")。这个过程往往借助命名实体识别(NER)和依存句法分析等技术。
接着,向量编码器将查询和文档转换为高维向量。目前主流方案包括:
- 专用嵌入模型:如bge-reranker-large(专为检索优化)
- 多向量编码:ColBERT采用的token级向量表示
- 稀疏-稠密混合:SPLADE等模型同时生成稀疏和稠密向量
在实际部署中,检索通常采用多阶段策略。第一阶段的召回(Recall)可能同时使用:
- 关键词检索(Elasticsearch的
