Agent+关键词搜索：颠覆传统RAG的新方案

1. 研究背景：传统RAG的困境与突破

在当今大模型应用落地的浪潮中，检索增强生成（RAG）技术已经成为解决模型幻觉问题和接入私有知识库的标准方案。传统RAG系统通常由三个核心组件构成：嵌入模型、向量数据库和分块策略。这套架构通过将文档分块、向量化存储，在查询时进行语义检索匹配相关片段，最后交给大模型生成答案，确实在很大程度上提升了生成内容的准确性和可靠性。

然而，随着行业应用的深入，传统RAG架构的局限性日益凸显。首先，系统集成与维护成本居高不下。一个完整的RAG系统需要部署嵌入模型、配置向量数据库，并不断调优分块策略。知识库每次更新都需要重新执行分块、嵌入和索引入库的全流程，这对于需要高频更新的业务场景极不友好。其次，检索质量高度依赖人工调优。分块大小、重叠率、检索条数等参数的设置直接影响最终效果，而这些参数的优化往往需要大量试错。最后，面对复杂结构文档（如包含表格、长段落、跨页引用的PDF文件），固定分块策略经常导致信息被拆解破碎，严重影响检索效果。

正是在这样的背景下，亚马逊AWS团队提出了颠覆性的解决方案。他们的研究表明，基于智能体（Agent）的关键词搜索系统，无需任何向量数据库和语义检索，就能达到传统RAG系统90%以上的性能表现，在某些场景下甚至能够反超。这一发现不仅挑战了行业对RAG技术的固有认知，更为轻量化、低成本的大模型知识库落地提供了全新思路。

2. 技术方案解析：Agent+关键词搜索的创新架构

2.1 核心设计理念

亚马逊团队提出的方案摒弃了传统RAG中的向量数据库和语义检索组件，转而采用基于工具增强的Agentic关键词搜索框架。这套系统的核心创新在于将信息检索的决策权完全交给大模型的推理能力，而非依赖固定的语义检索算法。Agent可以根据查询的复杂程度，自主决定搜索策略，通过多轮迭代获取最相关的上下文信息。

这种设计理念的突破性在于，它重新定义了"检索增强"的本质。传统RAG将"检索"等同于"向量检索"，而新方案则证明，通过大模型自主控制的关键词搜索同样能实现有效的检索增强，且在某些场景下效果更优。这种转变反映了从"算法主导"到"模型主导"的范式迁移，让大模型真正成为系统的智能核心。

2.2 具体实现流程

系统的具体工作流程被封装成一套可迭代的搜索算法，主要包含以下步骤：

1. 元数据收集阶段：Agent首先执行脚本读取目标文件夹内所有文档的元数据，建立对知识库内容的初步认知，了解有哪些文档以及各自的主题范围。

2. 关键词搜索阶段：基于用户查询，Agent自主生成搜索命令（如rg、pdfgrep等Linux工具命令），在Shell中执行并获取关键词匹配的原文上下文。这一步骤的关键在于，Agent能够根据查询语义自动提取最相关的关键词组合。

3. 结果评估阶段：根据搜索结果，Agent判断是否需要补充搜索、调整关键词/正则表达式，或者已经获取足够信息生成答案。这一决策过程完全由大模型的推理能力驱动。

4. 迭代优化阶段：系统重复执行搜索-评估流程，直到达到最大迭代次数或确认已找到完整答案。这种迭代机制使得系统能够逐步逼近最优解，而非依赖单次检索的运气。

与传统RAG相比，这套方案的最大优势在于其灵活性和适应性。面对复杂查询时，Agent可以自主决定搜索策略的宽泛程度，通过多轮搜索补全上下文，彻底摆脱了固定分块策略的限制。特别是在处理表格数据、跨页引用等场景时，这种灵活性展现出明显优势。

3. 实验验证与性能对比

3.1 实验设置与方法论

为了客观评估Agent搜索方案的有效性，亚马逊团队设计了严谨的对照实验。基线系统采用传统RAG架构，配置如下：

• 嵌入模型：Amazon Titan Text V2（1024维）
• 向量数据库：OpenSearch无服务向量索引
• 分块策略：300token分块大小，20%重叠率
• 生成模型：Anthropic Claude 3 Sonnet

实验组则采用相同的生成模型，但替换为LangChain ReAct框架实现的Agent系统，可调用pdfmetadata、rg、pdfgrep三款Shell工具进行文档搜索。温度参数设置为0.001以保证结果稳定性。

评估采用RAGAS框架的三个核心指标：

• 忠实度（Faithfulness）：衡量生成答案与提供上下文的事实一致性
• 上下文召回率（Context Recall）：评估系统检索相关上下文的能力
• 答案正确率（Answer Correctness）：综合判断答案的准确性

3.2 主要实验结果

在五个不同领域的数据集上，Agent方案表现出色：

从数据可以看出，Agent方案在大多数指标上达到了传统RAG 90%以上的性能，在某些数据集上甚至近乎持平。特别值得注意的是，在BlockchainSolana和LLM Survey paper两个技术文档数据集上，答案正确率的达成率分别达到99.97%和99.51%，几乎与传统RAG无差别。

3.3 金融文档场景的突破性表现

在专门测试复杂金融文档的FinanceBench数据集上，Agent方案展现出对传统RAG的明显优势：

传统RAG在金融财报这类复杂结构文档上的表现相当有限，正确率仅为24.24%。而Agent方案通过多轮迭代搜索，平均正确率达到32.71%，最高达到39.64%，相对提升超过60%。这一结果充分证明了Agent方案在处理表格、跨页数据等复杂内容时的独特优势。

4. 方案优势与适用场景分析

4.1 核心优势总结

1. 显著降低系统复杂度：省去了嵌入模型、向量数据库等组件，系统架构更加简洁，维护成本大幅降低。新增文档只需放入指定文件夹即可，无需复杂的预处理流程。

2. 处理复杂文档能力突出：对于包含表格、图表、跨页引用的文档，特别是金融财报、技术白皮书等专业材料，表现优于传统RAG。

3. 开发部署更加便捷：完全基于命令行工具实现，环境依赖简单，复现性强，避免了GUI操作带来的不稳定性。

4. 适应高频更新场景：知识库更新即时生效，无需重新执行嵌入和索引构建，特别适合新闻、政策等需要实时更新的应用。

4.2 适用场景建议

基于实验结果和分析，我们认为Agent+关键词搜索方案特别适合以下场景：

• 文档结构复杂，包含大量表格、图表的技术文档或财务报告
• 知识库需要频繁更新的实时信息查询系统
• 资源有限，希望简化技术栈的中小型项目
• 查询意图明确，关键词能较好表达信息需求的场景

4.3 当前局限性与改进方向

尽管表现优异，该方案仍存在一些局限性：

1. 对于需要深度语义理解的模糊查询（如概念解释、观点分析等），效果不如传统RAG
2. 受限于大模型上下文窗口，难以处理超大规模文档集合
3. 多跳推理能力（需要串联多个段落信息的查询）有待提升

可能的改进方向包括：

• 结合轻量级语义分析辅助关键词提取
• 开发更智能的文档分区策略，而非完全放弃分块
• 优化迭代搜索策略，提升多轮检索效率

5. 技术实现细节与实操建议

5.1 系统架构设计

要实现一个高效的Agent搜索系统，建议采用以下架构设计：

1. 文档预处理层：

   • 文件格式统一化处理（确保PDF可被标准工具解析）
   • 基础元数据提取（文件名、创建日期、页数等）
   • 可选的内容预分析（识别文档类型、主要章节等）

2. Agent核心层：

   • 查询理解与关键词提取模块
   • 搜索策略决策模块
   • 结果评估与迭代控制模块

3. 工具集成层：

   • 文件内容搜索工具（rg、pdfgrep等）
   • 元数据查询工具（pdfinfo等）
   • 可选的其他专业工具（如表格提取工具）

4. 生成与反馈层：

   • 答案生成与格式化
   • 置信度评估
   • 搜索过程的可解释性输出

5.2 关键参数配置

在实际部署时，以下几个参数需要特别关注：

1. 搜索工具选择：

   • 对于纯文本：ripgrep (rg) 是高效选择
   • 对于PDF：pdfgrep或专用PDF解析工具更合适
   • 考虑支持正则表达式的高级搜索功能

2. 迭代控制参数：

   • 最大迭代次数（建议3-5轮）
   • 最小相关性阈值（决定何时停止搜索）
   • 搜索范围扩展策略（如放宽关键词匹配条件）

3. 生成模型配置：

   • 温度参数（建议0-0.1以获得稳定结果）
   • 最大输出token数（根据答案复杂度调整）
   • 系统提示词设计（明确Agent的角色和能力范围）

5.3 性能优化技巧

根据实际部署经验，以下技巧可以进一步提升系统性能：

1. 查询预处理：

   • 识别并处理否定词（"不"、"没有"等）
   • 提取核心名词短语作为优先搜索项
   • 区分事实性查询和观点性查询

2. 搜索策略优化：

   • 初始搜索使用较严格的关键词组合
   • 后续迭代逐步放宽搜索条件
   • 对长文档采用分段搜索策略

3. 结果后处理：

   • 去除重复或高度相似的搜索结果
   • 按相关性排序返回的上下文片段
   • 对表格数据进行特殊标记和格式化

6. 行业影响与未来展望

这项研究最深远的影响在于它重新定义了RAG技术的核心价值主张。传统上，行业将RAG与向量数据库、语义检索紧密绑定，而亚马逊的研究证明，检索增强可以有更灵活、更轻量化的实现方式。这种理念转变将促使开发者重新评估他们的技术选型，特别是在以下方向：

1. 混合检索策略：未来系统可能会结合关键词搜索和语义检索的优势，根据查询类型动态选择最合适的检索方式。例如，对事实性查询使用关键词搜索，对概念性查询使用语义检索。

2. 更智能的Agent架构：当前的搜索Agent还可以进一步强化，例如增加对搜索结果的可信度评估、自动生成搜索策略的优化建议等。大模型在检索过程中的决策能力还有很大提升空间。

3. 领域自适应优化：针对特定领域（如法律、医疗）开发定制的搜索策略和关键词扩展方法，可以进一步提升专业场景下的表现。这包括领域术语识别、同义词扩展等技术的集成。

4. 端到端学习：未来可能会出现能够端到端学习检索策略的Agent系统，通过反馈循环不断优化其搜索行为，而不仅依赖预设的工具和规则。

这项研究也引发了对大模型时代信息检索本质的重新思考。当大模型具备强大的推理和决策能力时，传统的检索算法可能更多扮演工具角色，而非系统核心。这种转变将深刻影响未来知识管理系统和问答系统的设计理念。