默认关系1. 小模型+大数据：RAG性能优化的新范式
在人工智能领域，检索增强生成（RAG）技术已经成为解决大语言模型（LLM）知识局限性的主流方案。传统观点认为，提升RAG系统性能的关键在于使用更大参数量的语言模型，这导致许多企业不惜重金采购或微调百亿、千亿级模型。然而，卡内基梅隆大学的最新研究《Less LLM, More Documents: Searching for Improved RAG》彻底颠覆了这一认知。
研究发现，在RAG框架下，增加文档数量对性能的提升效果，远超过盲目扩大模型规模。这一结论不仅挑战了"越大越好"的模型迷信，更为资源有限的团队提供了一条切实可行的优化路径。本文将深入解析该研究的核心发现，并探讨其在工业实践中的应用价值。
1.1 RAG系统的双轮驱动：检索与生成
RAG系统由两个核心组件构成：检索模块和生成模块。检索模块负责从海量文档中找出与问题相关的片段，生成模块则基于检索结果和问题生成最终回答。传统优化思路过度关注生成模块（即语言模型），而忽视了检索模块的基础作用。
实际上，RAG系统的性能受限于两个关键因素：
- 检索模块能否找到包含正确答案的文档（召回率）
- 生成模块能否正确理解并利用检索到的内容（利用率）
研究数据显示，当语料库规模扩大时，系统找到正确答案的概率显著提升，而不同规模模型对检索结果的利用效率却基本相当。这意味着，在RAG系统中，"找到答案"比"理解答案"更为关键。
1.2 语料库规模的边际效益
卡内基梅隆团队通过精心设计的实验，量化了语料库规模对系统性能的影响。他们将2.64亿篇文档均匀划分为12个分片，通过组合不同数量的分片来模拟不同规模的语料库。这种设计确保了：
- 语料库规模可精确控制
- 各规模下的数据质量保持一致
- 避免因数据分布变化引入额外变量
实验结果显示，在Natural Questions（NQ）数据集上，将语料库从1倍（2200万篇）扩大到12倍（2.64亿篇）时：
- 黄金答案覆盖率从45%提升到75%
- 4B模型的F1分数提升了约20个百分点
- 14B模型的F1分数仅提升约10个百分点
这一数据清晰地表明，中等规模模型从语料库扩展中获得的收益更大，而超大模型的边际收益反而递减。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。