大语言模型RAG技术演进与DRAGIN框架解析

1. 大语言模型的事实性困境与RAG技术演进

在自然语言处理领域，大语言模型（LLM）的"幻觉"问题一直是制约其实际应用的关键瓶颈。这种现象表现为模型生成的文本虽然语法正确、逻辑连贯，但内容却与客观事实不符。特别是在需要专业知识支撑的问答系统、技术文档生成等场景中，这种缺陷尤为明显。

传统解决方案主要分为两类：一是通过扩大模型参数规模和训练数据量来增强模型的知识储备，二是采用检索增强生成（Retrieval-Augmented Generation, RAG）技术。前者虽然能提升模型表现，但存在训练成本高、能耗大等现实问题；后者则通过引入外部知识库，在推理阶段动态补充模型所需信息，成为当前最主流的解决方案。

1.1 静态RAG的技术局限

早期的RAG系统采用静态检索策略，即在生成过程开始前进行一次性的检索操作。这种方法存在两个显著缺陷：

1. 检索时机固定：无法根据生成过程中的实际需求动态调整检索行为
2. 查询构建简单：通常直接使用用户原始提问作为检索查询，缺乏对深层信息需求的挖掘

以医疗问答场景为例，当用户询问"二甲双胍的副作用"时，静态RAG可能检索到大量相关文献，但无法在模型生成具体副作用描述时，针对性地补充更详细的临床数据。

1.2 动态RAG的改进与不足

为克服静态RAG的局限，研究者提出了动态RAG框架，其核心思想是根据生成过程中的实时状态决定是否触发检索。现有动态RAG方法主要分为三类：

1. 固定间隔检索：如每生成N个token触发一次检索
2. 概率阈值检索：当生成token的概率低于预设阈值时触发检索
3. 句子边界检索：在完成一个完整句子后触发检索

然而，这些方法仍然存在明显不足。固定间隔检索可能导致在不必要时引入噪声信息；概率阈值检索难以区分真正需要补充知识的关键token与普通低频词；句子边界检索则可能错过句子中间的关键信息需求点。

2. DRAGIN框架的核心创新

清华大学提出的DRAGIN框架通过两个关键组件解决了上述问题：实时信息需求检测（RIND）和基于自注意力的查询构建（QFS）。这套方案在ACL 2024上发表后，立即引起了学术界和工业界的广泛关注。

2.1 实时信息需求检测机制

RIND模块的创新之处在于建立了三维评估体系