MergePRAG：多跳问答中的参数化检索增强生成技术

1. 论文核心贡献与背景解析

MergePRAG论文的突破性在于首次将参数化检索增强生成（PRAG）技术成功扩展到多跳问答场景。传统RAG系统面临三个关键瓶颈：首先是上下文窗口限制，当需要注入多个检索段落时，输入长度会急剧膨胀；其次是噪声敏感性问题，无关检索内容容易干扰模型生成；最后是知识冲突，外部检索结果可能与模型内部参数存储的知识产生矛盾。

现有的参数化RAG方法（如PRAG、DyPRAG）虽然通过将检索内容转化为模型参数更新来规避部分问题，但都局限于单步检索场景。当面对"检索→推理→再检索"的复杂多跳问答时，简单叠加参数更新会导致严重的知识干扰现象——新知识的注入会扭曲或覆盖已有知识表征。MergePRAG创新性地引入Gram-Schmidt正交化过程，确保每一跳的知识更新都沿着参数空间的互补方向进行，实现了多轮知识注入的无损累积。

关键洞察：将多跳问答视为持续学习过程，每轮检索到的段落视为一个"段落专家"，通过正交投影确保新专家与已有专家组的参数更新方向互不干扰。

2. 方法架构深度拆解

2.1 整体工作流程

MergePRAG采用三阶段处理流水线：

1. 子问题分解与检索：基于当前推理链Ct-1生成子问题sqt，检索相关段落集合SPt
2. 超网络参数化：通过轻量级Transformer编码器将段落转化为LoRA风格的Key-Value记忆矩阵
3. 正交持续合并：使用Gram-Schmidt过程将新参数与历史参数正交化合并，仅更新基座模型的特定关键层

这种设计使得系统可以迭代执行"生成→检索→参数化→合并→生成"的循环，直至得出最终答案。与传统RAG相比，参数化方法避免了反复拼接长上下文带来的计算开销。

2.2 超网络参数化细节

超网络Hφ采用三层Transformer编码器+MLP的结构，其核心功能是将文本段落p映射为紧凑的Key-Value记忆对。具体实现中：

• 输入段落被分割为64个token的片段
• 每个片段通过超网络生成k=4组768维的{Ki,Vi}对
• 这些记忆矩阵将被注入到基座模型的FFN层，通过记忆注意力机制影响前向计算：

  python复制def forward_with_memory(x, K, V):
      mlp_out