1. 多跳问答的困境与突破
在信息检索领域,多跳问答(Multi-hop QA)一直是个令人头疼的难题。想象一下,你正在处理这样一个问题:"电影《Aylwin》的导演出生在哪里?"要回答这个问题,系统需要先找到电影《Aylwin》的导演是Henry Edwards,然后再去查找Henry Edwards的出生地。这种需要串联多个文档信息才能得出答案的问题,就是典型的多跳问答场景。
传统RAG(检索增强生成)系统采用扁平检索(flat retrieval)方式,为每个文档分块建立索引。这种方式在处理单跳问题时表现尚可,但面对多跳问题时就显得力不从心。问题在于,包含最终答案的文档(如记录Henry Edwards出生地的文档)可能与原始查询的语义相似度很低,在检索阶段根本无法进入Top-K结果列表。
现有的解决方案主要有两类:图RAG(GraphRAG)和迭代RAG(IRCoT)。GraphRAG通过构建文档间的关联图,在查询时进行图遍历来寻找答案路径;IRCoT则采用多次检索-推理迭代的方式逐步逼近答案。这两种方法虽然有效,但都带来了显著的在线计算开销——要么需要复杂的图遍历算法,要么需要多次调用大语言模型(LLM),导致系统延迟高、成本大。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. IndexRAG的核心思想
IndexRAG论文提出了一个颠覆性的观点:文档间的关联性是由其内容决定的,与具体的用户查询无关。以电影导演的例子来说,"Henry Edwards"作为导演出现在电影文档中,作为人物出现在传记文档中,这种关联是文档本身固有的属性,不需要等到查询时才去发现。
基于这个观察,IndexRAG提出了"索引时推理"(Index-time Reasoning)的新范式。简单来说,就是在构建索引的离线阶段,预先分析文档间的关联关系,生成可以直接回答多跳问题的"桥接事实"(Bridging Facts)。这样,在线查询时就能通过单次检索直接获取答案,无需昂贵的在线推理。
这种"时间换空间"的设计哲学,用一次性的离线计算成本,换取了无数次在线查询的高效执行。就像在图书馆建设时就预先编制好各种主题的参考指南,而不是等读者来问时才临时去翻找各种书籍。
3. IndexRAG的技术实现
3.1 离线索引阶段
离线阶段是IndexRAG系统的"大脑",包含两个关键步骤:
