RAG系统评估优化：子问题覆盖框架解析与实践

1. 论文核心价值与行业痛点解析

在当今信息爆炸的时代，检索增强生成（RAG）系统已成为处理复杂知识密集型任务的主流解决方案。然而，当我们深入分析现有RAG系统的评估体系时，会发现一个根本性的缺陷：它们大多停留在"答案是否正确"（faithfulness）和"内容是否相关"（relevance）这类表面指标上，却忽视了复杂开放性问题的本质特征——多维信息覆盖需求。

以医疗咨询场景为例，当用户询问"糖尿病应该如何预防和治疗"时：

• 传统评估可能满足于答案中提到了"控制血糖"和"定期检查"
• 而实际上，完整的回答需要覆盖：饮食控制（核心）、运动建议（核心）、药物选择（核心）、并发症监测（背景）、最新研究进展（可能属于follow-up）等多个维度

这种评估盲区导致三个具体问题：

1. 虚假安全感：系统可能因覆盖了部分核心信息而获得高分，但遗漏了其他同等重要的方面
2. 资源浪费：检索到的有用核心信息可能未被充分利用（论文数据显示利用率最低仅51%）
3. 用户体验割裂：答案结构混乱，重要信息被淹没在次要细节中

2. 子问题覆盖框架的技术实现

2.1 问题分解方法论

论文提出的子问题分解流程并非简单的"分而治之"，而是基于认知科学中的问题空间理论设计的结构化方法。其实施要点包括：

1. 种子问题生成：

python复制def generate_subquestions(question):
    prompt = f"""将以下复杂问题分解为逻辑相关的子问题：
    主问题：{question}
    要求：
    1. 生成15-20个子问题
    2. 确保覆盖问题的不同维度
    3. 保持子问题间的独立性"""
    return gpt4_completion(prompt)

2. 多样性控制：

• 使用温度系数(temperature=0.7)平衡创造性与一致性
• 采用自洽性校验：让模型对生成的子问题两两比较，移除语义重叠度>70%的冗余问题

2.2 三类子问题的精细定义

论文对子问题的分类标准超越了简单的"重要/次要"二分法，建立了多维评估体系：