RAG系统分层评估：从检索到生成的全面质量保障

1. RAG智能体评测的核心挑战与分层思路

在构建RAG（检索增强生成）系统时，许多团队都会遇到一个共同的困境：系统看似运行良好，但实际效果却难以量化评估。最常见的情况是，当用户反馈"回答错误"时，开发者往往无法快速定位问题根源——究竟是检索环节未能找到正确资料，还是生成模型未能合理利用检索到的证据？

1.1 传统评估方法的局限性

传统评估方法通常只关注最终输出的答案是否正确，这种"黑盒式"评估存在明显缺陷：

• 问题定位困难：当答案错误时，无法区分是检索失败还是生成失败
• 评估结果不稳定：同一系统在不同问题集上表现波动大
• 优化方向模糊：难以确定应该优先改进检索模块还是生成模块

我曾参与过一个企业知识库项目，初期我们仅用答案准确率作为评估指标，结果发现：

• 在简单事实类问题上准确率可达85%
• 但在需要多步推理的问题上骤降至40%
• 更棘手的是，我们无法从单一指标中找出系统薄弱环节

1.2 分层评估框架的价值

通过实践验证，有效的RAG评估必须采用分层方法，将系统拆解为四个关键层面：

1. 检索层：评估召回内容的相关性和覆盖度
2. 归因层：验证答案是否真正基于检索证据
3. 回答层：判断答案的准确性和实用性
4. Agent层（如适用）：检查工具调用的正确性

这种分层方法借鉴了TruLens提出的RAG Triad概念（Context Relevance、Groundedness、Answer Relevance），但根据工程实践进行了扩展。例如，在金融领域的问答系统中，我们通过分层评估发现：

• 检索阶段的Context Recall只有65%，说明知识覆盖不全
• 但Faithfulness达到92%，证明生成模块能很好利用已有证据
• 这明确指出了优化方向应是增强检索能力而非调整生成模型

2. 构建高质量的评测数据集

2.1 评测集的设计原则

在讨论具体指标前，必须首先建立规范的评测数据集。优质的评测集应具备以下特征：

• 问题多样性：覆盖系统实际面对的各种问题类型
• 标注完整性：包含参考答案、关键事实和上下文标识
• 难度梯度：区分基础问题和挑战性问题
• 场景代表性：反映真实使用环境中的典型用例

根据OpenAI Evals框架的建议，每个测试样本应采用结构化表示。以下是我们团队在医疗问答系统中使用的JSON格式：

json复制{
  "question": "二甲双胍的主要副作用是什么？",
  "reference_answer": "常见副作用包括胃肠道反应（如恶心、腹泻）、维生素B12缺乏，罕见但严重的副作用有乳酸酸中毒。",
  "golden_facts": [
    "二甲双胍常见副作用：胃肠道反应",
    "可能引起维生素B12缺乏",
    "严重但罕见的副作用：乳酸酸中毒"
  ],
  "golden_context_ids": ["drug_metformin_001", "drug_metformin_003"],
  "bad_cases": [
    "导致低血糖",
    "引起肝功能损害"
  ],
  "metadata": {
    "difficulty": "medium",
    "scenario": "medication_safety"
  }
}

2.2 场景分类与样本构建

建议将测试问题分为以下几类，每类至少包含20-30个样本：

1. 单跳事实问答：如"公司年假政策是怎样的？"
2. 多跳推理问答：如"比较产品A和B在能耗方面的差异"
3. 比较/汇总类问题：需要整合多个信息来源
4. 长答案生成：需要生成结构化回复
5. 无答案场景：测试系统对未知问题的处理
6. 工具增强场景：评估Agent调用外部API的能力

在电商客服系统中，我们发现多跳问题的表现明显较差：

• 单跳问题平均准确率：89%
• 多跳问题平均准确率：52%
• 通过细分评估发现主要是检索阶段的上下文覆盖不足

关键提示：无答案场景测试至关重要，可有效评估系统是否会产生"幻觉回答"。建议占总样本的15-20%。

3. 检索层评估指标详解

3.1 Context Relevance：语义相关性评估

Context Relevance衡量检索结果与问题的语义匹配程度。Amazon Bedrock将其定义为检索文本块与用户问题的相关度。这个指标回答的核心问题是：系统是否找到了正确的方向？

计算方法通常采用：

1. 人工标注或LLM评估每个检索片段的相关性（0-1分）
2. 计算前k个结果的平均得分

在法律文档检索系统中，我们设置阈值：

• 得分>0.7：相关
• 得分0.4-0.7：部分相关
• 得分<0.4：不相关

优化经验：

• 提升embedding模型质量可显著改善此指标
• 适当调整chunk大小（通常256-512 tokens效果最佳）
• 添加领域特定的同义词扩展有帮助

3