RAG系统评估：核心指标与优化实践

1. RAG评估的核心挑战与价值定位

在构建检索增强生成（RAG）系统时，开发者常陷入"黑箱困境"——我们精心设计的管道究竟在哪个环节出现了性能瓶颈？是嵌入模型对行业术语的捕捉不足？还是分块策略破坏了文本的语义连贯性？亦或是大语言模型在生成时忽略了关键上下文？这些问题的答案，都依赖于一套科学完备的评估体系。

RAG评估的特殊性在于其双重组件结构。与单纯评估检索系统或生成模型不同，我们需要同时关注：

• 检索质量：返回的文档是否覆盖用户查询的核心需求
• 生成质量：最终答案是否准确利用了检索到的上下文
• 系统协同：两个组件间的交互是否形成正向循环

以金融领域的智能投顾系统为例，当用户询问"美联储加息对科技股的影响"时：

1. 检索组件需要返回货币政策文件、历史利率数据、行业分析报告等多元材料
2. 生成组件需综合这些材料，输出包含因果关系、数据支撑的连贯分析
3. 评估体系要能识别出是材料检索不全（召回率低），还是生成时曲解了经济术语（忠实度低）

2. 评估指标的三层架构设计

2.1 检索组件评估指标

2.1.1 基础排序指标

• 平均倒数排名（MRR）：重点关注首个相关结果的排名位置

  python复制# 计算示例：相关结果出现在位置1、3、5的三个查询
  reciprocal_ranks = [1/1, 1/3, 1/5]
  MRR = sum(reciprocal_ranks) / len(reciprocal_ranks)  # 约0.51
  

  适用场景：客服系统等需要快速返回首个正确答案的场景

• 标准化折现累积增益（NDCG@k）：评估前k个结果的整体质量

  python复制# 理想排序增益为[3,2,1], 实际排序为[3,1,2]
  def dcg(scores):
      return sum(s / np.log2(i+2) for i,s in enumerate(scores))
  
  actual_dcg = dcg([3,1,2])  # 约4.39
  ideal_dcg = dcg([3,2,1])   # 约4.76
  NDCG = actual_dcg / ideal_dcg  # 约0.92