法律RAG基准：构建与评估法律检索增强生成系统

1. 法律RAG基准的诞生背景

在法律科技领域，检索增强生成（RAG）系统正逐渐成为律师和研究人员的得力助手。然而，现有的评估方法存在明显缺陷——它们要么过于简单化，要么与真实法律实践脱节。这就像用小学数学题来测试大学生的数学能力，根本无法反映实际应用场景中的复杂需求。

传统法律评估数据集普遍存在三个致命伤：

• 标注质量低下：许多数据集采用自动化方法生成，缺乏法律专家参与。例如AILA数据集将案件事实与引用该案件的判决书机械配对，却忽略了法律引用往往与原始案件事实无关这一基本常识。
• 任务设计不合理：号称测试法律推理能力的LegalBench中，70%以上的任务实际上是简单的文本分类（如判断条款是否描述许可证授予），与复杂法律分析相去甚远。
• 评估指标失真：商业模型通过"刷题"（训练数据包含测试题）获得虚高分数，就像学生提前知道考试答案，这种成绩自然无法反映真实能力。

典型案例：某知名基准中的一道"法律题"要求判断两块土地的所有权，却连适用哪个司法管辖区的法律都未说明。更荒谬的是，标准答案本身在法律上就是错误的——已通过遗产更正地契的Tommy不可能同时拥有A、B两块土地。

2. Legal RAG Bench的创新设计

2.1 数据集的构建哲学

我们以维多利亚州刑事指控手册（Criminal Charge Book）为基础，构建了包含4,876个法律段落的核心语料库。选择刑事法律领域具有战略意义：

• 高频需求：刑事法律咨询是法律援助中最常见的需求
• 高专业性：涉及复杂的程序规则和证据标准
• 低资源性：相比商业法律，刑事法律AI研究资源投入不足

段落处理采用双重拆分策略：

1. 结构拆分：按章节层级（Chapter→Subchapter→Section）保持法律文本的原始组织结构
2. 语义分块：使用semchunk算法对长段落进一步切分，确保每块≤512个法律专用token（采用Kanon法律分词器统计）

2.2 问题设计的艺术

我们手工撰写的100个测试问题坚持三个原则：

1. 现实性：每个问题都对应刑事律师实际工作中可能遇到的场景
   • 例："当被告人在保释期间违反宵禁规定，但声称是为了照顾突发疾病的父母时，法官应考虑哪些因素？"
2. 精确性：每个问题有且只有一个段落能提供完整正确答案
3. 语义挑战：刻意使问题表述与答案段落的用词差异最大化
   • 避免模型通过关键词匹配"作弊"，强制其理解法律概念的本质

2.3 评估方法论的突破

传统评估就像黑箱测试——只看最终答案对不对。我们则像法律界的"手术刀"，实施全因子实验设计：

• 控制变量：固定RAG管道（LangChain基础架构）、温度参数（temperature=0）
• 测试组合：3种嵌入模型 × 2种生成模型 = 6种完整配置
• 三维评估指标：

  markdown复制| 指标          | 定义                                      | 测量重点           |
  |---------------|------------------------------------------|--------------------|
  | 正确性(cₑₗᵢ)  | 生成答案是否法律上正确                   | 最终输出质量       |
  |  groundedness(gₑₗᵢ) | 答案是否严格基于检索段落（无论段落相关性） | 可验证性           |
  | 检索准确率(rₑₗᵢ) | 是否检索到真正相关的段落                | 信息检索能力       |
  

3. 颠覆性发现与行业启示

3.1 检索质量的决定性影响

实验结果打破了"生成模型决定上限"的固有认知：

• Kanon 2嵌入模型使整体准确率平均提升17.5%，远超不同生成模型间的差距（Gemini 3.1 Pro仅比GPT-5.2高3%）
• 优质检索可以弥补普通生成模型的不足：
  • Kanon 2 + GPT-5.2组合的准确率（82.1%）
  • 优于Gemini嵌入 + Gemini 3.1 Pro组合（64.6%）

关键发现：当检索准确率低于60%时，即使使用顶级生成模型，系统整体准确率也无法突破65%。这就像律师再优秀，如果拿到的案例资料全是错的，也不可能给出正确建议。

3.2 法律幻觉的真相

传统观点认为"幻觉"（编造虚假信息）是生成模型的固有缺陷。但我们通过分层错误分析发现：

• 67%被归类为"幻觉"的错误，根源其实是检索失败
• 当相关段落被正确检索时，GPT-5.2的幻觉率从14.2%降至7.5%
• 生成模型可能具备"自知之明"：当提供高质量检索结果时，它们更倾向于忠实引用，而非自由发挥

错误类型精确定义：

python复制def classify_error(g, c, r):
    if not g: return "Hallucination"
    if not c and not r: return "Retrieval Failure" 
    if not c and r: return "Reasoning Failure"

3.3 领域专用模型的价值

Kanon 2作为法律专用嵌入模型，在同类测试中展现出压倒性优势：

• 对法律术语的敏感度：能识别"mens rea"(犯罪意图)与"actus reus"(犯罪行为)的语义关联
• 长尾概念覆盖：正确处理"double jeopardy"(一事不再理)等专业表述
• 跨法域理解：虽然基于澳大利亚法律训练，但对英美法系概念保持兼容

4. 实践指南：构建法律RAG系统

4.1 组件选型建议

基于我们的基准测试，给出具体配置方案：

markdown复制1. 嵌入模型选择
   - 首选：Kanon 2 Embedder（法律专用）
   - 备选：OpenAI Text Embedding 3 Large（需法律微调）

2. 生成模型选择
   - 平衡型：Gemini 3.1 Pro（综合表现最佳）
   - 严谨型：GPT-5.2 High Reasoning模式（引用更规范）

3. 分块策略
   - 优先保持法律条款完整性（如整条法规作为一个块）
   - 超过512 token时按语义切分（避免拆分"构成要件"列表）

4.2 管道优化技巧

我们在构建测试框架时积累的实战经验：

• 检索后过滤：添加法律来源可信度评分（如优先采用判例法而非法学评论）
• 提示词工程：在系统指令中强调"即使问题看似简单，也必须严格引用法条"
• 混合检索：结合语义搜索与法律条文编号精确匹配（如"Crimes Act 1958 s.23"）

4.3 错误诊断方法

当系统给出错误答案时，建议排查流程：

1. 检查检索结果：是否包含真正相关的法律依据？
2. 验证生成过程：是否无视了提供的相关段落？
3. 分析错误类型：
   • 检索失败→优化嵌入模型或分块策略
   • 推理失败→调整生成模型温度或添加法律推理链提示
   • 幻觉→加强groundedness约束

5. 争议与验证

我们注意到与Vals AI的CaseLaw基准存在显著差异：

• 在CaseLaw中GPT 5 Mini排名第一，而我们的测试显示其准确率比GPT-5.2低11%
• 经样本对比发现，CaseLaw存在：
  • 问题表述模糊（未指明适用法域）
  • 答案标准过时（未考虑最新判例）
  • 评估方法不透明（未公布具体评分标准）

为保障结果可复现，我们：

• 完整公开4,876个法律段落和100个问题
• 提供交互式数据浏览器（可查看每个测试案例的详细过程）
• 采用GPT-5.2作为"裁判员"进行二次验证（人类律师复核一致率达92%）

法律AI的发展正处在关键转折点。当技术专家与法律从业者深度协作——就像我们团队同时具备法律执业资格和机器学习博士学位——才能打造出真正实用的工具。测试表明，单纯扩大模型参数不如优化领域适配性，这或许揭示了专业垂直化的发展路径。

未来工作将聚焦三个方向：

1. 扩展多法域评估（当前仅涵盖普通法系）
2. 开发面向法律推理的专用评估协议
3. 构建端到端的开源法律RAG参考实现

法律科技的终极目标不是替代律师，而是通过可靠的技术工具，让法律服务像医疗诊断一样建立在坚实的证据基础之上。要实现这一点，首先需要的就是Legal RAG Bench这样经得起推敲的评估标准。