多页文档问答技术：EviGRPO框架与强化学习应用

1. 多页文档理解的技术挑战与EviGRPO框架概述

处理多页文档的问答任务时，传统单页模型面临两个致命缺陷：一是无法有效筛选海量页面中的关键证据，二是难以协调检索与生成的平衡。这就像让一个没有目录检索能力的读者直接翻阅整本百科全书来回答问题——既低效又容易出错。EviGRPO框架的创新之处在于将这个过程拆解为两个明确的认知阶段：先像专业研究员一样快速定位相关章节（证据页检索），再像审稿人一样基于选定内容进行深度推理（答案生成）。

这种"检索-生成"的二分法设计源于对实际文档处理流程的观察。当人类专家处理复杂文档时，通常会先快速浏览各级标题、图表和摘要，锁定几个关键页面后再仔细阅读相关内容。EviGRPO通过强化学习模拟这一过程，其核心组件包括：

• 动态页面注意力机制：为每页计算相关性权重，避免均匀分配计算资源
• 分层奖励函数：分别评估格式规范性、答案准确性和证据相关性
• 课程学习策略：从单页到多页的渐进式训练

关键洞见：实验表明，直接端到端训练的多页模型会有"懒惰学习"倾向——倾向于随机选择页面并生成模糊答案。而分阶段奖励设计迫使模型必须证明其答案的可追溯性。

2. 奖励函数的三重校验体系

2.1 格式一致性奖励：结构化输出的基石

格式奖励看似简单，实则是确保模型可解释性的关键防线。我们要求输出必须严格遵循以下模板：

code复制[推理过程]: <分步骤的逻辑推导>
[证据页]: P3,P5 (需标注具体页码)
[最终答案]: <简洁明确的结论>

这种结构化输出带来三个优势：

1. 自动化评估：程序可以准确解析每个字段
2. 错误诊断：能快速定位是检索还是生成环节出错
3. 人工校验：便于专家审查模型思考过程

在实现细节上，我们采用正则表达式进行格式验证。例如证据页标注必须匹配/P\d+(,P\d+)*/模式，缺失或格式错误直接得0分。实测发现，这种"硬性约束"能有效防止模型产生自由发挥的混乱输出。

2.2 答案准确性奖励：ANLS指标的灵活应用

传统QA任务常用精确匹配(EM)或F1分数，但对多页文档场景过于严苛。我们采用ANLS（归一化编辑距离相似度）：

code复制ANLS = max(1 - edit_distance(pred, gt)/len(gt), 0)

该指标对以下情况更宽容：