1. 项目背景与核心挑战
最近在优化RAG系统时,我发现一个残酷的现实:市面上90%的演示案例都在用简单文本文档测试,一旦遇到真实场景中的复杂PDF(特别是含表格的学术论文/财报),系统表现立刻"现原形"。为此我整理了这个4K量级的高难度PDF问答测试集,专门针对表格处理、跨页引用、公式识别等痛点场景设计。
这个测试集的独特之处在于:
- 包含200+份真实场景PDF(学术论文/财报/产品手册混合)
- 表格密度高达43%(远高于普通文档的5-15%)
- 专门设计跨页连续表格(如财报中的利润表延续)
- 包含数学公式、化学式等特殊符号
实测发现:即使使用顶级商业PDF解析器,表格结构识别错误率仍超过30%,这是当前RAG系统准确率低下的首要原因
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 测试集构建方法论
2.1 文档采集标准
采用分层抽样法确保测试集代表性:
-
领域分布:
- 学术论文(40%):含IEEE/Springer格式的复杂排版
- 企业财报(30%):典型的多栏表格+跨页数据
- 技术手册(20%):流程图+参数表格混合
- 政府文件(10%):扫描件+手写批注
-
难度分级:
markdown复制
| 等级 | 特征 | 占比 | |------|---------------------------|------| | L1 | 纯文本+简单表格 | 15% | | L2 | 多栏表格+基础公式 | 35% | | L3 | 嵌套表格+跨页引用 | 30% | | L4 | 扫描件表格+手写批注 | 20% |
2.2 问题设计策略
采用"问题-子问题"的树状结构:
- 每个文档配套20个问题,包含:
- 5个表格数据查询(如"2023年Q2的毛利率是多少?")
- 5个跨表格比较(如"对比Table3和Table5的增长趋势")
- 5个需要公式理解的问题(如"根据式(2)计算当x=5时的y值")
- 5个综合推理题(如"分析导致图8中异常值的原因")
关键技巧:在问题中故意插入1
