1. SuperGPQA基准设计背景与核心价值
当前主流语言模型评估体系存在明显的学科覆盖失衡问题。以2024年上半年的统计数据为例,计算机科学、数学、物理学三大领域的评估题目占比超过总题量的62%,而农业科学、轻工业技术、服务管理等领域的题目数量不足5%。这种评估偏差直接导致两个严重后果:一方面,模型开发者会过度优化模型在主流学科的表现;另一方面,用户在长尾专业领域使用时可能遭遇"专业能力悬崖"——模型在常见学科对答如流,面对细分领域问题却漏洞百出。
SuperGPQA的诞生正是为了解决这一根本矛盾。我们团队在构建基准前做了三项关键调研:
- 统计了全球TOP200高校研究生专业设置,确认285个学科的分类体系
- 分析了现有12个主流评估基准的学科分布
- 访谈了47个非理工科领域的教育从业者
调研结果显示:在纺织工程、园艺学、酒店管理等学科,现有模型的准确率比计算机科学领域平均低31.7个百分点。这促使我们设计一个真正覆盖人类知识谱系的评估体系。
关键设计原则:每个学科的题目数量与其知识复杂度成正比。例如理论物理学的题目数量是服装设计的1.8倍,但后者仍保持足够区分度的150道专业题目。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 题目构建的三阶段质量控制系统
2.1 源材料筛选阶段
我们从三个维度确保题目源的质量:
- 学术深度:只选用研究生课程大纲、学术会议报告、行业白皮书等专业材料
- 领域平衡:每个学科至少包含:
- 30%理论推导类题目
- 40%实践应用类题目
- 30%前沿进展类题目
- 题型多样性:选择题、案例分析、开放问答的比例控制在4:3:3
实际操作中,我们开发了专业的爬虫工具从IEEE Xplore、ScienceDirect等数据库获取原始材料,并通过学科专家验证其专业性。例如在食品科学领域,我们最终筛选了来自《Journal of Food Engineering》等核心期刊的217篇论文作为题目来源。
2.2 题目转录与优化
原始材料到评估题目的转化需要专业处理:
- 难度控制:使用Bloom分类法确保各认知层级的题目分布:
认知层级 占比 示例 记忆理解 20% 术语定义
