InnoGym框架：AI创新能力的双维度评估体系

1. 项目背景与核心突破

在人工智能领域，我们正面临一个根本性的评估困境：现有的测试体系过分关注AI系统能否得出正确答案，却忽视了它们是否具备真正的创新能力。这就像评判一个学生时只看考试成绩，而不关心他是否掌握了独立思考的能力。浙江大学张宁宇教授团队与蚂蚁集团合作开发的InnoGym框架，正是为了解决这一关键问题而诞生的。

传统AI评估存在三个主要局限：首先，它们大多采用封闭式问题设计，预设了唯一的正确答案；其次，评估标准过于强调最终结果的准确性，忽视了解决方案的创造性；最后，测试环境往往过于简化，无法反映真实世界问题的复杂性。InnoGym的创新之处在于，它首次建立了一个能够同时量化AI系统"性能突破"和"方法新颖度"的双维度评估体系。

关键提示：真正的创新必须同时满足两个条件——不仅要比现有方案更好，还要采用本质上不同的方法路径。这就像评价一道创新菜，既要味道比传统做法更出色，又要使用全新的烹饪技法。

2. 评估框架设计原理

2.1 双维度评估指标体系

InnoGym的核心在于其精心设计的两个量化指标：

性能增益(Performance Gain)：

• 计算公式：PG = (S_new - S_baseline) / S_baseline
• 其中S_new是新方案得分，S_baseline是目前最优方案得分
• 正值表示超越现有技术水平，负值则表示表现退步

新颖度(Novelty Score)：

• 采用基于大语言模型的语义相似度评估
• 通过六个维度（问题框架、方法论基础等）进行0-4分级评分
• 最终取加权平均值，权重根据任务类型动态调整

这两个指标的组合可以清晰区分三种创新类型：

1. 突破性创新（高PG+高NS）：如Transformer架构之于NLP
2. 性能创新（高PG+低NS）：如ResNet的深度改进
3. 概念创新（低PG+高NS）：如早期量子计算理论

2.2 题库构建方法论

研究团队从197个候选任务中筛选出18个代表性题目，筛选标准包括：

• 领域覆盖：机器学习(7)、系统优化(5)、运筹学(3)、数学(3)
• 难度梯度：包含从Kaggle入门级到ICLR挑战级的不同难度
• 评估可行性：必须提供可复现的评估工具和基线方案
• **计算可