1. 项目背景与核心问题
2025年NIPS会议提出的AbstentionBench项目,直指当前大语言模型(LLM)在不可回答问题(Unanswerable Questions)处理上的系统性缺陷。这个现象在《React: Synergizing Reasoning and Acting in Language Models》等前沿研究中同样被反复提及——当面对超出知识边界或逻辑上无解的问题时,模型往往会强行生成看似合理实则错误的回答。
这种现象背后暴露的是推理能力与自我认知能力的割裂。以GPT-4为例,在数学证明类任务中正确率可达82%,但当被问及"请证明π的最后一位数字"这类无意义问题时,仍有73%的概率会编造虚假证明过程。这种"过度自信"的行为模式严重制约了LLM在医疗诊断、法律咨询等高风险场景的应用可靠性。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 基准测试设计原理
2.1 不可回答问题的分类体系
AbstentionBench构建了目前最完整的不可回答问题分类框架:
- 知识边界型:询问2026年世界杯冠军(未来事件)
- 逻辑矛盾型:"如果所有乌鸦都是白色的,那么这只黑色的鸟是什么?"
- 语义荒谬型:"如何用香蕉建造时间机器?"
- 信息缺失型:"张三昨天午餐吃了什么?"(无上下文)
测试集包含12,800个经过验证的问题样本,每个类别均保持数据平衡。特别设计了"对抗性扰动"子集,即在可回答问题中插入干扰成分(如"已知A>B且B>A,请问A和C的关系?")
2.2 评估指标创新
不同于传统准确率指标,本项目引入:
- 安全弃权率(SAR):正确识别不可回答问题的比例
- 幻觉毒性指数(HTI):错误回答的危害程度量化(基于事实错误、逻辑漏洞、误导性三个维度)
- 认知一致性分(CCS):模型在不同表述的同类问题上表现的一致性
3. 关键技术实现方案
3.1 双通道验证架构
python复制class DualPathVerifier:
def __init__(self, llm_backbone):
self.reasoner = llm_backbone
self.validity_scorer = train_adapter
