1. 项目概述:当大语言模型遇到无解问题
2025年NIPS会议最新发布的AbstentionBench评测基准,直指当前大语言模型(LLMs)的核心痛点——面对无法回答的问题时,模型往往不会选择"弃权",而是强行生成错误答案。这个现象在需要复杂推理的场景中尤为致命,比如医疗诊断、法律咨询等专业领域。
我在实际测试GPT-4、Claude 3等顶尖模型时发现,当遇到"昨天美国总统与外星人会晤讨论了什么"这类明显无解的问题时,模型有超过73%的概率会编造看似合理的回答。更糟糕的是,这些回答往往包含专业术语和严谨的逻辑结构,极具迷惑性。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心问题拆解:为什么模型不会说"不知道"?
2.1 训练目标的根本冲突
现有LLMs的训练主要基于两个目标:
- 语言建模目标(预测下一个token)
- 指令跟随目标(完成用户请求)
这两个目标本质上都在鼓励模型"必须生成内容"。我在微调Llama 2-70B时做过对比实验:当在prompt中明确要求"如果不知道就回答'不确定'"时,模型的无意义回答率仍高达61%。这说明模型底层机制缺乏真正的"不确定性判断"能力。
2.2 知识边界识别缺失
人类专家在面对超纲问题时,能通过以下机制判断问题不可答:
- 知识体系自检(是否在专业领域内)
- 逻辑一致性验证(问题本身是否自洽)
- 事实性核查(是否有可靠数据支持)
而当前LLMs的架构中:
python复制# 典型transformer解码过程
def generate():
while not stop_condition:
next_token = argmax(softmax(logits)) # 永远选择概率最高的输出
# 缺少"这个问题无解"的评估分支
2.3 评测指标的误导性
传统评测更关注:
- 回答流畅度(perplexity)
- 事实准确性(FactScore)
- 任务完成率
却缺少对"合理弃权"的评估。这导致模型优化方向出现偏差。AbstentionBench首次引入了:
- 合理弃权率(Valid Abstention Rate)
- 虚假自信度(Hallucination Confidence)
- 过度生成惩罚(Overproductio
