1. 研究背景:RAG与AI决策机制现状
检索增强生成(Retrieval-Augmented Generation, RAG)技术自2020年由Facebook AI团队提出以来,已成为缓解大语言模型"幻觉"问题的标准解决方案。其核心思想是通过实时检索外部知识库,为模型生成提供事实依据。根据2023年arXiv上的统计,超过76%的企业级AI应用采用了某种形式的RAG架构。
但这项技术的广泛应用也暴露了深层次问题。在传统认知中,我们假设LLMs能够像人类专家那样:先理解检索到的多份材料,再通过逻辑推理得出最优结论。CMU团队通过设计GroupQA测试集发现,实际情况更接近于"多数表决"机制——模型倾向于选择出现频率最高的答案片段,而非进行真正的语义整合。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 实验设计:如何检测AI的"伪理性"
2.1 GroupQA数据集的创新之处
研究团队构建的这个评估工具包含三个关键设计:
- 冲突证据组:每组问题配套4-7份材料,其中故意植入矛盾信息
- 线索标记系统:在文本中嵌入可量化的表面特征(如段落顺序、关键词重复次数)
- 正交维度测试:将逻辑正确性与表面线索进行解耦测试
例如在一个医疗问答测试中,提供5篇文献:
- 3篇提到"药物A的治愈率是70%"
- 2篇指出"最新研究显示药物A实际只有50%效果"
- 但后者被刻意放置在更显眼的位置(如首段加粗)
2.2 衡量指标的双重维度
研究没有简单地用准确率判断模型表现,而是设计了两个正交评估轴:
- 语义一致性:答案是否与多数证据的深层含义吻合
- 线索依赖性:答案对表面特征的敏感程度
通过这种设计,能清晰区分模型是"真理解"还是"假模仿"。
3. 核心发现:语言模型的七宗罪
3.1 频率偏见(Frequency Bias)
当冲突信息出现次数差异达到3:2时,模型选择高频答案的概率骤增至82%。更惊人的是,即便低频答案明显更正确(如"地球是平的"出现3次,"地球是圆的"出现2次),GPT-4仍然有73%的概率选择错误的高频答案。
3.2 位置效应(Position Effect)
将关键证据放置在以下位置时,模型采纳概率存在显著差异:
- 首段 vs 末段:+41%采纳率
- 加粗段落
