1. 项目概述
最近在NIPS 2025上看到一篇很有意思的论文《From Noise to Narrative: Tracing the Origins of Hallucinations in Transformers》,它深入探讨了Transformer模型产生幻觉(hallucination)的内在机制。作为一名长期关注大模型安全性的研究者,我发现这篇论文对理解模型幻觉问题提供了全新的视角。
论文的核心在于:当输入存在噪声、模糊或完全无意义时,Transformer模型内部究竟发生了什么?为什么会产生看似合理但实际上完全错误的输出?这个问题在实际应用中非常关键——比如在医疗诊断、法律咨询等高风险场景,模型幻觉可能导致严重后果。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心研究问题解析
2.1 什么是模型幻觉
在NLP领域,模型幻觉指的是模型生成与输入无关或与事实不符的内容。比如你问"珠穆朗玛峰有多高",模型可能回答"8848米(正确)",但也可能编造一个完全错误的数字,甚至开始描述一段根本不存在的登山历史。
2.2 研究的关键突破点
这篇论文的创新之处在于:
- 不是简单观察输出结果,而是深入模型内部,分析中间层的激活模式
- 建立了输入不确定性(噪声、模糊等)与内部概念激活的定量关系
- 提出了通过干预中间层激活来减少幻觉的方法
3. 实验设计与方法
3.1 稀疏自编码器(SAE)的应用
研究团队采用了三种不同的SAE:
- 噪声训练SAE:在纯噪声数据上训练
- 从零训练SAE:在目标任务数据上从头训练
- 预训练SAE:使用预训练权重初始化
这种设计很巧妙,因为它可以区分:
- 模型固有的概念表征能力(噪声SAE)
- 任务特定的概念学习(从零SAE)
- 预训练知识的迁移(预训练SAE)
3.2 跨模态验证
研究同时在视觉(CLIP-ViT)和语言(Pythia、Gemma)模型上进行了实验,这种跨模态验证大大增强了结论的可信度。我发现他们在图像处理上特别有创意——通过打乱图像小块来定量控制输入的不确定性程度。
4. 关键发现与洞见
4.1 输入不敏感归纳偏置
最惊人的发现是:即使输入纯高斯噪声,模型也会激活连贯的语义概念!这说明Transformer具有强烈的"输入不敏感归纳
