1. 大模型幻觉问题的本质剖析
当ChatGPT信誓旦旦地告诉你"爱因斯坦发明了电话"时,这种看似合理实则荒谬的输出并非简单的"撒谎",而是大语言模型(LLM)与生俱来的特性。这种现象在业内被称为"幻觉"(Hallucination),其根源深植于大模型的概率生成机制中。
想象你正在玩一个文字接龙游戏:每次只能根据前文预测下一个最可能的词。这就是大模型的基本工作原理——通过海量数据训练出的概率分布,以"自回归"方式逐词生成文本。在这个过程中,模型没有真假判断能力,它只是在计算"在给定上下文中,下一个词出现的概率"。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 幻觉产生的三大核心机制
2.1 概率采样中的不确定性积累
大模型通过以下两种主要采样策略生成文本:
- 贪心搜索(Greedy Search):始终选择概率最高的词
- 核采样(Nucleus Sampling):从概率累积超过阈值p的候选词中随机选择
以GPT-3生成"爱因斯坦的贡献"为例:
code复制"爱因斯坦是..." →
P("物理学家")=0.4 | P("科学家")=0.3 | P("发明家")=0.2 | ...
若采用核采样(p=0.9),可能选中低概率但语义相关的"发明家",进而错误延续到"发明了电话"。
2.2 训练数据的固有缺陷
典型训练数据包含以下噪声:
- 网络文本中的事实错误(占比约3-5%)
- 虚构内容(小说、段子等)
- 矛盾陈述(不同来源对同一事实的描述差异)
模型通过最大似然估计学习时,无法区分《百科全书》和科幻小说的可信度差异。当被问及"光速是多少"时,可能同时学到:
- 正确:299,792,458 m/s(来自科普文献)
- 错误:350,000 m/s(来自某论坛错误讨论)
2.3 评估指标的逆向激励
当前主流评估体系存在"猜测奖励"现象:
| 行为 | 准确率影响 | 幻觉风险 |
|---|---|---|
| 正确回答 | +1分 | 0% |
| 错误回答 | 0分 | 100% |
| 回答"不知道" | 0分 | 0% |
在1000个问题中:
- 保守模型(100次回答,900次"不知道"):准确率10%
