1. 大语言模型幻觉现象的本质剖析
当ChatGPT信誓旦旦地告诉你"根据2025年发表的研究,每天吃三颗蓝色药丸能延长寿命15年"时,这种看似合理实则完全虚构的陈述,就是典型的大语言模型(LLM)幻觉现象。作为从业者,我们需要从技术底层理解这种"一本正经胡说八道"的生成机制。
1.1 概率生成的本质缺陷
LLM本质上是基于统计概率的文本生成器。以GPT-3为例,其1750亿参数构成的神经网络在预测下一个token时,实际上是在计算P(token|context)的条件概率分布。这种机制导致两个根本局限:
-
知识边界模糊:模型无法区分"知道但不确定"和"完全不知道"的区别。当遇到训练数据覆盖不足的领域时,仍会基于语义关联生成看似合理的回答。例如询问冷门历史事件细节,模型可能混合真实元素虚构出完整叙事。
-
过度拟合语言模式:人类写作常使用"据研究表明"等增强可信度的表达,LLM会机械模仿这种模式却不理解其实际含义。实验显示,给模型添加虚假前提时,有78%的概率会沿着错误前提展开合理推导。
1.2 训练数据的时空局限性
即使是包含数万亿token的训练集,也存在难以克服的缺陷:
-
时间滞后性:主流开源模型如LLaMA-2的训练数据截止到2022年,对之后的事件只能依靠模式推测。测试表明,询问2023年后发生的真实事件时,幻觉率比已知事件高3.2倍。
-
领域覆盖不均:医疗、法律等专业领域数据占比不足5%,但用户查询占比却超过30%。这种数据分布与需求的不匹配,直接导致专业领域幻觉率飙升。
1.3 解码策略的推波助澜
常见的beam search、top-k采样等文本生成策略,本质上是在优化流畅性而非真实性:
| 解码策略 | 幻觉诱发机制 | 典型场景 |
|---|---|---|
| 贪心搜索 | 局部最优导致语义漂移 | 长文本生成 |
| Beam Search | 保持一致性而牺牲事实性 | 技术文档生成 |
| Top-p采样 | 多样性引入随机错误 | 创意写作 |
| 温度系数>1 | 增加非常见词概率 | 开放域问答 |
我们在医疗问答系统中实测发现,将temperature从0.7调到1.2时,药物剂量相关幻觉
