UXOFFER1. 大语言模型的"幻觉"现象本质解析
当ChatGPT告诉你"拿破仑在2020年参加了美国总统竞选"时，它并非在故意欺骗，而是陷入了大语言模型(LLM)典型的"幻觉"(Hallucination)状态。这种现象的本质要从语言模型的概率生成机制说起。
LLM本质上是一个基于海量文本训练的概率预测机器。当接收到用户输入时，它会根据上下文计算下一个词元的概率分布，然后通过采样策略（如温度系数调节）选择输出。关键在于：模型永远在"自信地"输出概率最高的词元序列，哪怕这个序列在现实世界中完全不成立。
1.1 概率生成机制的副作用
在预训练阶段，模型通过数十亿次的"给定上文预测下一个词"任务，形成了强大的模式识别能力。但这也带来两个根本特性：
- 无事实核查机制：模型没有内置的"真实性验证"模块，其输出质量完全依赖训练数据的覆盖范围和推理时的上下文约束
- 过度完整性倾向：人类标注数据中完整回答的占比远高于"我不知道"的样本，导致模型更倾向于生成看似完整的回答
python复制# 简化的概率采样示例（实际模型更复杂）
def generate_next_token(probs, temperature=0.7):
probs = softmax(probs / temperature)
return random.choices(vocab, weights=probs)[0]
1.2 训练数据的偏差放大
现有训练数据中存在几个关键偏差：
- 百科类数据中极少出现"本条目暂无内容"的声明
- 技术文档通常提供明确答案而非模糊回应
- 论坛讨论中猜测性回答往往比承认无知的回答获得更多互动
这导致模型在预训练阶段就形成了"宁可编造也要完整"的潜在倾向。研究表明，当模型处于低置信度状态时，其输出内容的KL散度(Kullback-Leibler divergence)会显著升高，但普通解码策略无法有效捕捉这种不确定性。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 过度拒绝(Over-refusal)与幻觉的平衡难题
有趣的是，当开发者试图通过强化学习(RLHF)让模型更诚实时，往往会矫枉过正导致"过度拒绝"问题——模型对稍有不确定的问题就回答"我不知道"。这两种极端情况反映了LLM在事实性回应上的根本困境。