1. 大型语言模型幻觉检测的现状与挑战
在自然语言处理领域,大型语言模型(LLMs)的幻觉问题已经成为制约其实际应用的关键瓶颈。所谓"幻觉",指的是模型生成看似合理但实际上与事实不符的内容。这种现象在医疗诊断、法律咨询等高风险场景中尤为危险——一个错误的医学建议或法律条文引用,可能造成严重后果。
当前主流的幻觉检测方法主要分为两类:基于不确定性的方法和基于内部表示的方法。前者通过测量生成内容的不确定性指标(如困惑度)来判断真实性,但这种方法往往需要额外的计算资源,且无法充分利用模型内部的语义信息。后者则直接分析模型在生成过程中的内部状态(如注意力权重、隐藏层表示),理论上更具潜力,但在实践中存在明显局限。
关键问题在于:现有基于内部表示的方法通常只关注预定义的几个令牌位置(如第一个或最后一个令牌),而忽略了幻觉信号可能分布在序列任意位置的事实。这就好比医生只检查病人的几个固定部位就下诊断,很容易漏掉关键病症。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. HaMI方法的核心设计原理
2.1 多实例学习框架的创新应用
HaMI方法的核心突破是将幻觉检测问题重新定义为多实例学习(MIL)任务。在这种框架下:
- 每个生成序列被视为一个"袋子"
- 序列中的每个令牌被视为一个"实例"
- 包含幻觉的序列是"正袋"——其中只有少数关键令牌携带幻觉信号
- 真实序列是"负袋"——所有令牌都不含幻觉信号
这种建模方式巧妙地解决了关键信号位置不固定的问题。通过设计专门的损失函数,模型能够自动识别出那些最具鉴别性的令牌,而不再依赖人工预设的位置。
在实际实现中,HaMI采用了一种双路径注意力机制:
- 全局路径分析整个序列的宏观特征
- 局部路径聚焦于潜在的关键令牌区域
两路信息最终融合,既保证了上下文连贯性,又不会遗漏分散的幻觉信号。
2.2 不确定性增强的三级表示
HaMI另一个创新点是构建了多层次的不确定性表示体系:
- 令牌级不确定性:分析每个令牌生成时的概率分布波动
- 句子级不确定性:计算整个序列的困惑度指标
- 语义级不确定性:测量生成内容与已知事实的语义偏离程度
这三个层次的信息通过门控机制动态融合,形成了一个强大的联合表示空间。实验表明,这种融合表示比单一层次的信号具有更强的鉴别能力。
