1. 项目概述:FACTUM技术如何终结大模型"张冠李戴"问题
在长文本RAG(检索增强生成)应用中,我们经常遇到一个令人头疼的现象:模型明明引用了某篇文档,但生成内容却与原文不符。这种现象被称为"归因漂移"(attributional drift),就像学生在论文中错误标注了引用来源一样。传统方法只能给出模糊的"可能错误"判断,而FACTUM技术首次从机械层面揭示了这一问题的本质。
这项技术的核心价值在于:
- 无需人工标注数据,直接分析模型内部状态
- 同时适用于不同规模的模型(如3B和8B参数版本)
- 提供四个可量化的诊断指标,形成完整的"幻觉检测"系统
- 适用于多语言和代码场景,具有广泛的适用性
提示:FACTUM的四个指标就像给模型做了一次"CT扫描",能清晰看到信息在模型内部的流动路径和整合过程。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术原理深度解析
2.1 模型内部的两条信息通路
大模型处理外部文档时,主要通过两条路径整合信息:
| 通路 | 功能 | 可观测信号 | 类比解释 |
|---|---|---|---|
| Attention机制 | 将外部文档内容编码到隐空间 | 注意力权重分布 | 像学生在课堂上记笔记时划重点 |
| FFN(前馈网络) | 从模型参数记忆中提取知识 | 输出向量变化(Δx) | 像学生回忆课本上的相关知识 |
这两条通路协同工作,但传统方法无法区分它们各自的贡献。FACTUM的创新之处在于,它能够分别监测这两条通路的活动状态。
2.2 四个核心指标详解
2.2.1 Context Alignment Score (CAS)
- 定义:引用token与源文档的语义余弦相似度
- 意义:衡量生成内容与原文的贴合程度
- 阈值建议:>0.75为可靠引用,<0.5可能存在幻觉
- 计算示例:
python复制def calculate_cas(source_embedding, generated_embedding): return cosine_similarity(source_embedding, generated_embedding)
