1. 项目概述
在人工智能领域,大语言模型(LLM)正逐渐承担起评估者的角色,这种现象被称为"LLM-as-a-Judge"。这种应用场景下,LLM被用来评估其他模型生成的文本质量,从而减少对人类评估者的依赖。然而,研究发现LLM的评估结果与人类判断之间存在系统性偏差,这种偏差会影响评估的准确性和可靠性。
Bridge框架的提出正是为了解决这一关键问题。作为一个统一的统计框架,它能够在绝对评分和成对比较两种评估范式下,建立人类评估与LLM评估之间的桥梁。该框架的核心假设是:每个提示-响应对都存在一个潜在的人类偏好分数,而LLM的评估偏差可以通过协变量(如响应长度、情感倾向等)的线性变换来建模。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心问题与挑战
2.1 LLM评估与人类判断的差异
在实际应用中,我们发现LLM评估者与人类评估者之间存在几个显著差异:
-
评估标准不一致:LLM往往更注重文本的表面特征(如长度、语法),而人类更关注内容的创造性和深度。
-
偏好倾向不同:实验数据显示,LLM评估者倾向于给简洁的响应更高评分,而人类评估者则更欣赏具有创造性的长文本。
-
评估稳定性:人类评估者在不同时间对相同文本的评分可能存在波动,而LLM评估则表现出更高的稳定性,但这种稳定性可能掩盖了其对文本理解的局限性。
2.2 现有解决方案的不足
目前解决LLM评估偏差的方法主要有两类:
-
直接校准法:通过线性变换调整LLM评分,使其分布与人类评分一致。这种方法简单但缺乏解释性,无法揭示偏差来源。
-
联合训练法:同时训练人类评估模型和LLM评估模型。这种方法计算成本高,且需要大量标注数据。
相比之下,Bridge框架的优势在于:
- 不需要访问LLM的内部权重
- 仅需少量人类标注数据
- 能够解释偏差来源
- 适用于不同类型的LLM评估者
3. Bridge框架详解
3.1 理论基础与模型架构
Bridge框架建立在以下核心假设上:
-
潜在人类偏好分数:对于每个提示-响应对(x,y),存在一个潜在的人类偏好分数h(x,y)。
-
LLM评估模型:LLM的评估分数可以表示为:
code复制s(x,y) = α + βh(x,y) + γ^Tz(x,y)
