1. 大模型评估的困境与挑战
在当今大模型技术快速发展的背景下,使用大语言模型(LLM)作为评估工具已成为行业标准做法。从MT-Bench的单项评分到AlpacaEval的成对比较,再到RLHF/GRPO的偏好标注,大模型裁判被广泛应用于各类评估场景。然而,这种看似便捷的评估方式却隐藏着严重的可靠性问题。
我最近在项目评估中就遇到了一个典型案例:让GPT-4为两篇技术文档打分,A文档得了4分,B文档得了3分。按照常理,A应该优于B。但当我把两篇文档放在一起让GPT-4直接比较时,它却给出了"B更好"的判断。这种前后矛盾的评估结果让我不得不重新审视整个评估流程。
更令人困扰的是,我们还发现了类似"石头剪刀布"的循环评估现象:A>B>C>A。这种违背基本传递性的评估结果,使得大模型作为裁判的可信度大打折扣。经过深入分析,我发现这些问题并非个案,而是普遍存在于当前的大模型评估实践中。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. TrustJudge框架的核心设计
2.1 分布敏感评分机制
传统的大模型评估通常采用离散评分方式(如5分制),这种方法存在根本性缺陷。当两个回答的实际质量分别为3.8和4.2时,5分制下都会被归为4分,导致细微但重要的差异被完全忽略。这正是造成"评分-比较不一致"问题的根源。
TrustJudge的创新之处在于引入了分布敏感评分(Distribution-Sensitive Scoring)机制:
- 将评分尺度从5分扩展到100分,大幅提升评分粒度
- 对所有候选分数的logits进行softmax处理,获得完整概率分布
- 计算加权期望作为最终评分
这种方法与G-Eval的关键区别在于,TrustJudge通过softmax严格保证概率归一化,避免了非评分token的干扰。在实际应用中,我们观察到原本在5分制下同为4分的两个回答,现在可以区分为83.5分和87.2分,保留了模型内部的细微判断差异。
2.2 似然感知聚合策略
对于成对比较中出现的"模糊平局"问题,TrustJudge提出了两种创新的解决方案:
困惑度基准策略(PPL-Based)
当模型给出平局判断时,分别计算两种排序(A>B和B>A)的困惑度,选择困惑度较低的排列作为最终结果。这是因为模型阅读起来更流畅的排列,通常反映了更可靠的判断。
**双向概率
