董超华1. 大模型评估的困境与TrustJudge的诞生
大语言模型（LLM）作为评估工具已经成为学术界和工业界的常见做法。从MT-Bench的单项评分到AlpacaEval的成对比较，再到RLHF/GRPO的偏好标注，LLM正在扮演着越来越重要的"裁判"角色。然而，这种看似便捷的评估方式却隐藏着令人担忧的问题——同一个模型给出的评估结果经常自相矛盾。
想象一下这样的场景：你用GPT-4评估两篇文章，A文得了4分，B文得了3分。按照常理，A文应该比B文更好。但当你让同一个模型直接比较这两篇文章时，它却告诉你"B文更好"。更荒谬的情况是出现"A>B>C>A"这样的"石头剪刀布"式循环判断，连最基本的传递性都无法保证。这种评估不一致性在实际应用中并不罕见，严重影响了LLM作为裁判的可信度。
北京大学、清华大学等八所高校的研究团队在ICLR 2026上提出的TrustJudge框架，正是为了解决这一核心问题。其核心思想简单而深刻：与其只取模型输出的离散评分，不如充分利用模型内部的完整概率分布信息。这种方法无需额外训练，就能显著降低评估不一致性，同时提高评估准确率。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 评估不一致性的量化分析
2.1 两种主要的不一致类型
TrustJudge团队通过系统性的测量，将LLM评估不一致性问题量化为了两大类：
评分-比较不一致（Score-Comparison Inconsistency）
当采用单项评分时A比B得分高，但在直接比较时却认为B更好。使用Llama-3.1-70B测试时，这种不一致率高达23.32%——相当于每四次评估就会出现一次矛盾判断。
成对传递性不一致（Pairwise Transitivity Inconsistency）
在成对比较中出现循环偏好（A>B>C>A）或等价矛盾（A=B=C但A≠C）。在Llama-3.1-70B上，这种不一致率为15.22%。
2.2 不一致性的根源探究
为什么会出现这些不一致现象？研究团队从信息论角度进行了深入分析：
离散评分的信息丢失
传统的5分制评分本质上是将模型内部的连续判断强行离散化为几个整数等级。例如，两条回复的实际质量可能是3.8和4.2，但在5分制下都会被归为4分。当直接比较时，模型能够感知到这0.4的细微差别，导致与离散评分结果矛盾。
研究团队还从理论上证明：存在两个不同的概率分布，在离散评分下无法区分，但通过分析完整概率分布可以辨别。这说明离散化在结构上必然导致信息丢失。
模糊平局带来的传递性问题
当成对比较中遇到质量相近的回复时，模型常会给出"平局"判断。但这些平局的性质不同——有些是模型确实认为两者相当，有些则是模型自身的不确定性导致。这些"模糊平局"在不同组合中不一致地出现，就导致了A=B、B=C但A≠C的矛盾情况。
3. TrustJudge的核心方法论
3.1 分布敏感评分（Distribution-Sensitive Scoring）
TrustJudge摒弃了传统直接取用离散评分的做法，转而采用以下创新方法：
- 评分粒度扩展：将评分尺度从5分扩展到100分，提供足够的判断精度
- 概率分布提取：对所有候选分数的logits进行softmax处理，获得完整的概率分布
- 期望值计算：计算加权期望作为最终评分
这种方法使得原本在5分制下同为4分的两条回复，现在可以区分为3.82和4.17，保留了模型能够感知的细微差异。
与G-Eval等方法相比，TrustJudge的关键创新在于使用softmax进行严格归一化，确保概率和为1，避免了非评分token的干扰。
3.2 似然感知聚合（Likelihood-Aware Aggregation）
对于成对比较中的平局情况，TrustJudge提供了两种打破平局的策略：
基于困惑度（PPL-Based）的策略
遇到平局时，分别计算A在前和B在前两种排列的困惑度，选择困惑度较低（即模型认为更通顺）的排列方向作为最终判断。因为模型读起来更通顺的排列，其判断通常更可靠。
双向概率聚合策略
将两个方向的偏好概率相加，取置信度最高的结果作为最终判断。这种方法还能有效抵消位置偏差（position bias）的影响。
4. 理论保证与实验验证
4.1 理论支撑
TrustJudge不仅有直观的解释，还有严格的理论保证：
定理1（信息保持）
存在两个不同的概率分布，在离散评分下无法区分，但通过分布敏感评分可以辨别。
命题1（不确定性降低）
当裁判模型判断模糊时，基于困惑度得到的置信分布的熵严格低于原始判断的最大熵。
这些理论结果说明：TrustJudge能够保留更多信息，同时降低判断的不确定性。
4.2 实验结果
实验使用了MT-Bench（80题）和ArenaHard（500题）数据集，测试了包括Llama-3系列和GPT-4o在内的多种裁判模型。
主实验结果
所有测试模型上的两类不一致性都显著下降，同时精确匹配率提升。特别是Llama-3.2-3B的传递性不一致率从54.69%降至17.76%，降幅接近37个百分点。
消融实验
通过逐项消融研究发现：
- 对于单项评分，softmax归一化和100分制各有贡献
- 对于成对比较，似然聚合和PPL方法都能有效降低传递性不一致，其中似然聚合效果略优
跨架构泛化
在Qwen-2.5、Gemma-2、Llama-3和GPT四个模型家族的12个变体上，TrustJudge都表现出一致的改进效果。值得注意的是，加上似然感知聚合后，8B模型的传递性甚至比未使用TrustJudge的70B模型更好。
意外发现
专门训练过推理能力的模型（如DeepSeek-R1蒸馏版）在做评估时反而更容易自相矛盾，其评分-比较不一致率高达58.75%，是同参数量Llama模型的近两倍。这表明推理能力的强化训练可能以牺牲评估能力为代价。
5. 实际应用与扩展
5.1 作为强化学习的奖励信号
除了评估用途，TrustJudge还可以为强化学习提供更可靠的奖励信号。研究团队将其接入GRPO（Group Relative Policy Optimization）训练Qwen2.5-7B-Instruct模型，覆盖摘要、数学推理、指令遵循等任务。
实验结果显示：
- 使用传统奖励信号训练的模型，其平均奖励甚至略低于原始模型
- 使用TrustJudge奖励信号训练的模型，在所有测试协议下都表现出稳定的提升
这是因为TrustJudge提供的评估更一致，奖励信号噪声更低，使模型能够更准确地学习。
5.2 评分粒度与概率归一化的协同效应
有人可能会问：TrustJudge的效果是来自评分粒度的提高（5分→100分），还是概率归一化的贡献？实验证明两者缺一不可：
- 单纯提高评分粒度确实能降低不一致性，但效果有限
- 在相同粒度下，TrustJudge（结合了粒度提升和概率归一化）始终优于Baseline
- 最佳效果来自于粒度提升和概率归一化的协同作用
6. 实施建议与注意事项
6.1 实际部署考量
在具体实施TrustJudge时，需要注意以下几点：
计算资源需求
分析完整概率分布会比直接取离散评分消耗更多计算资源。在实际应用中，需要权衡精度需求和资源限制，选择合适的评分粒度。
模型选择
不同架构的模型对TrustJudge的响应程度不同。实验表明，并非参数量越大效果越好（如9B的Gemma比27B的Gemma表现更好）。建议在实际应用前进行小规模测试。
领域适配
虽然TrustJudge在多个领域都有效，但对于特定专业领域（如法律、医疗），可能需要调整评分标准和比较策略，以适应领域特性。
6.2 常见问题排查
在使用TrustJudge过程中可能会遇到以下问题：
评分波动问题
如果发现同一输入的多次评估结果差异较大，可以尝试：
- 增加采样温度以平滑概率分布
- 检查prompt设计是否明确
- 考虑使用多数投票机制聚合多次评估
平局处理困难
当成对比较中出现大量平局时，可以：
- 调整平局判定阈值
- 结合两种平局解决策略
- 引入第三方仲裁模型
7. 未来发展方向
虽然TrustJudge已经显著改善了LLM评估的一致性问题，但仍有进一步优化的空间：
多模态评估扩展
当前工作主要针对文本评估，未来可以探索在多模态（图像、视频等）评估中的应用。
动态粒度调整
根据评估对象的差异自动调整评分粒度，在保持精度的同时优化计算效率。
跨模型协同评估
结合多个不同架构模型的评估结果，通过集成学习进一步提高评估的鲁棒性。
在实际使用大模型作为评估工具时，TrustJudge提供了一套系统性的解决方案，让我们能够更可靠地利用这些强大但有时不一致的"裁判"。通过充分挖掘模型内部的概率信息，我们不仅能够获得更一致的评估结果，还能将这些评估可靠地应用于模型训练和优化过程中。