小模型在LLM评测中的异常表现与改进方案

1. 现象复盘：小模型评分异常背后的深层逻辑

在自然语言处理领域，使用大语言模型(LLM)作为评估工具(LLM-as-a-Judge)已成为行业标准做法。然而，我们在使用自研的lmtq_999高区分度测试集进行评测时，观察到一个反直觉的现象：参数量仅1.5B的Qwen2.5-1.5B-Instruct模型给出了平均95.34分的超高评分，而其他数百亿参数的大模型评分集中在37-40分区间。这个异常现象揭示了当前自动化评测体系中一个被忽视的关键问题。

1.1 测试集的特殊设计原理

lmtq_999测试集之所以能暴露这个问题，源于其独特的设计理念：

• 干扰项精心构造：每个问题都包含3-5个形式相似但存在细微逻辑错误的干扰选项。例如在军事类问题中，会刻意使用相同的专业术语但改变因果关系；在科学类问题中，会保持数学公式结构但微调参数关系。

• 跨领域知识融合：题目设计不是简单的知识问答，而是要求模型理解"军事策略中的数学原理"或"农业技术中的历史演变"等交叉领域逻辑。这需要模型具备真正的推理能力而非单纯记忆。

• 评分粒度精细化：采用0-100分的连续评分体系，优秀回答(90+)需要完全符合事实且逻辑严密；及格回答(60)允许少量非核心事实错误；完全错误回答必须低于30分。这种设计能有效检验评委模型的鉴别力。

实际案例：在测试集第42题（关于二战期间雷达技术发展的物理原理）中，我们设计了四个选项：

1. 完全正确的专业解释（应评95+）
2. 使用正确术语但因果关系错误（应评40-50）
3. 数学公式正确但物理概念混淆（应评30-40）
4. 看似专业实则完全错误的描述（应评<20）
   Qwen2.5-1.5B-Instruct却给所有选项都打了90分以上

1.2 评分差异的量化分析

通过统计检验可以更清晰地看到异常评分的显著性：