大语言模型评测：平衡能力与风险的关键策略

1. 大模型评测的核心挑战与设计思路

在搜索和信息辅助场景下部署大语言模型，最让人头疼的就是如何在"能力上限"和"风险下限"之间找到平衡点。去年我们团队在升级客服系统时，就曾因为过度追求回答的完整性，导致一个金融领域的对话模型产生了3.2%的幻觉率，结果上线三天就接到了大量用户投诉。这个教训让我深刻认识到：大模型评测不是考试打分，而是风险管控。

1.1 搜索场景的特殊性

与传统QA系统不同，搜索场景下的对话模型需要同时满足三个看似矛盾的要求：

• 响应速度要快（用户期待即时反馈）
• 信息要准确（不能误导决策）
• 覆盖范围要广（能应对各种长尾问题）

这种"既要又要"的特性，使得评测指标必须采用分层设计。就像汽车测试既要看最高时速（能力上限），更要关注刹车距离（风险控制）。在我们的实践中，发现将指标分为业务级（L1）、能力诊断（L2）和风险控制（L3）三个层次最为有效。

1.2 评测集合的科学划分

很多团队容易犯的错误是只用ID（同分布）数据测试，这就像考驾照只在训练场绕桩——根本无法反映真实路况。我们设计的五维测试集包含：

• ID集合（60%）：模拟高频问题，如"如何办理退税"
• OOD集合（15%）：边缘案例，如"2023年新出台的退税政策有哪些变化"
• BadCase集合（10%）：历史事故案例复测
• 多轮对话（10%）：连续追问场景
• 对抗测试（5%）：模糊/误导性问题

这种配比经过AB测试验证，能在保证覆盖率的同时控制评测成本。特别提醒：BadCase集合需要定期更新，我们团队每月会从线上日志中抽取0.5%的真实badcase加入测试库。

2. 业务级指标（L1）的深度解析

2.1 问答成功率（Answer Success Rate）的测量艺术

这个看似简单的指标实际操作中有三个技术难点：

1. 正确性判定：需要区分"事实错误"和"表达瑕疵"。例如回答"个税起征点是6000元"（实际5000）是硬错误，而"个税起征点约五六千元"则可宽容
2. 有用性评估：我们开发了"三步判断法"：
   • 是否直接回应问题意图
   • 是否包含关键信息点
   • 是否避免冗余内容
3. 评分一致性：使用Cohen's Kappa系数确保评委间一致性＞0.8

关键技巧：对模