1. 大语言模型评估的三大范式转变
在大语言模型(LLM)应用开发领域,评估工作正经历着根本性的变革。作为一名曾在Quora负责数据科学团队、Waymo参与自动驾驶评估系统建设,如今在金融科技领域应用LLM的从业者,我深刻体会到传统评估方法已经无法满足当前需求。本文将分享三个关键性的范式转变,这些认知来自我们团队在多个实际项目中的经验教训。
1.1 评估从"糖霜"变为"蛋糕"
在传统机器学习项目中,评估往往被视为开发流程的最后一步——就像蛋糕上的糖霜,虽然重要但并非主体。然而在LLM时代,评估已经成为了开发过程的核心组成部分,其地位相当于蛋糕本身。这种转变源于两个关键因素:
首先,LLM应用开发的调整自由度显著降低。当我们基于GPT或Claude这类基础模型进行开发时,可调整的参数数量大幅减少。修改提示词(prompt engineering)可能只需要几分钟,而传统机器学习中开发一个新特征往往需要数天时间。这种开发速度的提升导致非评估工作的时间占比下降,相应地评估工作的时间占比自然上升。
提示工程的实际案例:在为金融文档分析系统优化提示词时,我们团队发现仅调整"请用专业术语回答"这一句提示,就能使输出质量提升23%。这种快速迭代的可能性使得评估工作必须同步加速。
其次,生成式AI的输出空间呈指数级扩大。传统分类任务可能只有几个固定类别,而LLM可以生成近乎无限种可能的回答。这使得评估标准从简单的"正确/错误"转变为多维度的质量评估,包括事实准确性、语言流畅度、安全性等多个维度。我们不得不开发新的评估框架来处理这种复杂性。
1.2 基准测试的新哲学:差异优先
传统机器学习评估中,我们习惯于建立固定的基准数据集,然后持续优化模型在该基准上的表现。但在LLM应用中,这种"纵向追踪"的方法往往难以实施,原因包括:
- 数据集不断扩展和变化
- 输出格式频繁调整(如从"是/否"改为多选项)
- 系统架构重组(如将单次LLM调用拆分为多步骤)
- 评估成本高昂(特别是使用LLM作为评判者时)
面对这些挑战,我们转向了"差异基准测试"的方法。具体操作是:只关注新旧版本产生不同输出的样本点,通过人工或自动方式评估这些差异点的质量。这种方法虽然无法提供绝对性能指标,但能高效判断新版本是否有所改进。
实际案例:在开发智能客服系统时,我们
