大型语言模型推理稳定性评估：G-Pass@k指标与LiveMathBench基准

1. 大型语言模型推理稳定性评估的新视角

作为一名长期关注AI领域发展的从业者，我最近深入研究了这篇关于大型语言模型(LLM)推理稳定性的论文，发现其中提出的G-Pass@k评估指标和LiveMathBench基准测试确实为模型评估带来了全新视角。在本文中，我将结合自己的理解，详细解读这项研究的关键发现和实践意义。

当前，大型语言模型在数学推理任务上的表现已经取得了显著进步，从通用模型如GPT-4到专业数学推理模型如DeepSeek-Math，各种模型在标准测试集上的成绩不断提升。然而，在实际应用中，我们经常会遇到一个令人困惑的现象：同一个问题，模型有时能给出正确答案，有时却会出错。这种不稳定性严重影响了LLM在实际场景中的可靠性。

1.1 传统评估指标的局限性

现有的评估指标如Pass@k和贪婪准确率(greedy accuracy)存在明显不足。Pass@k关注的是在k次尝试中至少获得一次正确答案的概率，而贪婪准确率则是在确定性解码(温度=0)下的表现。这两种指标都无法全面反映模型的稳定性——即在不同采样条件下保持正确性的能力。

举个例子，假设一个模型在16次尝试中有8次正确，Pass@16会给出很高的分数(约0.99)，但这掩盖了一个事实：模型有一半的概率会出错。在实际应用中，用户可能需要多次尝试才能获得正确答案，这种体验显然不够理想。

2. G-Pass@k：一种全新的评估框架

2.1 指标设计与数学原理

G-Pass@k的核心创新在于引入了正确性阈值τ的概念。具体来说，G-Pass@kτ定义为在k次尝试中，正确次数占总尝试次数的比例至少为τ的概率。数学表达式为：

G-Pass@kτ = P(正确次数/k ≥ τ)

这个定义有几个关键特性：

1. 当τ→0时，G-Pass@k退化为传统的Pass@k
2. 当τ=1时，要求所有k次尝试都必须正确
3. 通过调整τ，可以在模型"潜力"(低τ)和"稳定性"(高τ)之间取得平衡

论文还定义了mG-Pass@k作为G-Pass@kτ在τ∈[0,1]上的积分，提供了一个综合评估模型性能的单一指标。

2.2 与传统指标的对比分析

通过对比实验，研究发现：

• 当τ=0.5(即要求至少一半尝试正确)时，通用LLM的平均性能下降14%，数学专用LLM下降22.5%