1. 论文核心思想解读
这篇论文提出了一个令人惊讶的发现:在大型语言模型(LLM)推理优化中,简单的熵最小化(Entropy Minimization, EM)方法仅需单个未标注样本和10步优化,就能超越强化学习(RL)的优化效果。这个结论挑战了当前主流的RL优化范式,为LLM推理优化提供了新的思路。
1.1 基本假设与理论依据
论文建立在两个直观但有力的假设基础上:
-
LLM生成过程的随机性本质:大型语言模型的采样过程本质上是一个随机过程,即使在相同输入下,多次生成也会产生不同输出。这种随机性使得模型输出存在优化空间。
-
正确答案的低熵特性:正确答案的预测分布通常比错误答案更加集中(即熵更低)。这个假设得到了大量实证研究的支持,也是EM方法有效性的理论基础。
提示:熵在信息论中度量了概率分布的不确定性。对于语言模型,低熵意味着模型对下一个token的预测更加确定,减少了"犹豫不决"的情况。
1.2 熵最小化的数学表达
论文提出的EM方法通过最小化生成序列的token级预测熵来实现优化:
$$
L_{\mathrm{EM}} = \frac{1}{|y|} \sum_{t = 1}^{|y|} H_t
$$
其中$H_t$是第t个token的预测熵:
$$
H_t = -\sum_{v \in V} p_\theta(v \mid y_{<t}, x),\log p_\theta(v \mid y_{<t}, x)
$$
这个损失函数鼓励模型产生更确定的预测分布,减少输出的随机性。与RL方法相比,EM不需要外部奖励信号,仅利用模型自身的预测分布作为优化目标。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 方法细节与实现
2.1 样本选择策略
论文发现,选择那些在多次采样下表现出高pass@k方差的样本进行EM优化效果最好。这是因为:
- 高方差表明模型对这些样本的预测不稳定,存在优化空间
- 这类样本通常能提供更强的熵梯度信号
- 优化这类样本可以显著提高模型在相关任务上的稳定性
pass@k方差的计算方法是:针对同一prompt生成k个回答,计算这些回答正确与否的方差。高方差意味着模型对这些问题的回答时对时错,表现不稳定。
2.2 训练配置细节
论文中的实验采用了以下关键配置:
