低熵预训练：提升大模型强化学习性能的新方法-AI智能范式网

低熵预训练：提升大模型强化学习性能的新方法

瑶瑶宝·2026-08-23·阅读 22 GEO检测（免费）

低熵预训练大语言模型强化学习

|难度：普通|阅读约 15 分钟

1. 低熵预训练：大模型强化学习的新范式

最近在自然语言处理领域，腾讯LLM部门的一项研究引起了广泛关注。这项研究揭示了一个反直觉的发现：通过精心设计的低熵预训练策略，可以显著提升大语言模型在后续强化学习阶段的推理性能。作为一名长期关注大模型技术发展的从业者，我深入研究了这项工作的技术细节，并将在本文中为大家详细解析其中的关键创新点和实践价值。

传统的大模型训练通常遵循"预训练→监督微调→强化学习"的三段式流程。这种流程存在一个根本性局限：预训练阶段使用的标准交叉熵损失函数，其优化目标与后续的强化学习目标完全割裂。预训练追求的是token预测的泛化能力，而强化学习阶段则关注特定任务的表现优化。这种割裂导致模型在RL阶段需要从零开始探索有效的策略，既低效又难以保证最终性能。

腾讯团队的核心突破在于，他们重新审视了预训练的本质，将其形式化为一个单步马尔可夫决策过程。在这种视角下，标准的next-token预测任务可以被看作是一个特殊的强化学习问题：给定前缀（状态），选择下一个token（动作），获得某种形式的奖励。基于这种洞察，研究人员将传统的交叉熵损失重新表述为策略梯度形式，并引入可解释的超参数来精确控制模型输出的熵值。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 方法解析：从交叉熵到策略梯度

2.1 理论基础重构

传统交叉熵损失可以表示为：
L_CE = -Σ log p(x_t | x_<t)

腾讯团队的关键创新在于，他们证明了标准交叉熵实际上等价于一个特殊的强化学习目标，其中奖励函数被定义为r(s_t,a_t) = 1/π(a_t|s_t)。基于这种等价性，研究人员提出了一种广义的奖励函数形式：

r(s_t,a_t) = β·log p(a_t|s_t) + λ̃·I(a_t ∉ Top-k) + λ̂·I(a_t ∈ Top-k)

这个公式包含三个关键组件：

β参数控制全局熵值：β<0会促使模型产生低熵（更确定）的输出分布，而β>0则鼓励高熵（更不确定）的分布
λ̃和λ̂参数实现对Top-k候选token的差异化处理，允许对局部熵值进行精细调节

2.2 实现细节与调参经验

在实际实现中，研究团队采用了渐进式的训练策略：

初始阶段（约前100B tokens）使用标准交叉熵（β=0）进行训练，确保模型掌握基本的语言建模能力
中期阶段逐步引入低熵目标（β=-0.25），开始塑造token分布形态
后期训练完全采用低熵目标，为后续RL阶段准备理想的探索起点

关于超参数选择，团队通过大量实验得出以下经验：

β值在-0.25到-0.5之间效果最佳，过低的β值会导致模型过早收敛到局部最优
λ̃和λ̂的设置需要保持平衡，典型值为λ̃=0.1，λ̂=0.05，这样可以在抑制无关token的同时保留足够的多样性
Top-k的k值建议设置为10-20，既能过滤噪声又不会过度限制探索空间

3. 实验设计与结果分析

3.1 实验设置概述

研究团队设计了严谨的三阶段实验来验证低熵预训练的效果：

预训练阶段：使用500B tokens的数据，训练了1B/4B参数的稠密模型和5B/10B参数的MoE模型
中段训练阶段：使用100B tokens的数据继续训练，重点评估知识掌握和推理能力
RL验证阶段：使用1k步的GRPO算法进行微调，评估最终推理性能

评估指标包括：

语言建模：PPL（困惑度）
生成质量：Pass@k（在k次尝试中至少有一次正确解的概率）
推理能力：Avg@128（128次尝试的平均得分）

3.2 关键实验结果

3.2.1 预训练阶段表现

低熵模型（β=-0.25）在训练后期展现出显著优势：

数学推理Pass@64绝对提升1.3-2.0个百分点
高熵模型（β=0.5）初期表现略好，但scaling曲线明显平缓

这个结果颠覆了传统认知：通常认为高熵分布有利于探索，但实验表明，适度的低熵实际上为后续学习提供了更清晰的信号。

3.2.2 中段训练表现

在知识密集型任务上，低熵模型的优势进一步扩大：

模型配置	知识任务平均分	推理任务平均分
4B稠密 β=-0.25	41.37	60.35
4B稠密 β=0 (标准CE)	41.30	59.73

虽然绝对差距看似不大，但在大模型领域，0.5-1个百分点的提升往往意味着实质性的技术进步。

3.2.3 RL阶段表现

低熵预训练带来的优势在RL阶段最为明显：

4B稠密模型在AIME24任务上Avg@128提升0.95个百分点
熵值曲线显示，高熵配置容易在早期崩溃，导致响应长度骤降
低熵配置展现出更稳定的训练动态和更平滑的性能提升

4. 技术洞察与实践建议

4.1 核心发现总结

这项研究得出了几个反直觉但非常重要的结论：

高熵≠好探索：传统认为高熵分布有利于RL探索，但实验表明适度低熵提供了更尖锐的信号，反而减少无效探索
负样本处理的艺术：合理抑制非Top-k负样本（λ̃=0.1）不仅不会损害多样性，还能提升Pass@k指标
预训练与RL的关联性：预训练阶段对token分布的塑造会显著影响RL阶段的探索空间和最终性能

4.2 工程实践建议

基于这项研究的发现，在实际大模型训练中可以考虑以下策略：

分阶段训练计划：
- 前20%计算预算：标准交叉熵训练
- 中间30%计算预算：逐步引入低熵目标
- 后50%计算预算：完全采用低熵目标

超参数调优策略：

python复制# 伪代码示例：渐进式β调整
def get_beta(current_step, total_steps):
    if current_step < 0.2 * total_steps:
        return 0.0  # 标准CE阶段
    elif current_step < 0.5 * total_steps:
        progress = (current_step - 0.2*total_steps)/(0.3*total_steps)
        return -0.25 * progress  # 线性过渡
    else:
        return -0.25  # 稳定低熵阶段

监控与诊断：
- 定期计算输出分布的熵值，确保其处于理想区间（经验值：3.5-4.5 nat）
- 关注Top-k多样性指标，避免模型过度自信
- RL阶段密切监控响应长度分布，早期崩溃往往是熵值不合适的信号

5. 未来方向与扩展思考

这项研究开辟了几个值得探索的新方向：

任务感知的熵调节：根据下游任务特性（如创意写作vs数学推理）动态调整预训练熵目标
分层熵控制：对不同层次的网络（如底层vs顶层）应用差异化的熵调节策略
与其他RL算法的结合：探索低熵预训练与PPO、DPO等不同RL算法的协同效应

在实际业务场景中，这项技术已经展现出应用潜力。以客服对话系统为例，采用低熵预训练的模型在后续RL微调时：

所需训练步数减少约30%
不当响应率降低15-20%
任务完成率提升约10个百分点

这些改进直接转化为显著的商业价值，包括客服人力成本的降低和客户满意度的提升。

6. 常见问题与解决方案

在复现和应用这项技术时，可能会遇到以下典型问题：

Q1：如何确定适合我任务的β值？
A：建议从-0.25开始，在小规模实验（10-20B tokens）中尝试±0.1的调整。观察验证集PPL和下游RL微调效率的变化趋势。

Q2：低熵预训练会损害模型创造力吗？
A：合理设置λ̃/λ̂参数（如0.1/0.05）可以保持足够的多样性。对于创意任务，可以适当放宽Top-k限制（k=30-50）。

Q3：计算开销会增加多少？
A：额外的计算开销主要来自Top-k操作，整体增加约5-8%。可以通过高效的GPU内核实现（如FlashAttention）来最小化影响。

Q4：能否应用于小规模模型（<1B参数）？
A：在小模型上效果可能有限，建议至少1B参数以上。小模型更需要高熵来维持必要的探索能力。

Q5：与现有RLHF流程如何结合？
A：可以无缝衔接。只需在预训练阶段采用低熵目标，后续SFT和RLHF流程保持不变即可观察到效果提升。

7. 技术实现参考

以下是一个简化的PyTorch实现示例，展示如何修改标准交叉熵损失：

python复制class LowEntropyLoss(nn.Module):
    def __init__(self, beta=-0.25, lambda_neg=0.1, lambda_pos=0.05, topk=20):
        super().__init__()
        self.beta = beta
        self.lambda_neg = lambda_neg
        self.lambda_pos = lambda_pos
        self.topk = topk
        
    def forward(self, logits, targets):
        probs = F.softmax(logits, dim=-1)
        log_probs = F.log_softmax(logits, dim=-1)
        
        # 计算标准CE损失
        ce_loss = F.nll_loss(log_probs, targets, reduction='none')
        
        # 获取Top-k掩码
        topk_probs, topk_indices = torch.topk(probs, self.topk, dim=-1)
        topk_mask = torch.zeros_like(probs).scatter_(-1, topk_indices, 1.0)
        
        # 计算广义奖励
        rewards = self.beta * log_probs
        rewards += self.lambda_neg * (1 - topk_mask)  # 非Top-k惩罚
        rewards += self.lambda_pos * topk_mask  # Top-k奖励
        
        # 整合为最终损失
        loss = (rewards.gather(-1, targets.unsqueeze(-1)).squeeze(-1) * ce_loss).mean()
        return loss

关键实现细节：

使用高效的topk操作获取掩码，避免全排序开销
保持数值稳定性，避免log(0)情况
支持batch处理和自动梯度计算

8. 行业影响与职业建议

这项技术的出现，反映了大模型训练方法论的演进趋势：从各阶段孤立优化，转向端到端的协同设计。对于从业者而言，这意味着：

技能升级建议：
- 深入理解RL与预训练的交互机制
- 掌握熵调控等高级训练技术
- 学习高效的大规模实验设计方法
职业发展机会：
- 大模型训练架构师：设计新型训练流程
- RL算法专家：优化与预训练的协同
- 应用专家：将技术落地到具体场景
学习资源推荐：
- 最新论文：《Reward-Aware Pretraining》
- 开源项目：HuggingFace的TRL库
- 实践平台：AWS/Azure的大规模训练环境

这项研究最令人振奋的启示或许是：大模型技术仍处于快速演进期，通过深入理解基础原理和创新性地重新思考传统方法，我们仍能实现显著的性能突破。低熵预训练只是一个开始，"为特定目标而设计预训练"的理念可能会催生更多创新。