RC-11361. LLM微调技术全景解析
在大型语言模型(LLM)的应用实践中，微调技术扮演着至关重要的角色。与预训练阶段不同，微调阶段的目标是让通用大模型适应特定领域或任务。当前主流的微调方法可分为三大类：监督微调(SFT)、基于人类反馈的强化学习(RLHF)和参数高效微调(PEFT)。
1.1 监督微调(SFT)技术详解
监督微调是最基础的微调方法，其核心思想是通过标注数据对预训练模型进行有监督训练。具体流程包括：
- 准备高质量标注数据集（输入-输出对）
- 使用标准交叉熵损失函数进行训练
- 通常采用较低的学习率（1e-5到1e-6量级）
关键优势在于实现简单、计算成本相对较低。但实际应用中存在几个典型挑战：
- 数据质量敏感：标注错误或噪声会显著影响效果
- 灾难性遗忘风险：过度微调可能损害原有知识
- 领域适应局限：对分布外数据泛化能力有限
实践建议：SFT适合作为微调流程的第一阶段，建议配合早停策略和模型检查点使用。
1.2 基于人类反馈的强化学习(RLHF)
RLHF是目前最先进的对齐技术，其核心流程分为三个阶段：
1.2.1 奖励模型训练
- 收集人类对模型输出的偏好数据（通常为成对比较）
- 训练奖励模型预测人类偏好分数
- 常用损失函数：Bradley-Terry模型
1.2.2 强化学习微调
- 使用PPO算法优化策略
- 关键组件：
- 奖励模型提供即时反馈
- KL散度惩罚防止偏离原始模型
- 价值函数降低方差
1.2.3 实际应用挑战
- 数据收集成本高：需要大量人工标注
- 训练不稳定：超参数敏感
- 奖励破解风险：模型可能学会"欺骗"奖励模型
最新进展包括：
- RLAIF：用AI反馈替代部分人类反馈
- DPO：直接偏好优化算法
- 多维度奖励建模
1.3 参数高效微调(PEFT)技术
PEFT方法通过仅更新少量参数实现高效适配，主要技术路线包括：
1.3.1 适配器(Adapter)方法
- 在Transformer层间插入小型前馈网络
- 典型结构：降维→非线性→升维
- 参数量约为原始模型的0.5-5%
1.3.2 提示调优(Prompt Tuning)
- 可训练前缀：在输入前添加可学习token
- 离