林常润1. 参数高效微调（PEFT）技术全景解读
在大型语言模型（LLM）时代，参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术已经成为解决大模型落地难题的关键钥匙。作为一名长期从事NLP模型优化的研究者，我见证了从全参数微调到各类PEFT方法的演进历程。本文将系统梳理9种核心PEFT方法的技术原理、适用场景和实操要点，并附上完整的论文引用指南。
1.1 PEFT技术兴起的必然性
当GPT-3等千亿参数模型问世时，传统全参数微调（Full Fine-Tuning）面临三大困境：
- 显存黑洞：175B参数的模型微调需要数十张A100显卡，训练成本呈指数级增长
- 灾难性遗忘：过度调整原始权重会破坏预训练获得的世界知识
- 部署瓶颈：每个下游任务都需要存储完整模型副本，存储成本难以承受
PEFT技术通过仅微调少量参数（通常<1%），在保持原始权重冻结的前提下，实现了与全参数微调相当的性能。根据我的实践经验，采用LoRA等方法可使显存消耗降低60-70%，训练速度提升2-3倍。
技术选型建议：当模型参数量超过10B时，PEFT方法应作为首选方案。对于7B以下的模型，全参数微调仍可能获得略优的效果，但需权衡成本收益。
1.2 PEFT方法分类学
当前主流PEFT方法可按修改位置分为三大类：
- 附加参数型（如Adapter、LoRA）：插入可训练模块，保持主干网络冻结
- 输入干预型（如Prefix Tuning）：修改输入表示或添加提示向量
- 权重分解型（如DoRA）：对原始权重进行结构化调整
下表对比了各类方法的典型代表：
| 类型 | 代表方法 | 参数量占比 | 适用场景 | 训练效率 |
|---|---|---|---|---|
| 附加参数 | LoRA | 0.1%-0.5% | 全任务类型 | ★★★★☆ |
| 输入干预 | Prefix Tuning | 0.01%-0.1% |