1. 大语言模型训练的三阶段演进
大语言模型的能力进化遵循着清晰的"预训练-微调-PEFT"三阶段路径。这种训练范式让通用基座模型逐步获得专业领域能力,同时保持高效灵活。
1.1 预训练:构建语言理解的基座
预训练阶段如同给模型进行"通识教育"。通过海量文本的自监督学习,模型建立起:
- 语言表征能力:理解词法、句法、语义关系
- 世界知识储备:掌握基础事实和常识
- 通用推理能力:完成简单逻辑推理和文本生成
典型预训练任务包括:
- 掩码语言建模(MLM):预测被遮蔽的文本片段
- 因果语言建模(CLM):基于上文预测下一个词元
关键参数:现代主流模型通常采用3000亿-2万亿token的训练数据,模型参数量从7B到70B不等。例如LLaMA-2使用2万亿token训练,GPT-3训练数据量达4990亿token。
1.2 微调:领域专业化转型
当预训练模型需要适应特定任务时,微调阶段通过有监督学习实现能力聚焦。这个过程需要:
- 高质量标注数据(通常500-50,000条)
- 精心设计的损失函数
- 谨慎的学习率调度
常见微调策略对比:
| 策略 | 更新参数比例 | 硬件需求 | 适用场景 |
|---|---|---|---|
| 全参数微调 | 100% | 高(多GPU) | 数据充足的重要任务 |
| 层冻结微调 | 10-30% | 中等 | 中等规模数据集 |
| 仅头部微调 | <5% | 低 | 快速原型验证 |
1.3 PEFT:参数高效微调革命
参数高效微调技术通过仅修改少量参数(通常<5%)实现任务适配。主流方法包括:
LoRA(低秩适应)
- 原理:在注意力层注入低秩矩阵
- 优势:几乎不增加推理延迟
- 典型配置:秩r=8,alpha=32
Adapter
- 结构:在FFN层间插入瓶颈结构
- 特点:模块化设计,易于扩展
- 参数量:每层约0.5-2%新增参数
Prefix Tuning
- 方法:学习可训练的前缀向量
- 优势:完全保持原模型参数
- 适用:生成类任务
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 预训练深度解析
2.1 数据构建的艺术
优质预训练数据需要:
- 广泛覆盖:网页、书籍、学术论文、代码
