大语言模型训练三阶段：预训练、微调与强化学习

1. 大语言模型训练的三阶段框架解析

大语言模型的训练过程可以类比人类学习知识的三个阶段：知识积累、模仿应用和自主创新。这三个阶段分别对应预训练、监督微调和强化学习，构成了现代大语言模型训练的标准流程。

1.1 预训练阶段：构建基础预测能力

预训练阶段的核心目标是让模型掌握基本的语言模式和世界知识。这个过程类似于人类通过阅读大量书籍来积累知识。

1.1.1 数据收集与处理

训练数据主要来自互联网公开文本，包括网页、书籍、论文等。数据处理流程包括：

• 质量过滤：去除低质量、重复或有害内容
• 文本标准化：统一编码格式、处理特殊字符
• 去隐私化：移除个人信息和敏感内容

注意：数据质量直接影响模型性能。实践中发现，经过严格清洗的数据虽然量减少，但训练效果反而更好。

1.1.2 Tokenization：文本的数字表示

文本需要转换为模型可处理的数字形式，这个过程称为tokenization：

1. 构建词汇表：统计所有出现的字符和常见子词
2. 分配唯一ID：为每个token分配数字标识
3. 编码优化：使用子词算法（如BPE）平衡词汇表大小和表示效率

典型的中文tokenizer会将常见字和常用词都作为独立token，例如"人工智能"可能被编码为单个token而非三个字分开。

1.1.3 模型架构与训练

现代大语言模型主要采用Transformer架构，其核心是自注意力机制。训练过程的关键点：

• 目标函数：预测下一个token的交叉熵损失
• 批量训练：同时处理多个文本片段（典型batch size为1-4M tokens）
• 优化器：AdamW等自适应优化算法
• 硬件配置：使用数百至数千张GPU/TPU进行分布式训练

训练完成后得到的base model本质上是一个强大的文本生成器，能够根据上文预测合理的下文，但还缺乏对话和任务执行能力。

1.2 监督微调：塑造对话能力

监督微调(SFT)阶段的目标是让模型学会按照人类期望的方式回答问题。这相当于学生在掌握基础知识后，通过例题学习解题方法。

1.2.1 数据构建

需要构建高质量的指令-回答对数据集，要点包括：

• 多样性：覆盖各类问题和场景
• 专业性：确保回答准确可靠
• 格式统一：使用特殊标记结构化对话