1. 预训练范式的分水岭：当文本生成开始"胡言乱语"
上周三凌晨两点，我在调试一个长文本生成任务时遇到了诡异现象：模型生成的前200字逻辑清晰，但随后内容逐渐偏离主题，最终变成一堆语义破碎的词组。正当我对着屏幕发愣时，路过的同事扫了一眼控制台输出："典型自回归模型的长序列退化问题，试试用MLM（掩码语言建模）预训练的模型？"
这个建议直接揭示了NLP预训练中两条根本性技术路线的差异。2018年Transformer架构兴起后，OpenAI的GPT系列采用自回归语言建模（Autoregressive LM），而Google的BERT选择了掩码语言建模（Masked LM）。虽然表面都是"预测单词"的任务，但其底层机制和应用表现存在本质区别。
自回归模型像严格遵循写作顺序的助手。给定前缀"自然语言处理是"，它会根据已生成内容预测下一个最可能的词（如"人工智能"）。这种单向性使其在文本生成任务中表现自然，但长文本生成时容易因误差累积导致语义漂移。而掩码模型更像完形填空专家，面对"自然语言[MASK]是人工智能的重要分支"这样的输入，它能利用双向上下文推断被遮盖的词（如"处理"）。这种双向理解能力使其在理解类任务中表现优异，但生成文本时缺乏连贯性。
2. 技术原理深度对比
2.1 自回归语言建模的链式预测
自回归模型的核心思想是链式条件概率分解。对于一个文本序列$x_{1:T}$，其联合概率被分解为：
$$
P(x_{1:T}) = \prod_{t=1}^T P(x_t | x_{1:t-1})
$$
以GPT-3为例，其采用单向Transformer解码器结构。在预测位置$t$的词时，只能关注前$t-1$个位置的上下文（通过掩码矩阵实现）。这种特性带来三个关键影响：
- 生成优势：天然适配文本生成任务，每个词的生成都基于前文语境
- 上下文局限：无法利用右侧上下文信息，导致语义理解不完整
- 误差传播：长文本生成中，前面预测误差会逐级放大
python复制# 自回归生成的典型实现（简化版）
def generate_text(model, prompt, max_length):
output = prompt
for _ in range(max_length):
logits = model(output)[:, -1, :] # 只取最后一个位置的logits
next_token = sample(logits) # 使用top-k或nucleus采样
output = torch.cat([output, next_token], dim=-1)
return output
实际项目中需注意：当生成长度超过训练时的最大长度（如GPT-3的2048），模型表现会显著下降。这是位置编码超出训练范围导致的。
2.2 掩码语言建模的双向理解
BERT采用的掩码语言建模则完全不同。其目标函数为：
$$
\mathcal{L} = \mathbb{E}{x \sim \mathcal{D}} \sum{i \in \mathcal{M}} -\log P(x_i | x_{\setminus \mathcal{M}})
$$
其中$\mathcal{M}$是被掩码的位置集合。关键设计包括：
- 动态掩码：每次epoch对相同文本重新随机掩码，增强鲁棒性
- 替换策略：15%的token被选中后，按80-10-10比例进行[MASK]/随机词/原词替换
- 双向注意力：通过Transformer编码器同时利用左右上下文
python复制# BERT风格的掩码实现示例
def apply_mlm_mask(tokens, mask_prob=0.15):
masked_tokens = tokens.copy()
labels = [None] * len(tokens)
# 确定掩码位置
mask_indices = random.sample(range(len(tokens)),
k=int(len(tokens)*mask_prob))
for i in mask_indices:
rand_val = random.random()
if rand_val < 0.8: # 80%概率替换为[MASK]
masked_tokens[i] = "[MASK]"
elif rand_val < 0.9: # 10%概率替换为随机词
masked_tokens[i] = random.choice(vocab)
# 剩下10%保持原词不变
labels[i] = tokens[i] # 记录需要预测的原始token
return masked_tokens, labels
3. 实战表现对比分析
3.1 文本生成任务
我们在CNN/DailyMail数据集上对比了GPT-2（自回归）和RoBERTa（掩码）的生成效果：
| 指标 | GPT-2 | RoBERTa |
|---|---|---|
| 困惑度(perplexity) | 23.4 | 47.2 |
| 重复率 | 12% | 28% |
| 语义连贯性(人工) | 4.2/5 | 2.8/5 |
自回归模型的优势明显，但存在两个典型问题：
- 曝光偏差(Exposure Bias)：训练时使用真实前文，推理时使用模型生成的前文
- 退化问题：生成长文本时容易出现重复或无关内容
解决方案包括：
- 在训练时混合使用真实和生成的前文（计划采样）
- 使用对比损失函数减轻重复
- 采用非贪婪解码策略（如top-k采样）
3.2 理解类任务
在GLUE基准测试中，掩码模型展现出压倒性优势：
| 任务 | BERT-large | GPT-2-large |
|---|---|---|
| MNLI-m | 86.6 | 75.3 |
| QQP | 91.3 | 85.1 |
| SST-2 | 93.2 | 88.9 |
关键差异源于：
- 双向注意力：能捕捉词语间的复杂关系
- 全句理解：通过[MASK]迫使模型建立全局表征
- 预训练目标对齐：MLM与下游理解任务更匹配
4. 混合架构的演进
近年来出现融合两种范式的混合模型：
4.1 XLNet的排列语言建模
通过排列组合实现双向上下文利用：
$$
\max_\theta \mathbb{E}{z \sim \mathcal{Z}} \left[ \sum^T \log p_\theta(x_{z_t} | x_{z_{<t}}) \right]
$$
其中$z$是位置序列的随机排列。这种设计：
- 保留自回归特性
- 允许间接看到"未来"上下文
- 避免了BERT中[MASK]带来的预训练-微调差异
4.2 UniLM的统一框架
通过不同的注意力掩码模式实现多任务兼容：
python复制# UniLM的注意力掩码模式示例
def get_attention_mask(mode):
if mode == "auto-regressive": # GPT风格
return torch.tril(torch.ones(seq_len, seq_len))
elif mode == "masked-lm": # BERT风格
return torch.ones(seq_len, seq_len) - torch.diag(torch.ones(seq_len))
elif mode == "seq2seq": # 编码器-解码器
return ... # 组合模式
5. 工程实践中的选择建议
根据我们的项目经验，给出以下决策框架：
-
纯生成任务（故事写作、对话生成）：
- 优先选择GPT等自回归模型
- 长文本生成时使用"memory transformer"等改进架构
- 采用temperature annealing技术控制生成多样性
-
理解类任务（文本分类、问答）：
- 选择BERT/RoBERTa等掩码预训练模型
- 对于需要生成的理解任务（如抽取式问答），可结合指针网络
-
混合需求场景（如需要先生成再理解的流水线）：
- 考虑T5等编码器-解码器架构
- 或使用UniLM等统一框架
- 微调时可采用多任务学习
关键教训：不要试图用一个模型解决所有问题。我们曾在一个项目中强行用BERT做生成，结果需要大量后处理才能保证基本可读性。
6. 前沿方向与实用技巧
6.1 稀疏注意力与长文本处理
对于超过1024token的长文本：
- 使用Longformer的局部+全局注意力
- 或Reformer的LSH注意力降低计算复杂度
- 关键技巧：保持位置编码的连续性
6.2 预训练效率提升
实践中发现的有效方法：
- 动态掩码：每次epoch重新生成掩码模式
- 梯度累积：在小批量设备上模拟大批量训练
- 知识蒸馏：用大模型指导小模型
6.3 微调中的注意事项
- 学习率设置：
- 底层参数：1e-5到5e-5
- 顶层分类器：5e-4到1e-3
- 批次大小：
- 尽量使用大批次（>32）
- 使用梯度累积模拟更大批次
- 早停策略：
- 监控验证集损失而非准确率
- 设置合理的patience值
在最近一个金融文本分析项目中，我们发现：当领域数据与预训练数据分布差异较大时（如专业术语多），先进行领域自适应预训练（继续MLM任务），再进行任务微调，效果提升显著（F1 +7.2%）。