里小咸1. 预训练模型江湖：BERT、T5、GPT的武林秘籍
十年前我刚入行NLP时，还在用Word2Vec做词向量，谁能想到现在动辄几十亿参数的预训练模型已经成为标配。最近帮团队选型时发现，光是HuggingFace上的预训练模型就有超过10万种，其中BERT、T5和GPT这三大门派几乎包揽了所有工业级应用。今天我就结合自己踩过的坑，聊聊这三个模型的实战选择策略。
先看个真实案例：去年我们做智能客服系统时，先用BERT做意图识别准确率89%，换成T5后提升到92%，最后用GPT-3.5做话术生成时才发现，原来同样的模型架构在不同任务上表现能差这么多。下面这张对比表是我整理的三大模型核心差异：
| 特性 | BERT | T5 | GPT |
|---|---|---|---|
| 架构 | Transformer编码器 | 完整Transformer | Transformer解码器 |
| 训练方式 | 双向上下文 | 文本到文本 | 自回归生成 |
| 典型应用 | 文本分类/实体识别 | 翻译/摘要/问答 | 对话/创作 |
| 资源消耗 | 中等 | 较大 | 极大 |
| 微调难度 | 低 | 中 | 高 |
1.1 BERT：理解语言的双向大师
BERT就像个严谨的语言学家，它的双向注意力机制能让每个词都"看到"全文上下文。我们团队在金融风控场景中验证过，BERT在识别欺诈文本时的准确率比单向模型高7%左右。
关键细节在于其预训练任务：
- MLM（掩码语言模型）：随机遮盖15%的词进行预测
- NSP（下一句预测）：判断两个句子是否连续
python复制#