1. 预训练语言模型概述
预训练语言模型(Pre-trained Language Models, PLMs)已经成为现代自然语言处理(NLP)领域的基石技术。这些模型通过在大量文本数据上进行自监督学习,能够捕捉语言的深层次统计规律和语义特征。不同于传统的监督学习需要针对每个任务单独训练模型,预训练模型通过"预训练+微调"的范式,显著提升了NLP任务的性能和效率。
1.1 预训练模型的核心价值
预训练模型的核心价值在于其能够学习通用的语言表示。这种表示可以理解为对语言知识的编码,包括但不限于:
- 词汇级别的语义信息(词义、多义词)
- 句法结构(语法规则、依存关系)
- 上下文关联(指代消解、语义连贯)
- 领域知识(特定领域的术语和概念)
这种通用表示通过两种主要方式发挥作用:
- 作为特征提取器:将预训练模型的输出作为下游任务的输入特征
- 通过微调:在预训练模型的基础上,针对特定任务进行参数调整
提示:选择预训练模型时,需要考虑任务类型(理解型还是生成型)、计算资源限制以及领域适配性等因素。
1.2 主流预训练模型分类
当前主流的预训练模型可以按照架构和训练目标分为三大类:
-
仅编码器模型(Encoder-only):
- 代表:BERT、RoBERTa、ALBERT
- 特点:擅长理解任务(分类、实体识别等)
- 训练目标:掩码语言建模(MLM)、下一句预测(NSP)
-
仅解码器模型(Decoder-only):
- 代表:GPT系列、BLOOM
- 特点:擅长生成任务(文本续写、对话等)
- 训练目标:自回归语言建模
-
编码器-解码器模型(Encoder-Decoder):
- 代表:T5、BART
- 特点:擅长序列到序列任务(翻译、摘要等)
- 训练目标:跨度破坏重构(Span Corruption)
这三种架构各有优势,BERT在理解任务上表现优异,GPT在生成任务上独树一帜,而T5则在统一多种NLP任务方面展现出强大潜力。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. BERT深度解析
BERT(Bidirectional Encoder Representations from Transformers)由Google在2018年提出,彻底改变了NLP领域的研究范式。其核心创新在于通过双向Transformer编码器捕捉上下文信息。
2.1 BERT架构细节
BERT的基础架构是基于Transformer的编码器堆叠。标准BERT有两个版本:
| 模型 | 层数(L) | 隐藏层大小(H) | 注意力头数(A) | 总参数量 |
|---|---|---|---|---|
| BERT-Base | 12 | 768 | 12 | ~1.1亿 |
| BERT-Large | 24 | 1024 | 16 | ~3.4亿 |
每层Transformer包含:
- 多头自注意力机制(Multi-head Self-attention)
- 前馈神经网络(Feed-forward Network)
- 层归一化(Layer Normalization)
- 残差连接(Residual Connectio
