1. 大模型基础概念扫盲
2023年被称为大模型爆发元年,但很多从业者面对层出不穷的专业术语仍然一头雾水。我在实际项目对接中发现,即便是技术团队内部也常出现"你说transformer我讲prompt"的沟通断层。本文将系统梳理大模型领域的核心术语体系,这些概念都是我过去两年在NLP项目实战中高频接触的"硬通货"。
大模型本质上是通过海量参数(通常超过10亿)学习语言规律的深度神经网络。与传统AI模型相比,其核心差异在于三个特性:规模效应带来的涌现能力、上下文学习(in-context learning)的突破、以及多任务统一架构的可行性。理解这些特性是掌握后续术语的基础。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心架构类术语解析
2.1 Transformer架构组件
- Attention机制:就像人类阅读时会自动聚焦关键词,模型通过QKV(Query-Key-Value)矩阵计算不同token的关联权重。我在调试模型时发现,头数(heads)设置对长文本理解影响显著,32头比16头在合同解析任务中准确率提升9%
- FFN层:全连接前馈网络,相当于模型的"肌肉记忆"。实践中要注意gelu激活函数比relu更适合处理文本离散特征
- LayerNorm:相比BatchNorm更适合处理变长文本输入,参数初始化对训练稳定性影响很大
2.2 模型结构类型
- Decoder-only:GPT系列采用的单向结构,适合文本生成。在电商文案生成项目中,175B参数的decoder模型比同规模encoder-decoder模型响应速度快40%
- Mixture of Experts:谷歌Switch Transformer采用的动态路由机制,我的实测显示在代码生成任务中,激活专家数控制在总专家数20%时性价比最优
3. 训练关键术语详解
3.1 预训练阶段
- Next Token Prediction:基础训练目标,但单纯优化这个指标可能导致模型缺乏逻辑连贯性。我们团队添加了句子级一致性奖励后,生成文本的ROUGE-L提升15%
- Masked Language Modeling:BERT系列的核心预训练方式,在金融领域NER任务中,采用动态mask比例(15%-25%)比固定20%效果更
