AI大模型核心术语解析：从Transformer到LoRA微调-AI智能范式网

AI大模型核心术语解析：从Transformer到LoRA微调

jeremymoo·2026-08-18·阅读 22 GEO检测（免费）

Transformer架构自注意力机制LoRA微调

|难度：普通|阅读约 9 分钟

1. 人工智能大模型术语解析手册完整版：从入门到精通的必备指南

在人工智能技术快速发展的今天，大模型已经成为推动行业变革的核心力量。作为一名长期深耕AI领域的技术从业者，我经常遇到同行们对大模型术语的困惑——从基础的"Transformer架构"到热门的"LoRA微调"，从"注意力机制"到"模型蒸馏"，这些专业术语构成了理解大模型的基石。本手册正是为解决这一痛点而生，它将系统梳理大模型领域的关键术语，帮助开发者快速掌握这一领域的核心概念。

不同于市面上零散的技术文档，本手册特别注重术语之间的关联性和实际应用场景。例如，理解"提示工程"（Prompt Engineering）需要先掌握"上下文学习"（In-Context Learning）的概念，而讨论"模型并行"（Model Parallelism）时又必须了解"张量并行"（Tensor Parallelism）的实现细节。这种网状知识结构正是大模型技术的魅力所在，也是本手册编排的核心理念。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 大模型基础架构术语解析

2.1 Transformer架构核心组件

Transformer架构是大模型的基石，其核心组件包括：

自注意力机制（Self-Attention）：通过计算输入序列中每个位置与其他位置的关联权重，实现全局依赖建模。关键参数包括注意力头数（通常8-16个）和注意力维度（通常64-128）

位置编码（Positional Encoding）：解决Transformer缺乏位置感知的问题。常用实现方式包括：

python复制# 正弦位置编码示例
def positional_encoding(seq_len, d_model):
    position = np.arange(seq_len)[:, np.newaxis]
    div_term = np.exp(np.arange(0, d_model, 2) * -(math.log(10000.0) / d_model))
    pe = np.zeros((seq_len, d_model))
    pe[:, 0::2] = np.sin(position * div_term)
    pe[:, 1::2] = np.cos(position * div_term)
    return pe

前馈网络（FFN）：通常由两个线性层和GeLU激活函数组成，公式表示为FFN(x) = W₂(GeLU(W₁x + b₁)) + b₂

实际应用中，建议使用PyTorch的nn.Transformer模块而非从头实现，可避免常见的数值稳定性问题

2.2 模型规模相关术语

参数量（Parameters）：指模型可训练变量的总数。以GPT-3为例：
- 1750亿参数 ≈ 175B
- 存储需求：假设使用FP16精度，存储大小 ≈ 175B × 2字节 = 350GB
计算量（FLOPs）：前向传播的浮点运算次数。估算公式：
```
code复制FLOPs ≈ 2 × 参数量 × 序列长度
```

模型并行策略对比：

策略类型	通信开销	适用场景	实现难度
数据并行	低	参数可单卡存放	★★☆
流水并行	中	层数多的模型	★★★
张量并行	高	单个层过大	★★★★

3. 训练与优化关键技术术语

3.1 训练过程术语

分布式训练：主流框架对比
- DeepSpeed：支持ZeRO优化，适合超大模型
- FSDP：PyTorch原生方案，集成度高
- Megatron-LM：NVIDIA优化方案，效率高
混合精度训练：
- FP16：节省显存但容易溢出
- BF16：更适合大模型训练
- TF32：NVIDIA专用格式

实际训练中建议使用梯度裁剪（通常设1.0-5.0）防止梯度爆炸

3.2 优化技术术语

参数高效微调（PEFT）：
- LoRA：低秩适配，公式：ΔW = BA（其中B∈ℝ^{d×r}, A∈ℝ^{r×k}）
- Adapter：在FFN层插入小型网络
- Prefix Tuning：学习可训练的前缀token
模型压缩技术：
- 量化：FP32 → INT8（约4倍压缩）
- 知识蒸馏：教师-学生模型架构
- 剪枝：移除不重要的神经元连接

4. 推理与应用场景术语

4.1 推理优化术语

批处理（Batching）：
- 静态批处理：固定batch size
- 动态批处理：根据请求自动调整
- 连续批处理：处理不同长度的序列
内存管理：
- KV Cache：存储注意力键值对
- PagedAttention：分页管理显存
- FlashAttention：优化注意力计算

4.2 应用模式术语

提示工程（Prompt Engineering）：
- Few-shot提示：提供少量示例
- Chain-of-Thought：分步推理提示
- ReAct：结合推理与行动

RAG架构：

code复制用户查询 → 检索器 → 相关文档 → 大模型 → 生成结果

5. 前沿研究方向术语

5.1 模型架构创新

混合专家（MoE）：
- 门控网络选择专家
- 典型配置：8专家选2
- 计算量约为稠密模型的1/4
多模态模型：
- CLIP：图文对齐模型
- Flamingo：视频理解模型
- Kosmos：通用多模态架构

5.2 安全与对齐

红队测试（Red Teaming）：
- 对抗性提示攻击
- 越狱攻击（Jailbreak）
- 提示注入防御
可解释性工具：
- 注意力可视化
- 概念神经元分析
- 影响函数计算

6. 实战避坑指南

6.1 训练常见问题

损失震荡：
- 检查学习率（通常3e-5到5e-4）
- 验证梯度裁剪是否生效
- 检查数据shuffle是否充分
显存溢出：
- 启用梯度检查点
- 使用激活值压缩
- 调整微批次大小

6.2 推理性能优化

延迟优化技巧：
- 使用更快的解码策略（如beam search变种）
- 预填充KV Cache
- 量化模型权重
吞吐量提升方法：
- 增大批处理尺寸
- 使用连续批处理
- 优化采样算法

在实际部署中，我发现使用vLLM推理框架可以显著提升吞吐量，特别是在处理可变长度输入时，其PagedAttention技术相比原生实现可获得2-3倍的性能提升。对于需要低延迟的场景，建议尝试Triton推理服务器配合TensorRT-LLM优化。