大语言模型工程架构与核心术语解析

1. 拒绝黑盒飞行：大语言模型工程架构全景解析

当ChatGPT在2022年底引爆全球AI热潮时，大多数开发者面对大语言模型(LLM)仍处于"黑盒飞行"状态——我们调用API输入提示词，得到输出结果，但对模型内部如何运作、整个工程架构如何协同知之甚少。这种状况在原型验证阶段或许可行，但当需要构建生产级应用时，理解从底层算力到上层Agent的完整技术栈就变得至关重要。

我在过去一年中主导了三个LLM生产项目的落地，深刻体会到：只有掌握全栈技术术语，才能在模型选型、性能优化和系统集成等关键环节做出明智决策。本文将拆解40个核心术语，带您穿透技术迷雾，建立从芯片级算力到智能体行为的完整认知框架。无论您是希望深入理解LLM内部机理的研究者，还是需要部署生产系统的工程师，这套术语体系都将成为您技术工具箱中的"瑞士军刀"。

2. 算力层：模型运行的物理基础

2.1 硬件加速器生态

现代LLM训练和推理严重依赖三类计算设备：GPU（如NVIDIA H100）、TPU（Google的专用芯片）和ASIC（如Groq的LPU）。选择时需权衡三个关键指标：

• 内存带宽：决定数据传输效率，HBM3显存可达3TB/s
• 计算密度：TFLOPS数值，A100可达312TFLOPS（FP16）
• 互联拓扑：NVLink比PCIe快5倍，多卡训练必备

实测案例：在8xA100节点上，使用NVLink的ResNet50训练比PCIe快42%。对于LLM这种通信密集型任务，拓扑选择直接影响扩展效率。

2.2 分布式训练框架

当模型参数突破百亿级，单卡训练变得不现实。主流方案包括：

1. 数据并行：PyTorch的DDP最易用，但batch_size会随卡数线性增长
2. 模型并行：
   • 流水线并行（GPipe）：将网络按层切分
   • 张量并行（Megatron-LM）：单个矩阵乘法的分块计算
3. 混合并行：DeepSpeed的3D并行结合上述所有方法

关键配置参数：

python复制deepspeed_config = {
    "train_batch_size": 1024,
    "gradient_accumulation_steps": 8,
    "optimizer": {
        "type": "Ad