1. 从KV Cache看Attention架构演进
作为一名长期深耕AI推理优化的工程师,我见证了Transformer架构在推理效率上的诸多改进。今天要探讨的核心问题是:为什么主流大模型纷纷从传统的多头注意力(MHA)转向了MQA、GQA、MLA等变体?这个问题的答案,就藏在解码阶段的KV Cache及其引发的"内存墙"问题中。
在大型语言模型的推理过程中,KV Cache就像一把双刃剑。它通过缓存历史计算的Key和Value矩阵,避免了重复计算带来的性能损耗,但同时也带来了巨大的显存压力。这种压力在长文本生成和高并发场景下尤为明显,直接制约了模型的推理效率。
理解KV Cache的工作原理和优化方法,对于从事AI推理优化的工程师来说至关重要。这不仅关系到模型部署的成本效益,也直接影响终端用户的体验。接下来,我将从推理的两个阶段入手,逐步拆解KV Cache的优化之道。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 推理的两个阶段:Prefill与Decoding
2.1 Prefill阶段:并行计算的盛宴
Prefill阶段发生在模型接收用户初始提示(Prompt)时。此时模型拥有完整的输入序列,可以并行计算所有输入词元的中间表示。这个阶段的特点是:
- 计算高度并行化:模型一次性处理整个输入序列
- 计算密集型:大量使用矩阵乘法(GEMM)
- 生成第一个输出词元
从计算角度看,Prefill阶段是GPU最喜欢的场景。GPU的并行计算单元可以充分饱和,计算效率极高。以典型的MHA(Multi-Head Attention)为例:
- 完整输入序列X通过线性层Wq、Wk、Wv投影得到Q、K、V矩阵
- 经过分头重塑后,数据维度变为[b, h, L, d_h]
- 计算注意力分数矩阵[b, h, L, L]
- 通过Softmax和Value矩阵聚合得到输出
虽然模型在各层并行计算了全量序列的表征,但最终只使用输出矩阵最后一行的[b, 1, d]向量来生成第一个预测词。
2.2 Decoding阶段:增量生成的挑战
从生成第二个词元开始,模型进入Decoding阶段。这个阶段的特点是:
- 增量生成:每次只生成一个token
- 需要与整个历史序列交互
- 计算模式从GEMM退化为GEMV(矩阵-向量乘法)
如果不做优化,Decoding
