Decoder-Only模型与KV Cache优化技术解析

1. Decoder-Only模型的核心工作机制

在自然语言处理领域，Decoder-Only架构已经成为当前大语言模型的主流选择。这类模型（如GPT-3、Llama 2等）的核心工作原理可以概括为"基于上下文预测下一个token"的自回归过程。这种工作方式与人类写作时的思维过程高度相似——我们总是根据已经写下的内容，逐步构思后续的语句。

模型的具体工作流程可以分为三个关键环节：

1. 输入处理：将整个历史序列（包括用户输入的prompt和已生成的内容）转换为模型可理解的向量表示
2. 注意力计算：通过多层Transformer结构计算当前上下文中最相关的信息
3. 输出预测：基于计算得到的上下文表示，预测概率最高的下一个token

这个过程的递归特性导致了一个重要现象：模型推理必须分为Prefill（预填充）和Decode（解码）两个截然不同的阶段。这种划分不是人为设计的，而是由模型的自回归本质和硬件计算特性共同决定的。

关键理解：自回归生成就像是在黑暗中摸索前进，每一步都只能依靠已经走过的路径来决定下一步的方向，无法预知完整的路径。

2. 两阶段推理的深度解析

2.1 Prefill阶段：并行计算的盛宴

Prefill阶段处理用户输入的初始prompt，这个阶段具有以下典型特征：

计算特点：

• 完全并行处理所有输入token
• 充分利用GPU的矩阵运算能力
• 计算复杂度为O(N²)，其中N是prompt长度

硬件利用：

• 计算密集型（Compute-bound）
• GPU的SM（流式多处理器）接近满载
• 显存带宽利用率较高但不构成瓶颈

性能指标：

• 主要关注TTFT（Time to First Token）
• 典型值在几百毫秒量级（取决于prompt长度和模型规模）

这个阶段之所以能够高效并行，是因为所有输入token同时可用，GPU可以一次性处理整个序列。就像餐厅备菜阶段，所有食材都已准备就绪，厨师可以同时处理多道工序。

2.2 Decode阶段：串行执行的挑战

当模型开始生成输出时，工作模式立即转变为串行处理：

核心限制：

• 严格的自回归依赖：每个新token依赖之前所有token
• 无法并行处理多个输出token
• 计算