商界鬼谷子1. 问题背景与核心概念
在自然语言处理领域，decoder-only架构的生成模型（如GPT系列、Qwen等）已经成为主流。这类模型的核心特点是仅使用解码器结构，通过自回归方式逐token生成文本。理解其内部hidden state的计算方式对于模型优化和实际应用都至关重要。
hidden state是transformer模型中的核心中间表示，它编码了输入序列的上下文信息。在decoder-only模型中，hidden state的计算受到causal mask（因果掩码）的严格约束，这使得其计算过程具有一些独特的性质。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 两种hidden state计算方式详解
2.1 自回归逐步生成方式
这是模型在推理时的标准工作流程：
- 初始输入阶段：仅将问题Q输入模型，模型计算得到h_Q并预测第一个token a1
- 第一步生成：将[Q, a1]输入模型，计算得到h_Q和h_a1，预测第二个token a2
- 第二步生成：将[Q, a1, a2]输入模型，计算得到h_Q、h_a1和h_a2，预测第三个token a3
- 最终状态：将[Q, a1, a2, a3]输入模型，得到完整的hidden state序列H1=[h_Q, h_a1, h_a2, h_a3]
在这个过程中，每个步骤的计算都严格遵循causal mask的约束，即每个token只能看到它自身和之前的token。
2.2 一次性前传计算方式
这种方式将完整的输入序列[Q, a1, a2, a3]一次性送入模型，通过单次前向传播得到hidden state序列H2=[h_Q, h_a1, h_a2, h_a3]。
虽然计算方式不同，但由于causal mask的存在，每个token的hidden state计算实际上与自回归方式完全一致：
- h_Q只基于Q本身计算
- h_a1基于Q和a1计算
- h_a2基于Q、a1和a2计算
- h_a3基于完整的[Q, a1, a2, a3]序列计算
3. 数学等价性证明
3.1 Causal Mask的作用机制
Causal mask是一个下三角矩阵，其形式如下：
code复制对于序列[Q, a1, a2, a3]的attention mask：