Causal LM与Prefix LM：语言模型架构差异解析

1. 从零理解Causal LM与Prefix LM的本质差异

在自然语言处理领域，语言模型（Language Model）的架构选择直接影响着模型的表现能力。Causal LM（因果语言模型）和Prefix LM（前缀语言模型）是两种主流的建模方式，它们在处理上下文信息时有着根本性的区别。理解这个区别，对于选择适合特定任务的模型架构至关重要。

1.1 核心概念定义

Causal LM，也被称为自回归语言模型（Autoregressive LM），其代表包括GPT系列、LLaMA等。它的核心特点是：在生成每个token时，只能看到当前token之前的内容，无法访问后续信息。这种单向性就像我们阅读一本书时，只能从第一页顺序翻到最后一页，无法提前翻阅后面的内容。

Prefix LM则采用了不同的策略，代表模型有T5、UniLM等。它的处理分为两个阶段：首先完整读取并理解前缀（prefix）部分的所有内容（双向访问），然后在生成阶段采用类似Causal LM的单向生成方式。这就像考试时先通读整道题目再作答，而不是边读题边写答案。

1.2 注意力机制的本质区别

两种模型的核心差异体现在注意力掩码（attention mask）的设计上。让我们通过技术细节来理解这个区别：

对于输入序列[x₁, x₂, ..., xₙ]，Causal LM的掩码矩阵M是一个严格的下三角矩阵，其中：

• M[i,j] = 1 当 j ≤ i （可以访问当前位置及之前的信息）
• M[i,j] = 0 当 j > i （不能访问未来的信息）

而Prefix LM的掩码设计更为灵活。假设前k个token是前缀部分，那么：

• 对于i ≤ k，M[i,j] = 1 对所有j ≤ n（前缀部分可以访问所有位置）
• 对于i > k，M[i,j] = 1 当 j ≤ i（生成部分只能访问当前位置及之前的信息）

这种设计使得Prefix LM在前缀理解阶段可以获得全局上下文信息，而在生成阶段保持自回归特性。

2. 掩码矩阵的直观对比与实例解析

2.1 Causal LM的掩码实现

以5个token的序列为例，Causal LM的掩码矩阵如下：

python复制[1, 0, 0, 0, 0]  # 第1个token只能看到自己
[1, 1, 0