1. 引言：当线性注意力遇上智能体时代
在当今大语言模型（LLM）快速演化为多功能智能体的浪潮中，一个关键瓶颈日益凸显——推理阶段的计算需求，特别是在需要处理长时域交互和强化学习（RL）场景时。传统softmax注意力机制的二次方时间复杂度，以及线性增长的键值（KV）缓存，已经成为制约模型吞吐量、上下文长度扩展和实时交互能力的桎梏。
线性注意力机制曾被视为解决这一问题的希望之光，但多年来始终面临一个根本性困境：虽然计算复杂度降低到了线性，但在语言建模任务中的表现却始终无法与softmax注意力相媲美。直到最近，两项关键创新——门控/衰减机制和delta规则——才让线性注意力在中等长度序列上的表现接近softmax水平。
然而，纯粹的线性结构仍然受限于有限的状态容量，这使得长序列建模和上下文检索在理论上依然充满挑战。混合架构（结合softmax和线性注意力）虽然提供了一种折中方案，但以往的尝试要么规模有限，要么缺乏全面的基准测试验证。
这就是Kimi Linear诞生的背景。我们开发了一种全新的混合线性注意力架构，其核心创新是Kimi Delta Attention（KDA）模块。通过引入细粒度的通道级门控机制和优化的分块并行算法，KDA在保持硬件效率的同时，显著提升了线性注意力的表达能力。我们的实验证明，采用3:1的KDA与全局注意力比例的Kimi Linear架构，不仅在质量上达到甚至超越了完全注意力机制，还能将键值缓存使用量降低高达75%，在100万长度的上下文中实现最高6倍的解码吞吐量提升。
2. 技术背景：从线性注意力到门控Delta规则
2.1 线性注意力的在线学习视角
传统线性注意力维护一个矩阵值的循环状态，通过累积key-value关联来工作：
code复制S_t = S_{t-1} + k_t v_t^T
o_t = S_t^T q_t
从快速权重的角度看，S_t充当着一个关联存储器，持续存储从key到value的瞬态映射。这种更新可以视为对无界相关性目标函数执行梯度下降：
code复制L_t(S) = -<S^T k_t, v_t>
然而，这种方法只会不断强化最近的键值对，缺乏遗忘机制，导致状态矩阵无限增长，最终造成长期上下文干扰。
2.2 DeltaNet的重构损失视角
DeltaNet将上述过程重新解释为对重构目标的在线梯度下降：
code复制L_t(S) = 1/2 ||S^T k_t - v_t||^2
以学习率β_t进行梯度更新，得到：
code复制S_t = (I - β_t k_t k_t^T)S_{t-1} + β_t k_t v_t^T
这就是经典的delta规则，它将S视为可学习的联想记忆，不断自我修正以逼近映射k_t↦v_t。这种秩1更新结构类似于广义Householder变换，支持硬件高效的分块并行化。
2.3 门控DeltaNet的权重衰减机制
虽然DeltaNet稳定了学习过程，但仍会无限保留过时关联。门控DeltaNet（GDN）引入标量遗忘门α_t∈[0,1]，得到：
code复制S_t = α_t (I - β_t k_t k_t^T)S_{t-1} + β_t k_t v_t^T
这里的α_t起到了对快速权重进行权重衰减的作用，实现了类似数据相关L2正则化的遗忘机制。这一简单而有效的改进提供了控制记忆寿命和减轻干扰的合理方法，在保持DeltaNet并行化结构的同时，提升了模型稳定性和长上下文泛化能力。
3. Kimi Delta Attention：细粒度门控的进化
3.1 核心创新：从标量门控到通道级门控
Kimi Delta Attention（KDA）的核心突破在于将GDN的标量衰减机制扩展为细粒度的对角化门控：
code复制S_t = (I - β_t k_t k_t^T)Diag(α_t)S_{t-1} + β_t k_t v_t^T
o_t = S_t^T q_t
其中α_t∈[0,1]^{d_k}是一个向量，为每个特征维度提供独立的遗忘率。这种细粒度设计带来了几个关键优势：
- 精确的记忆控制：不同特征维度可以有不同的遗忘速率，更精细地管理有限状态RNN的记忆
- 增强的表达能力：相比标量门控，通道级门控能捕捉更复杂的依赖模式
- 硬件效率保持：通过特殊设计的并行算法，维持了与GDN相当的硬件效率
3.2 分块并行化算法
为了实现高效的硬件加速，我们将递推关系展开为分块形式：
code复制S_[t]^r = P_[t]^r S_[t]^0 + H_[t]^r
其中P_[t]^r和H_[t]^r通过WY表示进行紧凑编码：
code复制P_[t]^r = Diag(γ_[t]^r) - Σ Diag(γ_[t]^{i→r})k_[t]^i w_[t]^{iT}
H_[t]^r = Σ Diag(γ_[t]^{i→r})k_[t]^i u_[t]^{iT}
辅助向量w和u通过精心设计的递推关系计算，确保数值稳定性。
3.3 UT变换与计算优化
我们应用UT变换来减少非矩阵乘法的FLOPs，这对训练时的硬件利用率至关重要：
code复制M_[t] = (I + StrictTril(Diag(β_[t])(Γ_[t]^{1→C}⊙K_[t])(K_[t]/Γ_[t]^{1→C})^T))^{-1}Diag(β_[t])
W_[t] = M_[t](Γ_[t]^{1→C}⊙K_[t])
U_[t] = M_[t]V_[t]
这种表示将二级分块矩阵计算从四次减少到两次，并消除了额外的三次矩阵乘法，使算子效率相比通用DPLR形式提升约100%。
4. Kimi Linear模型架构设计
4.1 神经参数化设计
Kimi Linear的每个注意力头的输入计算采用以下设计：
-
查询和键：通过短卷积+Swish激活+L2归一化
code复制q_t^h, k_t^h = L2Norm(Swish(ShortConv(W_qk^h x_t))) -
值：短卷积+Swish激活
code复制v_t^h = Swish(ShortConv(W_v^h x_t)) -
衰减项：通过低秩投影参数化
code复制α_t^h = f(W_α^↑ W_α^↓ x_t) ∈ [0,1]^{d_k} -
学习率：通过Sigmoid激活
code复制β_t^h = Sigmoid(W_β^h x_t) ∈ [0,1]
4.2 输出门控与归一化
在输出投影前，我们采用了按头的RMSNorm和数据依赖的门控机制：
code复制o_t = W_o(Sigmoid(W_g^↑ W_g^↓ x_t) ⊙ RMSNorm(KDA(q_t,k_t,v_t,α_t,β_t)))
这种设计既保持了参数效率，又有效缓解了Attention Sink问题。
4.3 混合架构策略
针对长上下文检索的挑战，Kimi Linear采用分层混合策略：
- 3:1比例：3个KDA层对应1个全MLA（多头潜在注意力）层
- 无位置编码：MLA层采用NoPE设计，将位置编码责任完全交给KDA层
- 交替排列：相比层内混合，整层交替提供更简洁的架构和更好的训练稳定性
5. 实验验证与性能分析
5.1 主要实验结果
我们预训练了一个具有3B激活参数和48B总参数的Kimi Linear模型，实验结果显示：
- 质量优势：在所有评估任务中显著优于完全MLA模型
- 内存效率：键值缓存使用量降低高达75%
- 吞吐量提升：在1M上下文中实现最高6倍的解码吞吐量提升
5.2 消融研究与分析
- 门控机制选择：细粒度对角门控相比标量门控在长上下文任务中提升显著
- 混合比例：3:1的KDA与MLA比例展现出最佳的质量-吞吐量平衡
- 位置编码：KDA作为主要位置感知算子，性能优于短卷积或SWA等辅助方案
6. 实用建议与实现细节
6.1 实现注意事项
- 数值稳定性：在分块计算中特别注意除法运算的精度问题
- 内存布局：优化KV缓存的内存访问模式以提升硬件利用率
- 并行策略：合理平衡块间递归和块内并行以最大化矩阵乘法吞吐
6.2 调参经验
- 衰减函数：选择合适的衰减函数f(·)对长上下文性能至关重要
- 学习率调度：由于混合架构特性，需要调整预热策略
- 初始化策略：对角门控参数的初始化影响训练稳定性
7. 未来方向与开源生态
我们已经开源了KDA内核和vLLM实现，并发布了预训练和指令微调的模型检查点。这些组件与现有全注意力流水线无缝兼容，无需修改缓存或调度接口，为混合架构研究提供了便利基础。
未来的研究方向包括：
- 更高效的混合策略：探索动态比例调整的可能性
- 扩展应用场景：在更多RL和工具使用场景中验证架构优势
- 硬件协同设计：针对KDA特性定制更高效的硬件加速方案
通过这项研究，我们展示了线性注意力架构不仅可以在效率上超越完全注意力机制，还能在质量上与之匹敌甚至超越。Kimi Linear为下一代LLM智能体提供了一条兼顾性能和效率的可行路径。