LoZA稀疏注意力机制：大语言模型长文本处理新突破

1. LongCat技术升级背景与核心突破

美团龙猫团队最新发布的LongCat技术升级，在自然语言处理领域引起了广泛关注。这项名为LoZA（LongCat ZigZag Attention）的新型稀疏注意力机制，成功解决了大语言模型在处理超长文本时的两大核心痛点：计算效率低下和显存占用过高的问题。

传统全注意力机制的计算复杂度为O(L²)，这意味着当处理长度超过100K token的文本时，计算资源消耗会呈指数级增长。而LoZA通过创新的稀疏化设计，将计算复杂度降低到线性级别O(L·S)，其中S为固定的稀疏窗口大小（1024 token）。实测数据显示，在处理128K上下文时，解码速度提升达10倍；256K上下文预加载速度提升50%，后续解码阶段还能节省30%的算力。

2. LoZA注意力机制技术解析

2.1 模块筛选与权重学习机制

LoZA的核心创新在于其两阶段优化策略。首先对原有的多头潜在注意力(MLA)模块进行全局评估：

1. 为每个MLA模块引入可学习权重参数α
2. 通过专门的校准训练，让模型自主判断各模块的重要性
3. 冻结其他参数，仅更新α的梯度
4. 根据α值排序，识别出对性能影响较小的模块

这种设计使得模型能够自动区分"关键模块"和"可简化模块"，为后续的稀疏化改造提供了科学依据。

2.2 ZigZag交错结构设计

筛选出低α值的MLA模块后，LoZA将其替换为更轻量的流式稀疏注意力(SSA)：

• 保留50%高α值的MLA模块维持全注意力计算
• 替换50%低α值的MLA模块为SSA
• 形成MLA与SSA交替排列的ZigZag结构

这种交错设计既保留了模型对关键信息的处理能力，又显著降低了整体计算负担。SSA采用固定大小的稀疏窗口(1024 token)，每个窗口内包含：

• 1个全局块(128 token)：负责捕捉长距离依赖
• 7个局部块(各128 token)：专注处理邻近上下文

3. 实现细节与工程优化

3.1 渐进式训练策略

LoZA的一个显著优势是其无需从头训练：

1. 在基础模型训练中期引入α参数
2. 进行1000-2000步的校准训练
3. 根据α值完成模块替换
4. 继续微调2000-3000步

这种渐进式改造方案相比完全重新训练，可节省约70%的训练成