锺一勺1. Engram：大语言模型稀疏化的新维度
在探索大语言模型（LLM）架构优化的过程中，我们常常面临一个根本性矛盾：模型需要同时处理动态的组合推理和静态的知识检索。传统Transformer架构通过自注意力机制和前馈网络来模拟这两种功能，但这种"一刀切"的方式存在明显的效率瓶颈。想象一下，当你需要查询一个简单的事实（比如"中国的首都是北京"）时，大脑不会每次都重新推导这个知识，而是直接从记忆中提取——这正是Engram模块想要为LLM实现的功能。
Engram的核心创新在于引入了"条件记忆"这一新的稀疏化维度，与现有的MoE（混合专家）架构形成互补。MoE通过条件计算（conditional computation）来动态激活不同的专家模块，而Engram则通过条件记忆（conditional memory）来实现静态知识的快速检索。这种分工使得模型能够更高效地利用其参数和计算资源。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 为什么需要Engram：现有架构的三大痛点
2.1 静态知识检索的效率困境
在标准Transformer中，即使是简单的多词实体（如"Artificial Intelligence"）也需要通过多层注意力机制来"重建"。这个过程相当于在运行时动态构建一个本可以预先存储的查找表，浪费了宝贵的计算资源。研究表明，早期Transformer层花费了大量计算在这类静态模式的重建上，而这些计算本可用于更高层次的推理任务。
2.2 MoE与内存分配的失衡
当前的MoE架构主要优化了计算资源的分配，但在参数分配上缺乏系统性指导。给定固定的总参数预算，我们应该如何在神经计算（MoE专家）和静态内存（查找表）之间分配容量？Engram通过引入稀疏性分配问题（Sparsity Allocation Problem）为这一决策提供了量化依据。
2.3 大规模嵌入表的基础设施挑战
传统方法试图通过增加嵌入表大小来存储更多知识，但这带来了严重的工程挑战：
- GPU内存限制：大型嵌入表难以完全放入GPU显存
- 通信开销：频繁在主机内存和GPU之间传输大型表会引入显著延迟
- 哈希冲突：简单的哈希方法会导致严重的嵌入碰撞问题
3. Engram架构详解
3.1 整体设计理念
Engram模块的设计遵循三个核心原则：
- 确定性检索：基于n-gram的哈希查找确保O(1)时间复杂度
- 上下文感知：通过门控机制避免无关记忆的干扰
- 基础设施友好：支持主机内存卸载和预取，突破GPU内存限制
3.2 关键组件与技术
3.2.1 Tokenizer压缩
在哈希查找前对输入进行规范化处理：
- Unicode规范化（NFKC形式）
- 大小写统一（lowercase）
- 子词合并（合并语义等价的token）
这种预处理可以显著减少有效词表大小（论文报告在128k tokenizer下减少约23%），提高哈希表的使用效率。
3.2.2 多头哈希机制
为解决哈希冲突问题，Engram采用了创新的多头哈希设计：
- 对不同长度的n-gram（如1-gram, 2-gram, 3-gram）使用独立的哈希函数
- 每个哈希表选择素数大小以减少碰撞概率
- 将各阶n-gram的嵌入向量拼接形成最终记忆表示
这种设计显著降低了碰撞概率，同时保留了不同粒度n-gram的语义信息。
3.2.3 上下文感知门控
记忆检索不是简单的"读取-注入"过程，而是经过精细的上下文筛选：
- 使用当前Transformer层的隐状态作为查询向量(Query)
- 将检索到的记忆向量作为键值对(Key-Value)
- 计算点积注意力得分作为门控值
- 抑制与当前上下文不符的记忆条目（低门控值）
这种机制有效解决了多义词和哈希碰撞带来的噪声问题。
3.2.4 局部精炼模块
在门控后，Engram还包含一个轻量级的精炼步骤：
- 使用因果深度可分离卷积（kernel=4）
- dilation设置为最大n-gram长度
- 增加非线性变换和局部上下文整合
这个模块只有约0.1%的额外计算开销，但能显著提升记忆表示的质量。
4. Engram的工程实现
4.1 训练阶段优化
- 参数并行：嵌入表可跨多个GPU切分，支持大规模训练
- 梯度累积：对稀疏更新的记忆参数使用特殊优化
- 混合精度：对静态记忆使用FP16/BF16格式减少内存占用
4.2 推理阶段优化
- 主机内存卸载：将大型记忆表保留在主机内存中
- 确定性预取：基于n-gram的确定性地址允许提前预取
- 通信隐藏：重叠记忆检索与GPU计算，实测延迟增加<3%
4.3 多分支集成策略
Engram支持灵活地集成到多分支骨干网络中：
- 共享记忆表和Value投影
- 各分支保持独立的Key投影
- 允许不同分支有特定的门控行为
这种设计既节省了参数，又保持了各分支的 specialization。
5. 性能评估与实证结果
5.1 基准测试表现
Engram-27B模型在多个领域展现出显著优势：
| 任务类别 | 基准测试 | 提升幅度 |
|---|---|---|
| 知识检索 | MMLU | +3.4 |
| CMMLU | +4.0 | |
| 通用推理 | BBH | +5.0 |
| ARC-Challenge | +3.7 | |
| 代码/数学 | HumanEval | +3.0 |
| MATH | +2.4 | |
| 长上下文 | Multi-Query NIAH | 84.2→97.0 |
值得注意的是，Engram带来的提升不仅限于知识密集型任务，在通用推理和代码/数学领域也表现出显著优势，这表明其作用机制超越了简单的"记忆增强"。
5.2 稀疏性分配规律
论文通过大量实验发现了一个关键的U型扩展规律：
- 纯MoE架构（100%参数给专家）并非最优
- 纯记忆架构（100%参数给Engram）也有局限
- 存在一个最优混合比例（约30-40%参数给Engram）
这一发现为模型设计提供了重要的量化指导。
5.3 长上下文处理的突破
通过将局部依赖委托给Engram查找，模型的注意力机制可以更专注于全局上下文：
- LongPPL困惑度降低15-20%
- RULER基准中的变量跟踪准确率从77.0提升到89.0
- 多查询NIAH（需要跟踪长距离依赖）从84.2提升到97.0
6. 机制分析与见解
6.1 有效网络深度增加
通过LogitLens和CKA相似性分析发现：
- Engram减轻了早期层的静态知识重建负担
- 相当于为高阶推理任务"释放"了3-4个Transformer层
- 后期层的表示质量显著提高
6.2 注意力模式变化
可视化分析表明：
- 不使用Engram时，注意力头需要同时处理局部和全局依赖
- 使用Engram后，注意力更集中于长距离关联
- 注意力权重分布更加集中和有目的性
7. 实践经验与部署建议
7.1 容量分配指导
- 参考U型扩展规律进行参数分配
- 在总参数预算中为Engram保留30-40%
- 根据任务特性调整比例（知识密集型可稍高）
7.2 注入点选择
- 早期到中期层（通常第3-8层）效果最佳
- 太早注入可能干扰底层表示学习
- 太晚注入无法充分释放计算资源
- 需要进行层间灵敏度分析（论文提供ablation）
7.3 工程实施要点
- 必须组合使用tokenizer压缩+多头哈希+门控
- 优先考虑主机内存卸载方案
- 评估通信带宽和计算重叠效率
- 对哈希表大小进行渐进式扩展测试
8. 未来方向与扩展
Engram开辟了几个有前景的研究方向：
- 无限记忆机制（infinite memory regime）
- 可训练的哈希函数以减少碰撞
- 更细粒度的键（key）学习策略
- 跨模态扩展（视觉、语音等）
- 动态记忆更新机制
在实际部署中，我们发现Engram特别适合以下场景：
- 需要频繁查询静态知识的应用（如问答系统）
- 长文档处理任务
- 数学和代码生成场景
- 资源受限环境下的模型部署
通过将Engram与现代MoE架构结合，我们能够构建更高效、更强大的语言模型，在保持计算效率的同时大幅提升模型的知识容量和推理能力。这一创新不仅为当前的LLM架构提供了重要改进，也为下一代稀疏模型的设计指明了方向。