Engram：大语言模型稀疏化与知识检索新方法

1. Engram：大语言模型稀疏化的新维度

在探索大语言模型（LLM）架构优化的过程中，我们常常面临一个根本性矛盾：模型需要同时处理动态的组合推理和静态的知识检索。传统Transformer架构通过自注意力机制和前馈网络来模拟这两种功能，但这种"一刀切"的方式存在明显的效率瓶颈。想象一下，当你需要查询一个简单的事实（比如"中国的首都是北京"）时，大脑不会每次都重新推导这个知识，而是直接从记忆中提取——这正是Engram模块想要为LLM实现的功能。

Engram的核心创新在于引入了"条件记忆"这一新的稀疏化维度，与现有的MoE（混合专家）架构形成互补。MoE通过条件计算（conditional computation）来动态激活不同的专家模块，而Engram则通过条件记忆（conditional memory）来实现静态知识的快速检索。这种分工使得模型能够更高效地利用其参数和计算资源。

2. 为什么需要Engram：现有架构的三大痛点

2.1 静态知识检索的效率困境

在标准Transformer中，即使是简单的多词实体（如"Artificial Intelligence"）也需要通过多层注意力机制来"重建"。这个过程相当于在运行时动态构建一个本可以预先存储的查找表，浪费了宝贵的计算资源。研究表明，早期Transformer层花费了大量计算在这类静态模式的重建上，而这些计算本可用于更高层次的推理任务。

2.2 MoE与内存分配的失衡

当前的MoE架构主要优化了计算资源的分配，但在参数分配上缺乏系统性指导。给定固定的总参数预算，我们应该如何在神经计算（MoE专家）和静态内存（查找表）之间分配容量？Engram通过引入稀疏性分配问题（Sparsity Allocation Problem）为这一决策提供了量化依据。

2.3 大规模嵌入表的基础设施挑战

传统方法试图通过增加嵌入表大小来存储更多知识，但这带来了严重的工程挑战：

• GPU内存限制：大型嵌入表难以完全放入GPU显存
• 通信开销：频繁在主机内存和GPU之间传输大型表会引入显著延迟
• 哈希冲突：简单的哈希方法会导致严重的嵌入碰撞问题

3. Engram架构详解

3.1 整体设计理念

Engram模块的设计遵循三个核心原则：

1. **确定