DeepSeek Engram：大语言模型记忆机制的创新与优化

1. DeepSeek Engram：大语言模型记忆机制的革命性突破

在大型语言模型（LLM）快速发展的今天，DeepSeek团队与北京大学合作提出的Engram记忆模块，为解决Transformer架构的原生知识检索问题提供了创新方案。这项研究由梁文锋等学者共同署名，已在GitHub开源相关实现，引发了业界广泛关注。

Engram的核心价值在于：它首次为Transformer架构引入了原生的条件记忆机制，与现有的混合专家（MoE）条件计算形成互补。这种创新不仅提升了模型的知识检索能力，更在推理任务上展现出意想不到的显著效果。实测数据显示，在保持参数量和计算量（FLOPs）严格相等的条件下，Engram-27B模型相比纯MoE基线在MMLU知识测试上提升3.4%，在代码生成（HumanEval）上提升3.0%，在数学推理（MATH）上提升2.4%。

2. 核心架构解析：Engram如何重塑LLM记忆系统

2.1 现有架构的局限性

当前主流大模型主要通过两种途径扩展能力：

• 密集模型：所有参数参与每个token的计算，效率低下
• MoE稀疏化：仅激活部分专家网络，但依然依赖计算过程模拟检索

这两种方式都存在根本缺陷：Transformer架构缺乏原生的知识查找原语（primitive），导致模型不得不通过前向计算来"模拟"检索行为，造成大量计算资源浪费。

2.2 Engram的突破性设计

Engram模块通过三个关键创新解决了这一问题：

1. 基于N-gram的哈希检索系统

• 采用多阶哈希机制（K=8个独立哈希头）
• 词表压缩技术减少23%的存储需求
• O(1)时间复杂度的确定性查找

2. 上下文感知门控机制

python复制# 伪代码示例：Engram的门控计算
retrieved_embeddings = hash_lookup(ngram_context)  # 从哈希表检索
gate = sigmoid(linear(current_hidden_state))  # 基于当前上下文生成门控值
adjusted_embeddings = gate * retrieved_embeddings  # 动态调整

3. 计算-存储解耦架构

• 训练阶段：模型并