1. 项目概述
Engram是一种创新的条件记忆模块,旨在为大型语言模型(LLM)提供高效的静态知识检索能力。这项由北京大学和DeepSeek联合开展的研究,针对当前Transformer架构在知识检索方面的固有低效问题,提出了基于可扩展查找的稀疏性解决方案。
在传统Transformer中,模型需要通过多层计算来"重建"静态知识,这相当于用昂贵的动态计算模拟简单的查找操作。Engram通过引入N-gram哈希检索机制,将静态知识存储与动态计算分离,使模型能够直接访问预存的嵌入表示,从而显著提升效率。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心架构设计
2.1 整体架构
Engram模块被设计为Transformer主干的补充组件,其工作流程分为两个阶段:
- 检索阶段:通过哈希N-gram从大规模嵌入表中查找相关记忆
- 融合阶段:使用上下文感知门控将检索到的记忆与当前隐藏状态整合
这种设计允许模型将静态知识存储与动态推理过程解耦,解决了传统Transformer在处理常见实体和固定表达时浪费计算资源的问题。
2.2 关键技术实现
2.2.1 分词器压缩与规范化
标准子词分词器为语义等价术语分配不同ID的问题通过以下方式解决:
- 预计算规范化映射函数P:V→V'
- 应用NFKC Unicode规范化形式
- 执行小写化等文本等价处理
- 将原始128k词汇表压缩约23%
这种处理显著提高了嵌入表的空间利用率,使相同容量的记忆表可以存储更多有效信息。
2.2.2 多头哈希检索机制
为避免哈希冲突并提高检索质量,Engram采用多头哈希设计:
- 为每个N-gram阶数n设置K个独立哈希头
- 每个头使用不同的哈希函数ϕ_
- 检索时拼接所有头的输出嵌入
- 通过门控机制自动抑制冲突带来的噪声
这种设计在保持O(1)时间复杂度的同时,有效缓解了单一哈希函数可能导致的冲突问题。
3. 系统集成与优化
3.1 与多分支架构的集成
Engram被设计为与mHC(流形约束超连接)多分支架构无缝集成:
- 共享稀疏嵌入表和Value投影矩阵
- 为每个分支保留独立的Key投影矩阵
- 实现分支特定的门控行为
- 将线性投影融合为单个FP8矩阵乘法
这
