1. Engram模型的核心创新与设计理念
在大型语言模型的发展历程中,我们一直面临着两个看似矛盾的需求:一方面需要不断增加模型容量以存储更多知识,另一方面又需要控制计算成本避免资源爆炸。Engram论文提出的Conditional Memory机制,为这个困境提供了全新的解决思路。
1.1 传统Transformer的固有局限
当前主流的大型语言模型架构存在一个根本性缺陷:所有类型的处理——无论是复杂的逻辑推理还是简单的知识检索——都不得不通过相同的注意力机制和MLP层来完成。这就好比用瑞士军刀切牛排——虽然最终也能完成,但效率显然不是最优的。
具体来说,当模型处理"巴黎是法国的首都"这类事实性知识时,与处理"如果A包含B且B包含C,那么A是否包含C"这类推理问题时,使用的是完全相同的计算路径。这种设计导致两个问题:
- 静态知识检索占用了本应用于复杂推理的计算资源
- 模型深度被浪费在重建本可以快速查找的信息上
1.2 条件记忆的二分法设计
Engram的创新之处在于将语言建模任务明确划分为两个异质子任务:
组合推理任务
- 需要真正的计算能力
- 涉及逻辑推导、上下文整合等动态过程
- 适合由MoE专家系统处理
知识检索任务
- 本质上是模式匹配
- 包括事实查询、固定搭配、局部依赖等
- 更适合查表机制实现
这种二分法不是简单的功能分离,而是基于计算本质的深度重构。作者通过大量实验发现,在27B参数规模的模型中,将约20-25%的稀疏预算分配给Engram记忆模块,剩余部分留给MoE专家,能够取得最佳效果。
实践建议:当实现Engram时,建议从15-30%的稀疏预算分配范围开始实验,不同任务类型可能需要不同的分配比例。知识密集型任务可能受益于更高的Engram比例,而推理密集型任务可能需要更多MoE专家。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Engram的四大核心技术实现
2.1 Tokenizer压缩:提升语义密度
标准tokenizer为了保持文本可逆重建,会给表面不同但语义相同的token分配不同ID。例如"Apple"、"apple"和"␣apple"可能被映射到完全不同的token ID。这种设计虽然保证了文本重建的准确性,但却严重浪费了N-gram记忆空间。
Engram采用的词表投影技术通过
