1. 从神经科学到AI架构:Engram模块的设计哲学
在神经科学研究中,"engram"(记忆痕迹)指代大脑中存储记忆的物理载体。DeepSeek团队巧妙地将这一概念引入AI领域,创造性地设计出具有类似功能的记忆模块。这种跨学科借鉴体现了当前大模型发展的一个显著趋势:从单纯追求参数规模,转向更接近生物神经系统的架构设计。
Engram模块的核心创新在于实现了"记忆"与"计算"的物理分离。传统Transformer架构中,无论是Dense还是MoE变体,记忆存储和逻辑处理都共享同一套参数体系。这就好比要求同一个脑区既负责记住巴黎是法国首都,又要完成微积分计算——从神经科学角度看,这种设计显然不够高效。
关键突破:Engram通过哈希索引的N-Gram查找表,实现了O(1)时间复杂度的记忆检索。这意味着无论存储多少知识条目,检索速度都保持恒定。实测显示,在27B参数的实验模型中,Engram模块可存储PB级知识库,推理时仅增加<3%的计算开销。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 查算分离架构的工程实现细节
2.1 现代化哈希N-Gram嵌入技术
传统N-Gram方法在预深度学习时代就被广泛使用,但存在维度灾难问题。Engram的创新在于:
-
动态哈希函数:采用可学习的哈希策略,将N-Gram片段映射到高维空间。不同于静态哈希,这种动态映射能根据训练数据自动优化碰撞率。
-
条件记忆触发:每个记忆条目关联一组条件向量,只有当当前隐状态与条件向量的相似度超过阈值时,该记忆才会被激活。这解决了简单查表缺乏上下文敏感性的问题。
-
分层存储设计:
- L1缓存:高频N-Gram(存储在HBM)
- L2存储:中频N-Gram(存储在GPU显存)
- L3归档:低频N-Gram(可卸载到主机内存)
2.2 与MoE协同的双系统架构
Engram与MoE的协作流程可分为四个阶段:
-
输入预处理层:
- Token序列被切片为重叠的N-Gram窗口
- 每个窗口通过哈希函数生成记忆地址
-
记忆检索阶段:
python复制def engram_retrieve(hash_key, hidden_state): memory_entr
