1. MemPalace 记忆挖掘流水线架构解析
MemPalace 是一个本地化的 AI Agent 记忆系统,其核心设计理念是"No API key. No internet. Everything local."。整个系统采用"宫殿/翼/房间/抽屉"的隐喻架构,其中抽屉(drawer)是 ChromaDB 中的基本存储单元,每条记录都带有 wing、room、source_file 等元数据字段。
记忆系统的入口是 mining(挖掘)流水线,它负责将原始数据转化为结构化的记忆单元。与大多数 RAG 系统不同,MemPalace 采用了三种独立的挖掘模式,分别针对不同类型的输入数据:
- Projects 模式:处理代码仓库和文档目录
- Convos 模式:处理各种聊天记录导出
- General 模式:处理任意散文文本
这种设计源于一个关键认知:不同类型的内容具有不同的"最小语义单元"。代码文档的最小单元是段落或函数注释,对话的最小单元是问答对(Q+A),而散文的最小单元则是包含完整思想的段落。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Projects 模式:代码仓库的结构化处理
2.1 文件发现与过滤机制
miner.py 是 projects 模式的核心实现,其文件发现机制采用三层过滤:
python复制READABLE_EXTENSIONS = {
".txt", ".md", ".py", ".js", ".ts", ".jsx", ".tsx",
".json", ".yaml", ".yml", ".html", ".css",
".java", ".go", ".rs", ".rb", ".sh", ".csv", ".sql", ".toml",
}
SKIP_DIRS = {
".git", "node_modules", "__pycache__",
".venv", "venv", "env", "dist", "build", ".next",
"coverage", ".mempalace", ".ruff_cache", ".mypy_cache",
# ...其他常见构建目录
}
过滤流程遵循严格顺序:
- 先通过 `SKI
