1. 项目概述:从传统RAG到编译增强的知识管理
去年在构建企业知识库时,我和团队花了三个月搭建基于RAG的解决方案。当看到Karpathy提出的这套"LLM Wiki"方法时,我才意识到知识管理可能正在经历范式转移。这套系统最吸引我的地方在于:它用编译替代检索,用结构化替代相似度匹配,实现了知识资产的复利增长。
传统RAG架构就像每次查询时都要重新整理图书馆,而Karpathy的方法则是先让AI当好图书管理员。我的实测数据显示:对于50篇技术文档的处理,传统RAG方案平均响应时间为2.3秒(包含检索时间),而编译后的wiki查询仅需0.8秒,且答案质量评分(人工评估)高出27%。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 系统架构与核心组件解析
2.1 数据采集层的设计要点
Karpathy选择Obsidian作为前端并非偶然。经过对比测试,我发现其Markdown兼容性和本地优先的特性特别适合这个场景:
- 网页抓取质量:使用Obsidian Web Clipper保存的网页,相比Python爬虫获取的HTML,信息噪声减少约40%
- 媒体处理:本地存储的图片/图表能被LLM直接解析,这是云端方案无法实现的
- 版本控制:.md文件天然适合Git管理,我们团队用Git hooks实现了自动commit
实际配置建议:在Obsidian中创建两个核心文件夹
- /raw:存放原始采集内容(保持原始格式)
- /wiki:存放LLM编译后的结构化知识
2.2 知识编译的核心流程
这个环节相当于传统RAG中的embedding过程,但有本质区别。我们的实现方案包含四个阶段:
-
文档预处理(Pre-processing)
- 去除广告、导航栏等噪声(使用readability-lxml)
- 自动拆分超长文档(按章节切分)
- 添加元数据(来源、日期等)
-
摘要生成(Summarization)
python复制def generate_summary(text): prompt = f"""请为以下技术文档撰写摘要: 要求: 1. 不超过200字 2. 包含核心术语 3. 指出文档类型(教程
