1. 项目概述
RAG(检索增强生成)个人知识库v5.0是一个重大升级版本,它通过引入RAPTOR(基于多层摘要的递归检索)技术,解决了传统RAG系统在"全局理解"方面的核心痛点。这个版本让知识库从只能回答具体问题的"点状问答"系统,进化成为能够理解文档整体结构和核心思想的"智能助手"。
1.1 核心痛点解析
在v4.0版本中,虽然通过重排序机制显著提升了答案的精准度,但仍然存在一个根本性局限:系统只能基于局部文本片段进行回答,缺乏对文档整体的理解能力。这导致在面对以下类型的问题时表现不佳:
- 全书/长文档的总结性问题(如"这本书主要讲了什么?")
- 主题归纳类问题(如"作者强调了哪些方法论?")
- 跨章节关联问题(如"哪些章节讨论了XX技术?")
问题的本质在于传统RAG的工作机制:将文档分割为独立的小块,通过向量相似度检索相关片段,然后基于这些片段生成回答。这种方式对于查找具体信息很有效,但无法捕捉文档的高层结构和整体脉络。
1.2 RAPTOR的创新解决方案
RAPTOR技术通过构建一个多层次的"语义树"来解决这个问题:
- 叶子节点:原始的文本分块(保持v4.0的细粒度检索能力)
- 中间节点:对相关文本块的智能摘要(中层理解)
- 根节点:对整个文档的全局摘要(高层视角)
这种结构使得系统能够在不同抽象级别上理解文档内容,从而根据问题的性质,灵活地从最合适的层级获取信息。对于具体问题,可以深入叶子节点;对于宏观问题,则可以从高层摘要节点获取答案。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术实现细节
2.1 RAPTOR树的构建流程
RAPTOR树的构建是一个递归的过程,主要分为以下几个步骤:
2.1.1 文本预处理与分块
首先,系统会将输入文档分割为适当大小的文本块。这个过程需要考虑:
- 块大小:通常在100-300个token之间,平衡信息完整性和处理效率
- 分割边界:尽量在自然语言边界(如段落结束、标题处)分割,保持语义连贯
- 重叠设置:相邻块之间设置适当重叠,确保上下文连续性
python复制text_splitter = RecursiveCharacterTextSplitter(
chunk_size=RAGConfig.chunk_size,
chunk_overlap=RAGConfig.chunk_overlap,
separators=["\n\n", "\n", "。", "!", "?", ";", ",", "、", " ", ""],
length_function=len
)
splits = text_splitter.split_documents(documents)
2.1.2 向量化与聚类
每个文本块会被转换为向量表示,然后通过聚类算法将语义相似的块分组:
- 向量化:使用Sentence-BERT等模型生成文本块的嵌入表示
- 降维:使用UMAP对高维向量降维,保留最重要的语义特征
- 聚类:采用高斯混合模型(GMM)进行软聚类,自动确定最优聚类数量
python复制def perform_clustering(embeddings, min_clusters=2, max_clusters=10):
reducer = umap.UMAP(n_neighbors=15, n_components=5, metric='cosine', random_state=42)
reduced_embeddings = reducer.fit_transform(embeddings)
best_gmm = None
best_bic = np.inf
best_n = min_clusters
for n_clusters in range(min_clusters, min(max_clusters, len(embeddings)) + 1):
gmm = GaussianMixture(n_components=n_clusters, covariance_type='tied', random_state=42)
gmm.fit(reduced_embeddings)
bic = gmm.bic(reduced_embeddings)
if bic < best_bic:
best_bic = bic
best_gmm = gmm
best_n = n_clusters
if best_gmm:
return best_gmm.predict(reduced_embeddings)
return np.zeros(len(embeddings), dtype=int)
2.1.3 摘要生成
对每个聚类中的文本块,使用LLM生成一个简洁的摘要,捕获该组的核心信息。摘要生成需要特别注意:
- 提示工程:设计专门的提示词确保摘要质量
- 长度控制:避免生成
