1. 从GraphRAG到BookRAG:结构化文档检索的技术跃迁
面对技术手册、学术论文这类具有复杂层级结构的文档时,传统检索增强生成(RAG)系统常常表现得像个拿着放大镜在图书馆里盲目翻书的读者。它们要么将文档视为线性文本流,丢失了章节、图表间的逻辑关联;要么采用固定检索路径,无法根据问题类型动态调整策略。香港中文大学(深圳)提出的BookRAG系统,则像一位训练有素的图书管理员——既能快速定位章节位置,又能理解内容间的深层关联,甚至能根据读者问题的复杂程度选择不同的检索策略。
这个系统的核心创新在于其混合索引结构BookIndex。与仅依赖文本相似度的传统方法不同,BookIndex同时构建了文档的"骨骼"(层级树)和"脉络"(知识图谱)。层级树通过解析标题、章节、图表等布局信息形成,保留了文档的原始组织结构;知识图谱则提取实体及其关系,捕捉跨章节的语义关联。二者通过GT-Link技术相互映射,使得系统既能按目录跳转,又能沿语义关系游走。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. BookIndex架构解析:当层级树遇见知识图谱
2.1 树构建:还原文档的原始骨架
文档的层级结构解析始于布局分析。现代PDF/Word文档中的标题、段落、表格等元素通常带有明确的样式标记,BookRAG首先利用这些视觉线索进行块级分割。例如,12pt加粗的Century Gothic字体可能被识别为一级标题,10pt常规的Arial字体则可能是正文段落。但仅靠样式规则容易出错,因此系统会调用大语言模型对疑似标题的文本块进行语义验证——真正的章节标题通常具有概括性,且与后续内容存在明显的主题一致性。
构建完成的层级树不仅包含传统的章节结构,还会特殊处理文档中的非文本元素。例如,将表格的标题与其内容关联,为图片添加描述性节点。这种细粒度处理使得查询"图3展示了什么?"可以直接定位到对应可视化元素,而非仅仅返回附近的段落文本。
2.2 图构建:捕捉跨章节的语义网络
从树节点提取实体时,BookRAG面临同名异指(如"Transformer"可能指模型或电气设备)和异名同指(如"信息觅食理论"与"IFT")的挑战。其梯度式实体消歧算法通过分析相似度分数的突变点来优化这一过程:当两个实体的嵌入向量相似度从0.8骤降到0.3时,系统会在此设置阈值,避免昂贵的全局比较。这种自适应方法在
