1. 为什么需要父子索引:RAG中的chunk大小困境
在构建RAG(Retrieval-Augmented Generation)系统时,文档分块(chunking)策略直接影响检索效果。我曾在实际项目中遇到过这样的困境:当把Transformer技术文档切成200字符的小块时,检索"注意力机制"确实能精准定位到相关段落,但返回的片段只有"多头注意力通过多个独立的..."这样没头没尾的内容,LLM根本无法理解完整的上下文。而当我将块大小调整为1000字符后,虽然能返回完整的自注意力章节,但检索"位置编码"时却可能匹配到完全不相关的段落开头部分。
1.1 小chunk的精度陷阱
小chunk(如200-300字符)的优势在于:
- 向量表示高度聚焦特定概念
- 语义搜索时容易匹配到精确段落
- 适合关键词驱动的查询场景
但问题也很明显:
- 上下文碎片化(如只返回半句话)
- 无法保持完整语义单元(如定义+示例)
- 需要额外处理才能拼接成连贯答案
实际踩坑:在构建技术文档问答系统时,使用小chunk检索到的"残差连接"定义缺少后续的数学表达式说明,导致LLM生成了错误公式。
1.2 大chunk的语义稀释
大chunk(如800-1000字符)的特点是:
- 保持完整的逻辑段落
- 包含概念定义+示例+关联知识
- 减少后续处理的拼接工作
但带来的新问题是:
- 向量嵌入包含过多噪声特征
- 检索时可能匹配到段落中的次要内容
- 计算相似度时关键信息被平均化
实测数据显示:当使用bge-m3模型嵌入1000字符的chunk时,"位置编码"查询可能匹配到段落开头提到的"Transformer由Vaswani等人提出",仅仅因为都包含"提出"这个高频词。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 父子索引的架构设计
2.1 核心解决思路
Parent-Document Retrieval采用分层处理:
-
子chunk(200字符):负责精准检索
- 保持足够小的语义单元
- 优化向量相似度计算
- 使用更激进的重排序策略
-
父文档(1000字符):提供完整上下文
- 包含多个关联子chunk
- 维持逻辑完整性
- 作为最终LLM的输入上下文
这种设计类似于图书馆系统:
- 子
