1. 为什么文档不能直接存入向量库?
在构建RAG(检索增强生成)系统时,很多初学者会犯一个致命错误:试图将整篇文档直接存入向量数据库。这种做法看似简单,实则存在两个根本性问题:
首先,所有embedding模型都有严格的输入长度限制。以OpenAI的text-embedding-ada-002为例,其最大token限制为8191。一篇5000字的文档经过token化后可能刚好在限制内,但如果是技术手册、法律合同等长篇文档,很容易就会超出限制。更糟糕的是,很多开源模型(如BERT系列)的典型长度限制只有512个token。
其次,从信息检索的角度看,整篇文档压缩成单个向量会导致"语义稀释"效应。想象你把《战争与和平》的全部内容压缩成一个向量,当用户查询"娜塔莎的舞会场景"时,系统只能返回整本书的向量——这就像用望远镜找针尖,根本无法精确定位具体段落。我们做过实验:用整篇文档向量检索时,前10个结果的准确率不足15%,而合理分块后能提升到75%以上。
关键认知:向量检索的本质是模式匹配,不是内容理解。大块文本的向量会"平均化"所有细节,就像把整幅画的颜料混在一起,最终只能得到浑浊的灰色。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Chunking的核心设计原则
2.1 粒度选择的黄金法则
Chunk大小的选择需要在两个对立维度间取得平衡:
- 检索精度:块越小,向量表示的语义越聚焦,越容易匹配到具体问题
- 上下文完整性:块越大,保留的上下文信息越丰富,LLM越容易理解
经过数百次实验验证,我们发现500-1000token是大多数场景的最佳平衡点。这个范围内:
- 对于密集检索(dense retrieval),块大小与Recall@K指标的关系呈现明显的钟形曲线
- 对于生成质量,块内包含3-5个相关句子时,LLM的回答连贯性最佳
2.2 Metadata的妙用
除了文本内容,每个chunk应该包含结构化metadata,这是很多开发者忽视的"超级武器"。完整的metadata通常包括:
python复制{
"source": "用户手册.pdf",
"page": 42,
"section": "故障排除 > 网络连接",
"last_updated": "2023-11-15",
"d
