RAG文本分块策略：五大方法与优化实践

1. RAG文本分块策略深度解析

在构建检索增强生成（RAG）系统时，文本分块是决定系统性能的关键预处理步骤。就像盖房子需要打好地基一样，合理的文本分块能为后续的检索和生成环节提供坚实的基础。我在实际项目中发现，约70%的RAG系统性能问题都源于不恰当的分块策略。

1.1 为什么分块如此重要

大语言模型（LLM）的输入长度限制使得我们必须对长文档进行切分。但简单粗暴的切割会导致严重的语义断裂问题——就像把一本小说随机撕成几页，读者很难理解完整的故事。我曾遇到一个案例：某法律咨询RAG系统因为不当分块，将"不可抗力条款"的适用条件和例外情况分割到不同块中，导致生成的回答完全错误。

分块策略的核心矛盾在于：

• 块太小：无法保留完整语义上下文
• 块太大：超出模型处理能力且包含冗余信息
• 边界处理：关键信息恰好被切断的风险

1.2 分块策略的五大维度

经过多个项目实践，我总结出评估分块策略的五个关键维度：

1. 语义完整性：块内内容是否构成完整语义单元
2. 实现复杂度：策略的技术实现难度
3. 计算开销：所需的计算资源和时间成本
4. 通用性：适用于不同文档类型的能力
5. 可调参数：策略的灵活性和可优化空间

2. 五种核心分块策略详解

2.1 固定大小分块：简单但需谨慎

固定大小分块是最基础的方法，按预设的字符数、单词数或Token数均匀切分文档。在Python中可以用简单的字符串切片实现：

python复制def fixed_size_chunk(text, chunk_size=500, overlap=100):
    chunks = []
    start = 0
    while start < len(text):
        end = min(start + chunk_size, len(text))
        chunks.append(text[start:end])
        start = end - overlap
    return chunks

关键参数优化经验：

• 中文文档：建议chunk_size在400-600字之间
• 英文文档：建议300-500个单词
• 重叠比例：通常设为chunk_size的15-20%

注意：金融、法律类文档因句子结构复杂，建议重叠比例提高到25-30%。我在某银行风控系统项目中，将重叠从100字调整到150字后，关键条款召回率提升了18%。

2.2 语义分块：质量优先的选择

语义分块通过分析句子间的语义连贯性来确定分块边界，能更好地保留上下文完整性。其核心是计算相邻句子的嵌入相似度：

python复制from sentence_transformers import SentenceTransformer
import numpy as np

model = SentenceTransformer('all-MiniLM-L6-v2')

def semantic_chunk(text, threshold=0.72):
    sentences = [s for s in text.split('.') if s.strip()]
    embeddings = model.encode(sentences)
    chunks = []
    current_chunk = sentences[0]
    
    for i in range(1, len(sentences)):
        sim = np.dot(embeddings[i-1], embeddings[i]) / (
            np.linalg.norm(embeddings[i-1]) * np.linalg.norm(embeddings[i])
        )
        if sim < threshold:
            chunks.append(current_chunk)
            c