1. 文本分块的核心价值与挑战
在处理大语言模型应用时,文本分块(Text Chunking)是最基础却最容易被低估的环节。我见过太多团队在RAG(检索增强生成)系统中投入大量精力优化embedding模型和检索算法,最后发现效果不理想的根本原因竟出在最初的分块策略上。
文本分块本质上是在平衡三个关键因素:
- 上下文完整性:每个chunk需要包含足够完整的语义单元
- 信息密度:避免将无关内容强行拼接
- 长度限制:符合模型的最大token限制(如GPT-4通常2048-8192 tokens)
以法律合同处理为例,直接按固定大小切分可能把"甲方权利"和"乙方义务"割裂在不同chunk,导致检索时出现严重的信息缺失。这正是我们需要智能分块策略的根本原因。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. LangChain的分块框架设计
LangChain在text_splitter模块中提供了分块策略的标准化接口,其核心设计哲学是:
python复制class TextSplitter(ABC):
def __init__(
self,
chunk_size: int = 4000,
chunk_overlap: int = 200,
length_function: Callable = len,
):
self._chunk_size = chunk_size
self._chunk_overlap = chunk_overlap
self._length_function = length_function
关键参数说明:
chunk_size:不是字符数而是计算单位数(默认按字符计)chunk_overlap:重叠部分可防止关键信息被切断length_function:支持切换不同粒度计算(如token计数)
重要提示:当处理中文等非空格分隔语言时,建议将
length_function替换为实际tokenizer,否则可能超出模型限制。例如使用tiktoken计算:
python复制import tiktoken
encoder = tiktoken.get_encoding("cl100k_base")
splitter = CharacterTextSplitter(
length_function=lambda x: len(encoder.encode(x))
)
3. 固定大小分块策略详解
3.1 基础实现原理
CharacterTextSplitter是最高效的暴力分块方法,其算法流程:
- 将文本转为字符数组
- 维护滑动窗口(窗口大小=chunk_size)
- 当窗口内计数超过阈值时切割
- 窗口回退chunk_overlap距离继续扫描
python复制def split_text(self, text: str) -> List[str]:
splits = []
start = 0
while start < len(text):
end = min(start + self._chunk_size, len(text))
splits.append(text[start:end])
start = end - self._chunk_overlap
return splits
3.2 适用场景与优化技巧
最佳场景:
- 日志文件分析
- 代码仓库扫描
- 格式统一的标准化文档
实战技巧:
- 中文优化:在分块后添
