1. RAG技术落地实战:从分词到相似度计算的完整解决方案
在构建企业级RAG(Retrieval-Augmented Generation)系统的过程中,真正决定成败的往往不是模型本身,而是那些容易被忽视的工程细节。作为经历过多个RAG项目落地的技术负责人,我想分享几个最关键的技术难点及其解决方案,这些经验都是在实际项目中踩过坑后总结出来的。
RAG系统的核心价值在于将传统检索技术与大语言模型相结合,但要让这个"结合"真正产生1+1>2的效果,需要处理好四个关键环节:文本预处理时的分词策略、文档分块的黄金分割点、检索阶段相似度计算的精准度,以及嵌入模型的选择优化。每个环节的微小偏差都可能被系统放大,最终影响整体效果。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 分词选型:中文场景下的特殊挑战
2.1 主流分词方案对比
在中文RAG系统中,分词质量直接影响后续检索效果。我们对比过三种主流方案:
| 分词类型 | 代表工具 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| 基于词典 | Jieba | 速度快,内存占用低 | 无法识别新词 | 通用文本 |
| 基于统计 | HanLP | 新词发现能力强 | 需要训练数据 | 专业领域 |
| 基于深度学习 | LAC | 准确率高 | 计算资源消耗大 | 高精度要求 |
实际项目中,我们采用了一种混合策略:对通用语料使用HanLP的CTB6模型(准确率96.7%),对专业领域(如医疗、法律)则在该基础上加载自定义词典。例如在医疗知识库中,我们添加了3.5万条专业术语,使"冠状动脉粥样硬化性心脏病"这类复合词能被正确切分。
2.2 分词与嵌入的协同问题
这里有个关键细节常被忽视:分词结果需要与嵌入模型的tokenizer保持兼容。当我们使用sentence-transformers的paraphrase-multilingual-MiniLM-L12-v2模型时,发现其原生tokenizer对中文是按字切分的。这会导致检索时出现语义断层,解决方案有两种:
- 在嵌入前对文本进行预分词,用特殊符号标记分词边界
- 改用支持中文分词的嵌入模型(如m3e-base)
我们在电商客服场景下的测试数据显示,采用方案1后,相同查询
