1. RAG系统检索问题排查全景指南
作为一位经历过多个RAG项目落地的技术负责人,我深知检索环节的稳定性直接决定了整个系统的可用性。本文将系统梳理从文档入库到结果呈现的全链路排查方法论,这些经验都来自我们团队在金融、医疗等领域实战中踩过的坑。
1.1 文档处理环节:地基不牢地动山摇
1.1.1 文档入库验证三板斧
在电商客服机器人项目中,我们曾遇到50%的售后政策文档未能正确入库的情况。验证时建议:
- 数量校验:用
count(*)比对向量数据库记录数与原始文档数 - 内容采样:随机抽取10%文档检查文本完整性
- 元数据审计:特别是时间戳、文档类型等过滤字段
重要提示:PDF解析时要特别关注表格和特殊排版内容,我们曾因PDFBox的表格解析缺陷导致退货政策关键条款丢失。
1.1.2 Chunking策略优化实践
医疗知识库项目中,我们通过实验确定了最佳chunk大小:
- 临床指南:800-1000字符(保留完整诊疗流程)
- 药品说明:400-600字符(确保副作用完整)
- 研究论文:1200字符(保持方法学连贯)
测试方法:对每个chunk人工标注"是否可独立回答典型问题",准确率需>85%。
1.2 向量化环节:语义对齐的艺术
1.2.1 模型一致性检查清单
建立版本管理规范:
python复制# 模型版本校验脚本示例
def check_embedding_consistency(query_embedder, doc_embedder):
test_text = "退货政策"
return cosine_similarity(
query_embedder(test_text),
doc_embedder(test_text)
) > 0.95
1.2.2 领域适配方案对比
我们在法律合同审查场景的测试数据:
| 模型 | 通用领域准确率 | 法律领域准确率 | 微调后提升 |
|---|---|---|---|
| bge-base | 72% | 65% | +18% |
| m3e |
