RAG系统优化实战：Query Rewrite技术提升金融问答满意度

1. 从RAG落地失败到用户满意度提升90%的关键转折

去年我们团队在金融知识问答系统项目中遭遇了严重的RAG（检索增强生成）落地困境。初期上线的系统用户满意度仅有32%，主要问题集中在回答不准确、答非所问等典型症状。经过三个月的深度优化，我们最终通过Query Rewrite（查询重写）技术将满意度提升至92%，这个实战案例值得所有RAG实践者参考。

当时我们面临的核心痛点是：用户输入的原始查询往往过于简短或模糊。比如在保险知识库场景中，用户可能输入"重疾险怎么赔"这样的短查询，而知识库中存储的是包含"重大疾病保险理赔流程"的专业文档。传统向量检索的语义匹配在这种场景下效果极差，导致后续LLM生成的答案质量低下。

2. Query Rewrite技术深度解析

2.1 为什么需要查询重写

在典型RAG系统中，检索质量直接决定最终生成效果。我们通过数据分析发现，约78%的bad case源于以下查询问题：

• 表述模糊（如"这个怎么办"）
• 信息不全（如"理赔材料"缺少险种信息）
• 口语化表达（如"生病了能拿多少钱"）
• 隐含多意图（如"重疾险和医疗险哪个好"包含对比和优劣两个子问题）

2.2 查询重写的技术实现方案

我们测试了三种主流实现方式：

方案A：规则模板改写

python复制def rule_based_rewrite(query):
    templates = {
        "怎么.*": "{query}的具体流程是什么",
        ".*好吗": "{query}有哪些优缺点"
    }
    for pattern, template in templates.items():
        if re.match(pattern, query):
            return template.format(query=query)
    return query

优点：实现简单，响应快（<10ms）
缺点：覆盖率低（仅解决约15%的case），维护成本高

方案B：LLM零样本改写

python复制def zero_shot_rewrite(query):
    prompt = f"""请将以下用户查询改写成更适合知识库检索的专业表述：
原始查询：{query}
改写后的查询："""
    return llm_invoke(prompt)

优点：覆盖率高（约65%）
缺点：延迟高（500-800ms），存在过度改写风险

方案C：微调专用改写模型
基于T5-base模型在业务日志上微调，输入输出示例：

code复制输入: "重疾险怎么赔"
输出: "重大疾病保险的理赔条件、流程和所需材料"

优点：延迟适中（80-120ms），改写质量稳定
缺点：需要至少5000组训练数据

最终我们采用方案C作为主链路，方案B作为fallback的混合架构，在效果和性能间取得平衡。

3. 金融场景下的改写优化实践

3.1 领域适配关键技巧

在金融保险领域，我们发现以下改写策略特别有效：

1. 专业术语扩展

   • 输入："医保报销"
   • 输出："社会医疗保险的费用报销范围、比例及申请流程"

2. 隐含条件显式化

   • 输入："保费能退吗"
   • 输出："人身保险合同在犹豫期后退保的现金价值计算规则"

3. 多意图拆分

   • 输入："重疾险和医疗险哪个好"
   • 输出1："重大疾病保险的核心保障范围和优势"
   • 输出2："医疗保险的典型适用场景和理赔特点"
   • 输出3："重大疾病保险与医疗保险在保障范围上的主要区别"

3.2 效果评估指标设计

我们建立了三级评估体系：

实际运行数据显示，改写后的查询使chunk召回率从41%提升至89%，人工评估平均得分4.3。

4. 生产环境部署注意事项

4.1 性能优化方案

针对改写模型部署，我们总结出以下经验：

1. 动态批处理

   • 当QPS>50时，开启动态batching
   • 最大batch_size=16，延迟控制在150ms内

2. 缓存策略

   • 对高频查询构建LRU缓存
   • 设置TTL=1小时避免数据陈旧

3. 降级机制

   • 模型服务超时200ms自动降级到规则改写
   • 错误率>5%时自动切换备用模型

4.2 常见问题排查指南

我们遇到并解决的主要问题包括：

问题1：改写过度

• 现象：将简单查询复杂化（如"退保"改写成"保险合同解除的法定条件和法律后果"）
• 解决方案：在训练数据中加入改写前后的长度比例约束

问题2：领域漂移

• 现象：医疗险查询被改写成车险术语
• 解决方案：在prompt中加入强领域提示："你是一个保险知识库检索助手"

问题3：多意图漏拆

• 现象：对比类查询只生成单方面改写
• 解决方案：针对"vs""和""或"等关键词强制触发多query生成

5. 进阶优化方向

当前系统仍存在两个待优化点：

1. 个性化改写

   • 根据用户画像调整改写风格
   • 示例：对保险从业人员使用更专业术语

2. 反馈闭环

   • 收集用户对最终答案的满意度
   • 反哺改写模型训练数据

我们在生产环境验证了一个重要结论：当RAG效果不佳时，首先应该检查查询与文档的语义gap，而Query Rewrite往往是性价比最高的优化切入点。这个经验在知识库、客服系统等场景具有普适价值。