Marco Liu1. 项目背景与问题定位
去年在构建一个金融领域的智能问答系统时，我们遇到了典型的RAG（检索增强生成）瓶颈——当用户查询涉及多跳推理或需要综合多个文档片段时，系统给出的回答总是不完整。经过压力测试，在200个复杂问题的测试集上，基线模型的召回率仅有42%。这意味着超过一半的关键信息未被有效利用，直接导致生成的回答质量低下。
这个问题本质上源于传统RAG流程的两个缺陷：首先，固定长度的上下文窗口会强制截断相关文档；其次，简单的余弦相似度检索无法处理语义关联但词汇差异大的内容。比如用户问"美联储加息对科技股的影响"，系统可能只检索到"加息政策"或"科技股财报"的孤立片段，却漏掉了关键的市场分析报告。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术方案设计思路
2.1 上下文扩展策略
我们采用动态上下文扩展(Dynamic Context Expansion)来解决信息碎片化问题。具体实现包含三级处理：
-
初始检索层：使用HyDE（假设性文档嵌入）技术，先让LLM生成假设回答，再以其为查询向量检索。这解决了"词汇不匹配"问题，使初始召回率提升18%。
-
邻居扩展层：对Top-K检索结果构建知识图谱，通过以下方式扩展：
- 实体关联：识别文档中的公司/人物/事件，链接到知识库中的相关实体
- 时序关联：对金融新闻按时间线构建事件链
- 使用Sentence-BERT计算段落间语义相似度
-
动态过滤层：通过轻量级分类器评估扩展内容的：
- 时效性（金融领域特别重要）
- 与原始查询的语义连贯性
- 信息密度（剔除模板化文本）
2.2 二次重排机制
传统BM25/DPR排序常把关键信息排到第3-5位，而LLM的上下文窗口通常只关注前几位。我们的解决方案是：
python复制def rerank(documents, query):
# 第一轮：基于语义相似度的粗排
initial_rank = cross_encoder.predict(query, documents)
# 第二轮：基于信息互补性的精排
diversity_scores = []
selected = [initial_rank[0]]
for doc in initial_rank[1:]:
overlap = calculate_overlap(doc, selected)
diversity_scores.append(1 - overlap)
# 组合得分
final_scores = 0.6*initial_rank + 0.4*diversity_scores
return sorted(final_scores, reverse=True)
这个算法确保排序靠前的文档既相关又互补。实测显示，重排后前5篇文档的信息覆盖率从58%提升到83%。
3. 核心实现细节
3.1 知识图谱构建
金融领域的实体关系识别需要特殊处理：
- 使用FinBERT预训练模型识别财报中的关键指标
- 自定义实体类型如"货币政策"、"并购事件"
- 关系抽取采用基于提示的少样本学习：
code复制给定句子：[美联储]宣布将[基准利率]上调[75个基点]
请提取关系：(美联储, 调整利率, 基准利率, +75bp)
3.2 动态窗口控制
采用自适应上下文窗口策略：
- 计算查询的复杂度得分：
- 命名实体数量
- 疑问词类型（为什么/如何>是什么）
- 句子结构复杂度
- 根据得分动态调整窗口大小：
| 复杂度 | 初始窗口 | 扩展系数 | 最大token |
|---|---|---|---|
| 低 | 512 | 1.2x | 1024 |
| 中 | 768 | 1.5x | 1536 |
| 高 | 1024 | 2.0x | 2048 |
3.3 重排模型训练
收集金融领域的典型查询-文档对，构建三重损失函数：
code复制L = α*L_rank + β*L_diverse + γ*L_fresh
其中新鲜度损失L_fresh是金融领域特有的：
- 财报季期间（3/6/9/12月）的文档权重提高30%
- 超过1年的政策文件权重衰减50%
4. 效果验证与优化
4.1 评估指标设计
除常规的召回率外，我们新增：
- 信息完整度（HumanEval）：专家评估回答覆盖了多少必要维度
- 推理连贯性（LLM-Eval）：用GPT-4判断多跳推理是否合理
- 时效敏感度：对时间敏感问题的正确处理率
4.2 性能对比
在金融QA测试集上的表现：
| 方法 | 召回率 | 完整度 | 推理分 |
|---|---|---|---|
| 基础RAG | 42% | 2.1/5 | 3.2/5 |
| +上下文扩展 | 67% | 3.8/5 | 4.1/5 |
| +二次重排 | 82% | 4.3/5 | 4.4/5 |
| +动态窗口（最终） | 89% | 4.7/5 | 4.6/5 |
4.3 实际案例
用户查询："苹果公司最新财报中，服务业务增长对毛利率的影响如何？"
旧系统回答：
"苹果服务业务收入增长12%（正确但片面）"
改进后回答：
"根据2023Q4财报：
- 服务业务收入增长12%至$22.3B
- 毛利率提升至44.2%（+2.1p YoY）
- CFO解释：高利润率的服务业务占比提高
- 分析师指出：每提升1%服务占比，毛利率+0.3p"
5. 关键问题与解决方案
5.1 信息过载
扩展后可能引入噪声，我们的应对措施：
- 设置相关性阈值（<0.65的片段自动丢弃）
- 关键实体验证（如财报数据需匹配官方发布）
- 实施"瀑布式"过滤：语义→时效→权威性三级过滤
5.2 计算开销
优化策略：
- 检索阶段：
- 使用FAISS-IVF索引加速
- 对长文档分块预计算嵌入
- 重排阶段：
- 轻量级Cross-Encoder（MiniLM-L6）
- 缓存高频查询的结果
5.3 时效性挑战
金融信息有时效衰减特性，我们设计时间衰减函数：
code复制weight = base_score * e^(-λΔt)
其中λ按信息类型调整：
- 股价数据：λ=0.5（半衰期1.4小时）
- 宏观政策：λ=0.05（半衰期14天）
- 公司基本面：λ=0.005（半衰期140天）
6. 实施建议
-
领域适配要点：
- 医疗领域：加强实体消歧（如药物别名）
- 法律领域：注重条款引用准确性
- 科技领域：维护技术术语树
-
硬件配置参考：
- 百万级文档：1×A10G（24GB）足够
- 千万级文档：建议A100×2
- 实时性要求高时：使用Triton推理服务器
-
监控指标：
- 每次检索的扩展文档数分布
- 重排前后的NDCG变化
- 用户追问率（回答不全时会触发更多追问）