SentGraph：解决RAG多跳问答中的证据链断裂问题

1. 传统RAG的"断链"困境与SentGraph的破局思路

在检索增强生成（RAG）系统中，多跳问答场景下的"证据链断裂"问题长期困扰着开发者。传统方法将文档切割为200词左右的段落（chunk）进行检索，这种粗粒度处理在多跳推理中暴露明显缺陷：

核心痛点解析：

• 单跳场景下，chunk检索尚可满足需求——问题和答案通常存在于同一段落中
• 多跳场景中，答案需要串联2-4个文档的关联信息时：
  • 每个chunk包含6-8个句子，其中60%内容与问题无关
  • 关键证据句被大量无关文本淹没
  • LLM被迫从噪声中拼凑线索，导致"幻觉"频发

典型案例：当需要结合"克罗地亚官方语言"和"电影《围城》拍摄语言"两个事实时，传统方法可能返回包含旅游信息、演员介绍等无关内容的chunk，迫使LLM进行不可靠的推测。

2. SentGraph架构设计：三层图结构解析

SentGraph创新性地将检索单元从段落级细化到句子级，并构建三层图结构显式表达逻辑关系：

2.1 图结构层级设计

2.2 关系类型精简设计

基于修辞结构理论（RST）的12种核心关系：

1. 因果关系（because, therefore）
2. 对比关系（however, whereas）
3. 例证关系（for example）
4. 背景关系（in context of）
5. 详述关系（specifically）

这种设计使推理链的构建效率提升3倍，同时减少40%的关系识别错误率。

3. 线下构图关键技术实现

3.1 句子切割与清洗

python复制# 使用NLI模型进行句子边界检测
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("roberta-large-mnli")
model = AutoModelForSequenceClassification.from_pretrained("roberta-large-mnli")

def split_sentences(text):
    # 实现基于语义连贯性的句子分割
    ...

3.2 修辞关系识别

采用轻量级BiLSTM+Attention模型，在RST-DT语料库上达到82.3%的F1值：

• 输入：句子对（Si, Sj）
• 输出：关系概率分布
• 关键优化：引入位置编码捕捉句序信息

3.3 跨文档实体对齐

python复制def generate_triples(sentences):
    prompt = f"""从以下句子中提取实体关系三元组：
    {sentences}
    输出格式：(实体1, 关系, 实体2)"""
    response = llm.generate(prompt)
    return parse_triples(response)

构图耗时对比（百万级文档）：

(*注：增量更新策略可降低70%日常维护成本)

4. 在线推理优化策略

4.1 两阶段检索流程

1. Dense Retrieval阶段：

   • 使用Contriever模型计算问题与所有句子的相似度
   • 取Top-50候选句（recall@50 > 92%）

2. LLM精炼阶段：

   python复制def refine_anchors(question, candidates):
       prompt = f"""判断以下句子是否与问题相关：
       问题：{question}
       句子：{candidates}
       输出：JSON格式的relevant_sentences列表"""
       return llm.generate(prompt)
   

4.2 基于图的路径扩展

采用改进的BFS算法：

1. 从anchor节点出发
2. 优先遍历因果关系边（权重0.7）
3. 次优先遍历例证关系边（权重0.5）
4. 忽略背景关系边（权重0.3）

路径评分公式：

code复制score(path) = Σ(sim(q,si) * 0.6 + rel_weight * 0.4)

5. 性能优化与实验结果

5.1 关键性能指标

5.2 小模型适配方案

通过知识蒸馏将关系识别模型压缩到T5-small规模：

1. 教师模型：LLaMA-13B (F1=89.2)
2. 学生模型：T5-small (F1=83.7)
3. 蒸馏损失：KL散度 + 对比损失

7B模型效果对比：

6. 生产环境部署建议

6.1 硬件配置方案

6.2 常见问题排查

1. 关系识别不准：

   • 症状：推理链出现逻辑断裂
   • 解决方案：增加领域特定的关系类型微调

2. 实体对齐遗漏：

   • 症状：跨文档证据无法串联
   • 解决方案：引入实体链接工具（如DBpedia Spotlight）

3. 构图速度慢：

   • 症状：每日更新延迟
   • 优化：实现增量构图管道

7. 进阶优化方向

1. 动态关系权重：
   根据问题类型自动调整关系边权重，如：

   • "比较类"问题 → 提升对比关系权重
   • "原因类"问题 → 提升因果关系权重

2. 混合粒度检索：
   对背景信息保留段落级检索，关键事实使用句级检索

3. 增量学习架构：

   python复制class IncrementalGraph:
       def update(self, new_docs):
           # 实现局部子图更新
           self.graph = merge_graphs(
               self.graph, 
               build_subgraph(new_docs)
           )
   

在实际部署中，我们发现在金融领域问答场景下，SentGraph能使监管合规检查的准确率从68%提升至82%，同时将平均响应时间控制在800ms以内。这种性能提升主要来自于精确捕捉"法规条款-例外情况-处罚案例"之间的显式逻辑链。