LLMs结合知识图谱提升金融问答准确率

1. 为什么LLMs需要知识图谱的加持？

大语言模型（LLMs）在开放域问答中表现出色，但在需要精确事实性回答的场景下常常力不从心。我最近在开发金融问答系统时就深有体会——当用户询问"某上市公司最近三年的资产负债率变化趋势"时，纯LLM方案要么给出模糊的定性描述，要么干脆编造数据。这种"幻觉"问题在专业领域尤为致命。

知识图谱（KG）恰好能弥补这一缺陷。它通过三元组（实体-关系-实体）的形式存储结构化知识，比如"公司A-资产负债率-2021年-32.5%"这样的精确数据。但传统KG问答系统又面临另一个困境：自然语言理解能力弱，难以处理复杂的多跳查询。

2. 多粒度知识注入：让LLMs吃透知识图谱

2.1 知识粒度的三维划分

在我们的方案中，知识粒度从三个维度进行解构：

• 结构粒度：从单个实体属性到子图结构
• 语义粒度：从字面匹配到隐含关系推理
• 时序粒度：静态事实与动态演变过程

例如处理"腾讯近五年投资了哪些游戏公司"这个查询时：

1. 先注入公司实体级别的属性知识（腾讯的股票代码、主营业务）
2. 再注入关系级别的投资事件（腾讯-投资-拳头游戏）
3. 最后注入子图级别的行业竞争格局

2.2 动态知识选择机制

我们设计了一个基于注意力权重的知识门控模块。当模型处理问题时，系统会实时计算：

python复制def knowledge_gate(question_embedding, kg_embedding):
    relevance = torch.matmul(question_embedding, kg_embedding.T)
    gate = torch.sigmoid(relevance * self.temperature)
    return gate * kg_embedding

这确保模型在不同推理阶段获取最相关的知识片段，而不是简单地把整个知识图谱"喂"给LLM。

3. 结构化推理：从知识碎片到逻辑链条

3.1 推理路径的可视化追踪

我们在Neo4j图数据库上实现了推理过程的实时可视化。当回答"糖尿病患者的饮食建议"时，系统会展示完整的推理链路：

code复制患者 -> 患有 -> 糖尿病 
糖尿病 -> 禁忌 -> 高糖食物
高糖食物 -> 包含 -> 碳酸饮料

这种透明化机制不仅提升可信度，还能帮助开发者定位错误。

3.2 混合推理引擎架构

核心架构包含三个协同工作的模块：

1. 神经推理器：基于LLM处理模糊语义
2. 符号推理器：执行图遍历等确定性操作
3. 验证器：用规则检查结果一致性

当处理"华为与苹果在5G专利方面的差距"这类复杂查询时，系统会：

1. 用神经模块解析问题意图
2. 用符号模块统计两家公司的专利数量
3. 用验证器核对数据来源是否冲突

4. 实战：金融问答系统的性能突破

4.1 测试环境搭建

我们使用Qwen-72B作为基础模型，配合以下技术栈：

• 知识存储：Neo4j + GraphRAG
• 服务框架：FastAPI
• 微调方法：LoRA + 知识蒸馏

测试数据集包含500个金融领域复杂问题，如：
"对比招商银行与平安银行2022年的不良贷款率，分析可能的原因"

4.2 关键性能指标

特别在"解释央行降准对中小银行的影响"这类需要行业知识推理的问题上，准确率从39.6%直接跃升至85.7%。

5. 避坑指南：那些我们踩过的坑

5.1 知识更新滞后问题

初期我们每周全量更新知识图谱，导致两个问题：

1. 更新期间服务不可用
2. 历史问答可能突然失效

解决方案是采用增量更新机制：

1. 用LLM监控新闻源提取delta知识
2. 设计双缓冲存储结构
3. 实现问答版本控制

5.2 长尾关系识别

金融领域存在大量专业关系，如"交叉持股"、"明股实债"。我们发现直接用LLM提取的准确率不足40%，后来引入领域本体作为中间层：

1. 预定义300+金融关系类型
2. 训练专用关系分类器
3. 设置人工审核工作流

这套组合拳将关系识别F1值提升到82.6%。

6. 进阶技巧：让系统更智能的五个方法

1. 动态知识修剪：根据用户画像过滤不相关内容。比如给基金经理展示时，自动隐藏基础金融术语解释。

2. 反事实推理：处理"如果"类假设性问题。通过临时修改知识图谱子图，模拟不同场景下的结果。

3. 不确定性标注：当知识存在冲突时，不是直接给答案，而是展示"A来源显示...B统计表明..."。

4. 多模态扩展：将财报PDF中的图表也作为知识来源，用多模态LLM提取关键数据。

5. 持续学习机制：通过用户反馈自动标注有价值的新知识，经审核后纳入图谱。

这套方案最让我惊喜的是它的泛化能力。当我们将技术迁移到医疗领域时，仅需更换知识图谱数据源，问答准确率仍能保持85%以上。这证明多粒度知识注入+结构化推理确实抓住了领域智能问答的本质痛点。