1. 项目背景与核心突破
这个由武汉大学与蚂蚁集团联合开展的研究项目,在知识图谱推理领域实现了一个令人惊讶的突破:仅用7B参数规模的小模型,通过创新的"Plan Then Retrieve"强化学习框架,在残缺知识图谱任务上的表现超越了GPT-4这样的千亿参数大模型。这不仅是小模型高效化的典型案例,更为知识图谱补全领域提供了新的技术路径。
知识图谱作为结构化知识表示的重要形式,在实际应用中常常面临数据缺失的问题。传统方法要么依赖大模型的泛化能力,要么需要复杂的图神经网络架构。而这项研究另辟蹊径,通过强化学习将规划(Plan)与检索(Retrieve)两个阶段解耦,在小模型上实现了惊人的效果。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术架构解析
2.1 整体框架设计
"Plan Then Retrieve"框架的核心创新在于将知识图谱推理分解为两个明确的阶段:
-
规划阶段(Plan):模型首先分析查询意图和当前知识图谱状态,生成一个多步推理计划。这个计划类似于人类解题时的"思路",确定了需要探索的路径和可能缺失的知识节点。
-
检索阶段(Retrieve):根据规划阶段输出的推理路径,系统有针对性地在知识库中检索相关信息,然后进行最终答案的生成。
这种分阶段的方法有效降低了小模型同时处理规划与检索的认知负荷,使其能够更专注地完成每个子任务。
2.2 强化学习的巧妙应用
研究团队设计了专门的奖励函数来训练这个两阶段系统:
- 规划质量奖励:评估生成的推理路径与黄金路径的相似度
- 检索效率奖励:衡量检索到的信息对最终答案的贡献度
- 答案准确率奖励:最终答案与标准答案的一致性
通过这种分层奖励机制,模型学会了在资源有限的情况下,如何最优分配注意力资源——将更多计算预算用于关键推理步骤,而不是平均分配。
3. 关键实现细节
3.1 模型架构选择
研究采用了LLaMA-7B作为基础模型,并对其进行了三方面改造:
- 双头输出设计:模型同时输出规划路径和检索结果,共享底层表示但各有专注的注意力头
- 记忆缓存机制:为频繁出现的知识图谱模式建立快速访问缓存
- 动态计算分配:根据任务复杂度动态调整各阶段的计算资源
3.2 训练策略创新
训练过程分为三
