1. 论文核心思想与技术框架拆解
KERAG_R模型的核心创新点在于将知识图谱(KG)的结构化信息与大型语言模型(LLM)的语义理解能力相结合,通过三个关键组件实现推荐系统的性能提升。这种技术路线解决了传统LLM推荐中存在的两大痛点:领域知识缺失导致的"幻觉"问题,以及直接引入KG信息带来的噪声干扰。
1.1 技术架构设计原理
模型采用分阶段处理流程,每个组件都有明确的职能分工:
- GraphRAG模块:基于图注意力网络(GAT)实现知识筛选,其核心是通过注意力机制量化KG三元组的相关性。与普通GAT不同,这里采用对比损失进行预训练,确保正样本三元组(h,r,t)的嵌入相似度高于负样本
- 提示词工程:创造性地将KG三元组以结构化形式嵌入提示词,相比自然语言表述节省了约40%的token消耗。实验显示三元组格式"item-relation-entity"比自然语句的NDCG@5高出2.3个点
- 指令微调策略:采用LoRA进行参数高效微调,仅需调整0.0085%的模型参数(8B模型中的680k参数),在A6000显卡上可将训练时间控制在74小时以内
1.2 关键技术实现细节
1.2.1 图注意力网络的特殊设计
模型对标准GAT进行了三项重要改进:
- 异构图处理:为物品节点和实体节点设计不同的特征投影层,解决KG中异构节点(如"电影"和"导演")的特征空间不一致问题
- 关系感知注意力:在计算注意力权重时引入关系类型嵌入,使
<电影,导演,诺兰>与<电影,演员,诺兰>获得不同的注意力分布 - 动态负采样:对比损失中的负样本不仅包含随机替换的三元组,还加入基于流行度的困难负样本(如将《星际穿越》的导演误替换为斯皮尔伯格)
1.2.2 知识注入的渐进策略
模型采用两阶段知识注入方式:
python复制# 第一阶段:提示词显式注入
prompt = f"""[KG Triples]
{triple1}: {item1}-{rel1}-{entity1}
{triple2}: {item2}-{rel2}-{entity2}"""
# 第二阶段:微调隐式学习
lora_config = {
"r": 64, # LoRA秩
"targe
