1. 项目概述
在广告投放领域，专业问答系统的准确性直接关系到广告主的投放效果和平台信誉。腾讯广告团队近期发表的论文《Towards Faithful Industrial RAG: A Reinforced Co-adaptation Framework for Advertising QA》提出了一套创新的双引擎RAG系统，通过GraphRAG检索与GRPO强化学习的协同优化，将URL幻觉率降低了92.7%，用户点赞率提升了28.6%。
这个系统的核心价值在于解决了工业级RAG应用中最棘手的问题：当模型遇到不确定或检索不到的信息时，如何避免生成虚假内容，特别是具有直接操作指导意义的URL链接。在广告投放这种高价值场景中，一个错误的操作指引可能导致广告主损失大量预算，甚至引发合规风险。
2. 技术架构解析
2.1 双通道检索系统设计
传统RAG系统通常采用单一的向量检索方式，面临两个主要瓶颈：一是对于跨知识点的复杂问题难以构建完整证据链，二是无法理解知识片段之间的关联关系。腾讯广告的方案创新性地采用了并行检索架构：
GraphRAG通道：
- 基于知识图谱的多跳检索能力
- 从生产日志中提取高频知识点构建子图（Top 10%引用量的chunk）
- 实体关系三元组形式存储，如
(OCPC, 属于, 智能出价产品线) - 检索时执行1-2跳的图遍历，收集相关证据链
传统RAG通道：
- 保留标准的向量检索（BGE编码器）
- 结合BM25关键词匹配
- 作为GraphRAG的补充，确保长尾问题覆盖率
这种并行架构在工程实现上具有显著优势：两个检索通道可以同时发起请求，最终延迟取决于较慢的那个通道，而非两者之和。实测数据显示，整体检索延迟控制在200ms以内，完全满足生产环境要求。
2.2 GRPO强化学习框架
与传统的PPO强化学习不同，GRPO(Group Relative Policy Optimization)采用了一种更高效的训练范式：
- 组内比较机制：对每个查询生成8个候选回答，通过相对排名计算策略梯度
- 免去价值函数：不需要单独训练critic网络，降低训练复杂度和内存占用
- 异步奖励计算：将URL验证等耗时操作与主要训练过程解耦
这种设计使得32B参数量的模型经过训练后，在忠实度指标上超越了未经训练的大模型，同时保持了较低的推理成本。对于需要高频调用的广告问答场景，这种"小模型+精训练"的策略比直接使用大模型更具性价比。
3. 核心创新点剖析
3.1 四维奖励函数设计
系统通过精心设计的奖励函数引导模型行为，每个生成样本从四个维度进行评估：
-
忠实度奖励(Rf)：
- 使用NLI模型分解回答中的声明
- 逐条验证是否可从检索证据中推导
- 矛盾声明给予重度惩罚
-
风格合规性奖励(Rs)：
- 检查回答格式是否符合Markdown规范
- 验证是否采用分步骤的指导形式
- 过滤口语化表达和非专业术语
-
安全性奖励(Ra)：
- 集成内容安全审核模型
- 检测潜在的误导性建议
- 防止歧视性内容输出
-
URL有效性奖励(Rh)：
- 实时HTTP请求验证链接有效性
- 真实存在的URL得正分
- 404或虚构域名重扣分
奖励函数的加权公式为：Rtotal = 0.5·Rf + 0.2·Rs + 0.1·Ra + 0.2·Rh，其中忠实度权重最高，体现了系统对内容准确性的极致追求。
3.2 知识图谱构建策略
不同于常规的知识图谱构建方法，该系统采用了数据驱动的子图提取策略：
- 高频知识点筛选：分析3个月的生产日志，仅保留引用量Top 10%的chunk
- 动态实体抽取：使用LLM自动识别产品名、功能点、API端点等关键实体
- 关系自动化构建：通过语义分析建立
(实体，关系，实体)三元组 - 增量更新机制：每周同步最新高频问题，保持图谱时效性
这种设计既控制了图谱的维护成本，又确保了核心知识点的覆盖质量。实测显示，并行检索方案将知识召回效率从62.3%提升到81.5%，每个查询平均召回的相关chunk数从5.2增加到8.7。
4. 实施细节与优化技巧
4.1 检索端工程实现
在实际部署中，研发团队针对检索模块做了多项优化：
缓存策略：
- 对高频查询的检索结果进行多级缓存
- 设置合理的TTL平衡新鲜度与性能
- 对图谱中的热点子图预加载到内存
降级方案：
- 监控两个检索通道的健康状态
- 任一通道超时或失败时自动降级
- 保证系统在异常情况下的基本可用性
索引优化：
- 对图谱中的边建立倒排索引
- 向量检索采用IVF-PQ量化技术
- 控制单个分片的文档规模在百万级
4.2 生成端训练技巧
GRPO训练过程中积累了几个关键经验：
组大小选择：
- 实验比较了4、8、16三种group size
- 过小导致排名波动大，过大增加显存压力
- 最终选择8作为平衡点
奖励裁剪：
- 对四维奖励的加权和进行clip操作
- 特别限制URL验证奖励的极端值
- 防止个别样本主导梯度更新方向
课程学习：
- 初期侧重风格和安全性奖励
- 中期加强忠实度训练
- 后期聚焦URL准确性提升
- 分阶段训练比混合训练收敛更快
5. 效果评估与业务价值
5.1 离线测试结果
在标准的FaithEval评测集上，系统展现了出色的泛化能力：
| 测试场景 | Baseline | 优化后 | 提升幅度 |
|---|---|---|---|
| 证据矛盾(Incons.) | 58.3% | 79.1% | +20.8% |
| 不可回答(Unans.) | 53.6% | 82.4% | +28.8% |
| 反事实(Cfact.) | 61.2% | 78.5% | +17.3% |
| 综合评分(Overall) | 62.8% | 81.2% | +18.4% |
特别值得注意的是在Unanswerable场景下的表现提升，说明系统学会了在证据不足时保持克制，而不是随意编造答案。这种特性对控制幻觉至关重要。
5.2 在线A/B测试
在生产环境进行的严格对比实验显示：
| 指标 | 变化幅度 | 业务影响 |
|---|---|---|
| URL准确率 | 93.6%→99.8% | 虚假链接问题基本解决 |
| 用户点赞率 | +28.6% | 用户体验显著改善 |
| 客服工单量 | -37.2% | 减轻人工支持压力 |
| 广告主续费率 | +5.4% | 直接提升平台收入 |
这些改进带来的商业价值显而易见：更少的错误意味着更高的客户满意度和留存率。据估算，仅减少的客服人力成本每年就可节省数百万人民币。
6. 常见问题与解决方案
在实际部署过程中，研发团队遇到了若干典型问题，以下是其中三个最具代表性的案例：
问题1：图谱更新延迟导致答案过时
现象：某广告产品改版后，系统仍返回旧版操作指引
解决方案：
- 建立变更通知机制，产品更新同步触发图谱重建
- 对时效性强的知识点设置更短的缓存周期
- 在回答中添加"最后更新日期"提示
问题2：长尾问题召回不足
现象：小众功能的相关问题检索效果不佳
优化措施：
- 设置传统RAG通道的最低召回阈值
- 对低置信度结果触发人工审核流程
- 建立长尾问题挖掘机制，动态扩展图谱
问题3：URL验证拖慢响应速度
挑战：实时检查多个链接导致延迟增加
工程优化：
- 实现异步验证机制，先返回结果再后台检查
- 对已知安全域名建立白名单
- 对404结果启动自动���正流程
7. 方案推广建议
对于考虑采用类似架构的团队，建议重点关注以下几个实施要点：
知识图谱方面：
- 优先覆盖高频核心知识点，不必追求全量覆盖
- 建立可持续的图谱更新机制
- 监控图谱中各子区的质量指标
强化学习方面：
- 从少量高质量标注数据开始迭代
- 设计可量化的奖励信号
- 控制训练成本，避免过早扩大规模
系统工程方面：
- 确保检索模块的高可用性
- 实现完善的监控和告警
- 保留快速回滚的能力
这套方案特别适合具有以下特征的场景：
- 问答内容直接影响用户决策或操作
- 存在大量专业术语和特定概念
- 对回答准确性要求极高
- 有一定量的历史交互数据可供分析
在金融咨询、医疗问答、法律助手等领域，这种强化约束的RAG架构同样具有应用潜力。关键是根据具体业务需求调整奖励函数的权重和验证机制。