生成式召回大模型在搜索广告中的工业实践

1. 生成式召回大模型的工业级落地实践

在搜索广告领域，召回环节作为连接用户查询与候选广告的关键桥梁，其效果直接影响整个系统的上限。传统基于倒排索引或向量检索的方法虽然成熟稳定，但在语义泛化性和价值感知方面存在明显局限。随着大模型技术的快速发展，生成式召回正成为行业新趋势。

我们团队在阿里妈妈搜索广告主场景中，针对生成式召回落地面临的三大核心难题，提出了创新解决方案并实现全量上线，累计贡献大盘营收增长8%。本文将详细解析这些技术突破背后的设计思路与实现细节。

2. 生成式召回面临的三大核心挑战

2.1 问题一：集合价值差异化建模

传统生成式召回采用"分而治之"的建模思路，在训练阶段通过最大化单个商品的概率进行建模，推理阶段则依据生成概率采用贪心策略选择Top-K商品。这种方法存在明显缺陷：

• 价值信息丢失：当正例集合中商品存在价值层级差异（如pay>click>pv）时，均等化建模无法区分不同正例的实际价值
• 对齐成本高：DPO等对齐方法效果高度依赖采样策略设计，实际业务中调参成本大且稳定性差

提示：在电商场景中，用户一次搜索可能产生点击、加购、支付等多种行为，这些行为对应的商品价值差异可达10倍以上。传统方法无法有效捕捉这种差异。

2.2 问题二：实时推理性能瓶颈

工业级场景对延迟有严苛要求（通常<50ms），而基于语义ID的生成式召回方案面临：

• 计算复杂度高：自回归解码需要多次前向计算，大模型推理延迟难以满足要求
• 效果与效率难以兼顾：常见的模型压缩、候选集缩减等方法往往导致效果显著下降

2.3 问题三：广告领域特有挑战

搜索广告中的Query改写任务需要同时满足：

1. 改写结果必须严格限定在广告主购买的竞买词库内
2. 在有限召回数量下优先选择高价值Bidword

当前主流"SFT+价值对齐+Trie约束"范式存在：

• 语义与价值冲突：商业价值与语义相关性弱相关，对齐训练易导致语义知识遗忘
• 动态适应性差：广告主实时调整竞价时，训练阶段的价值序可能失效

3. 创新解决方案与技术实现

3.1 GFlowGR：基于流网络的集合价值建模

3.1.1 GFlowNet框架原理

GFlowNet将生成过程建模为状态空间中的路径流，通过流量守恒原则保证采样概率