1. 项目概述
在电商推荐系统中,转化率(CVR)预估一直是个核心难题。不同于点击率(CTR)预估中反馈的实时性,用户从点击到最终下单往往存在显著的时间差,这种延迟反馈现象给模型训练带来了严重的标签观测偏差。随着业务精细化运营需求的提升,仅关注"点击-转化"的单阶段预估已无法满足需求,业界开始关注更复杂的后链路指标预估,如净转化率(NetCVR)和点击后商品交易总额(post-click GMV)。
阿里妈妈展示推广团队联合厦门大学提出的TESLA和READER框架,正是针对这类级联延迟反馈问题的创新解决方案。这两个框架分别针对NetCVR预估和GMV预估任务,通过独特的建模方式和训练策略,显著提升了预估准确性。更难得的是,团队还开源了相应的基准数据集CASCADE和TRACE,填补了这两个任务领域公开数据的空白。
2. 级联延迟反馈的核心挑战
2.1 传统CVR预估的局限性
传统CVR预估主要面临两个问题:
- 延迟反馈:用户点击后可能需要数小时甚至数天才会完成购买
- 样本偏差:在训练时,尚未转化的样本被错误标记为负样本
现有的解决方案如DFM、DEFER等模型,主要通过设计观测窗口、样本回流策略和样本权重纠偏等技术来缓解这些问题。但这些方法都是针对"点击-转化"这一单阶段延迟反馈设计的。
2.2 NetCVR预估的双重挑战
NetCVR(净转化率)预估不仅要考虑"点击-转化"的延迟,还要考虑"转化-退款"的延迟,形成了两阶段的级联延迟反馈:
- 第一重延迟:用户点击后到完成购买的时间差
- 第二重延迟:用户购买后到可能退款的时间差
这种级联结构带来了新的挑战:
- 两阶段的延迟时间分布不同
- 两阶段的行为模式存在相关性但又各自独立
- 现有单阶段纠偏方法无法直接应用
2.3 GMV预估的复杂场景
GMV预估面临的问题更为复杂:
- 复购行为:一个点击可能引发多次购买,每次购买都有独立的延迟
- 回归任务:GMV是连续值,传统的二分类纠偏方法不适用
- 金额差异:单次购买和复购的金额分布差异显著
3. TESLA框架解析
3.1 数据集建设:CASCADE
CASCADE数据集是首个面向NetCVR预估的开源数据集,包含:
- 4100万点击记录
- 370万转化记录
- 200万退款记录
- 精确到15分钟的时间戳
数据集分析揭示了几个关键发现:
- CVR和NetCVR存在明显的小时级波动,离线天级更新难以捕捉
- 高CVR商品通常RFR(退款率)较低,但在最高CVR区间RFR反而上升
- 延迟时间与转化行为强相关:高转化用户支付延迟更短且更稳定
3.2 模型架构设计
TESLA采用多任务学习框架,核心设计包括:
-
共享-私有架构:
- 共享层:学习通用特征
- CVR专用层:建模转化行为
- RFR专用层:建模退款行为
-
级联预估结构:
NetCVR = CVR × (1 - RFR)
这种设计既能捕捉两个任务的共性,又能保留各自的特性。
3.3 训练策略创新
针对级联延迟反馈,TESLA提出了两项关键训练策略:
-
分阶段重要性加权:
- 先修正"点击-转化"阶段的偏差
- 再修正"转化-退款"阶段的偏差
-
延迟感知排序损失(DAR Loss):
- 为快速转化/退款的样本分配更高权重
- 缓解标签模糊问题
实验结果显示,TESLA在NetCVR预估任务上实现了12.41%的RI-AUC绝对提升。
4. READER框架解析
4.1 数据集建设:TRACE
TRACE是首个点击后GMV预估数据集,特点包括:
- 记录每次点击引发的完整转化序列
- 包含每次转化的金额和时间戳
- 支持在线连续学习场景
数据分析发现:
- GMV标签在天内波动显著
- 单次购买和复购样本的GMV分布差异大
- 点击后即时GMV仅占7天总GMV的40%
4.2 模型架构设计
READER采用复购感知的双分支架构:
-
路由模块:
- 预测点击是否会导致复购
- AUC达到80%以上
-
双专家塔:
- 单次购买塔:处理单次转化场景
- 复购塔:处理多次转化场景
-
混合路由机制:
- 高置信度时使用对应专家塔
- 低置信度时加权融合两个塔
4.3 回归任务纠偏策略
针对GMV预估的回归特性,READER设计了专门的纠偏方法:
-
回归目标校准(Calib):
- 建模观察标签与真实标签的偏差
- 用于校准训练目标
-
真实标签对齐(GRA):
- 归因周期结束后用完整标签更新模型
-
有偏标签遗忘(PLU):
- 对过度放大的标签进行unlearning
实验表明,READER在AUC指标上提升0.86%,准确率提升2.19%。
5. 实践经验与落地思考
在实际业务中部署级联延迟反馈模型时,有几个关键注意事项:
-
数据时效性管理:
- 需要建立高效的数据回流管道
- 平衡数据的时效性和完整性
- 建议采用分层存储策略
-
模型更新策略:
- 在线学习时注意模型稳定性
- 可采用小批量增量更新
- 重要参数设置更新阈值
-
计算资源优化:
- 级联模型参数量较大
- 可考虑参数共享和蒸馏技术
- 在线服务时注意响应延迟
-
业务指标对齐:
- 模型指标需与业务KPI强关联
- 建议定期进行离线评估和在线A/B测试
- 注意不同场景的指标权重差异
6. 未来发展方向
基于当前研究成果,我认为级联延迟反馈建模还有几个值得探索的方向:
-
多任务协同学习:
- 将CTR、CVR、NetCVR、GMV等任务统一建模
- 设计更高效的参数共享机制
-
时序建模增强:
- 引入更强大的时序特征提取器
- 如Transformer、状态空间模型等
-
不确定性量化:
- 为预估结果提供置信区间
- 帮助业务方更好决策
-
在线学习优化:
- 研究更稳定的在线学习算法
- 减少模型抖动和灾难性遗忘
-
大模型应用:
- 探索LLM在用户行为预测中的应用
- 如用于复购预测的路由模块
在实际业务中,我们还需要持续关注模型的可解释性和公平性,确保算法决策的透明性和合理性。同时,随着隐私计算技术的发展,如何在保护用户隐私的前提下进行高效的延迟反馈建模也是一个重要课题。