1. 项目背景与核心价值
在数字广告生态中,竞价环境建模一直是业界难题。传统方法通常依赖手工特征工程和静态模型,难以应对实时竞价(RTB)场景中的复杂动态变化。Bid2X这项研究从基础模型(Foundation Model)的新视角切入,为广告竞价建模提供了全新解决方案。
我曾在广告技术公司负责过DSP系统开发,深刻体会到传统建模方法的三大痛点:
- 特征工程高度依赖领域经验,冷启动成本高
- 静态模型难以适应流量分布漂移
- 不同广告场景需要重复建模,难以迁移
Bid2X的核心突破在于将基础模型的范式引入广告领域,通过预训练+微调的方式构建通用竞价模型。这种方法在KDD'25的最新实验中显示,相比传统方案有显著提升。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术架构解析
2.1 基础模型适配
广告竞价数据具有鲜明的领域特性:
- 高维稀疏(用户特征维度常达百万级)
- 极度不平衡(正样本占比通常<1%)
- 存在点击延迟反馈(delayed feedback)
Bid2X对标准Transformer架构进行了三方面改进:
- 稀疏特征编码层
python复制class SparseEmbedding(nn.Module):
def __init__(self, vocab_sizes, embed_dim):
super().__init__()
self.embeddings = nn.ModuleList([
nn.Embedding(size, embed_dim)
for size in vocab_sizes
])
def forward(self, sparse_inputs):
# sparse_inputs: List[Tensor]
return torch.cat([
emb(input) for emb, input in zip(self.embeddings, sparse_inputs)
], dim=1)
- 延迟反馈补偿机制
通过生存分析模型估计未转化事件的潜在转化概率,将其作为软标签参与训
