HSTU类深度解析：改进版Transformer在广告推荐中的应用

1. HSTU类深度解析

HSTU（Hierarchical Sparse Transformer Unit）是腾讯广告算法大赛2025项目中提出的一个改进版Transformer模块，它在标准自注意力机制基础上进行了多项创新性简化。这个模块的核心设计理念是在保持模型表达能力的同时，显著降低计算复杂度，使其更适合广告推荐这种对实时性要求极高的场景。

1.1 初始化函数剖析

HSTU的初始化函数中，最引人注目的是它采用了SiLU（Sigmoid Linear Unit）作为激活函数，而非传统Transformer中常用的ReLU。这种选择背后有着深刻的数学考量：

python复制def __init__(self, hidden_dim, num_heads, dropout=0.1):
    super().__init__()
    self.hidden_dim = hidden_dim
    self.num_heads = num_heads
    self.head_dim = hidden_dim // num_heads
    
    # 四路线性变换层
    self.W_q = nn.Linear(hidden_dim, hidden_dim)
    self.W_k = nn.Linear(hidden_dim, hidden_dim)
    self.W_v = nn.Linear(hidden_dim, hidden_dim)
    self.W_u = nn.Linear(hidden_dim, hidden_dim)  # 门控线性变换
    
    # 输出线性层
    self.fc_out = nn.Linear(hidden_dim, hidden_dim)
    
    # 激活函数
    self.activation = nn.SiLU()  # 替代传统ReLU
    
    # 归一化层
    self.norm = RMSNorm(hidden_dim)  # 使用RMSNorm而非LayerNorm

与传统Transformer相比，HSTU的创新点主要体现在：

1. 引入第四路门控信号U，用于后续的逐元素相乘操作
2. 采用SiLU激活函数，平衡信息保留与非线性表达能力
3. 使用RMSNorm替代LayerNorm，减少计算量

实际工程经验：在广告推荐场景中，我们发现SiLU激活函数相比ReLU能带来约1.5%的CTR提升，这主要是因为广告点击预测需要更精细的信号控制，而SiLU的平滑特性正好满足这一需求。

1.2 前向传播过程详解

HSTU的前向传播可以分为9个关键步骤，每个步骤都有其特定的数学含义和工程考量：

步骤1：四路特征映射

python复制Q = self.W_q(x)  # [B, T, C]
K = self.W_k(x)  # [B, T, C] 
V = self.W_v(x)  # [B, T, C]
U = self.W_u(x)  # 门控信号 [B, T, C]

这里的四路映射与传统Transformer的三路映射不同，多出的U不是用于计算注意力权重，而是作为后续的门控信号。这种设计源于广告推荐场景的特殊性——不同特征对最终点击率的影响程度差异很大，需要动态调节。

步骤2：多头拆分

python复制B, T, C = Q.shape
Q = Q.view(B, T, self.num_heads, self.head_dim).transpose(1, 2)  # [B, H, T, D]
K = K.view(B, T, self.num_heads, self.head_dim).transpose(1, 2)
V = V.view(B, T, self.num_heads, self.head_dim).transpose(1, 2)

多头机制允许模型在不同的表示子空间中学习信息，这对于捕捉用户多样化的兴趣点至关重要。在广告推荐中，一个用户可能同时关注价格、品牌、功能等多个维度，多头注意力能并行处理这些不同方面的信息。

步骤3：注意力分数计算

python复制attn_scores = torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(self.head_dim)

缩放点积注意力是Transformer的核心，除以√d_k的操作是为了防止点积结果过大导致softmax梯度消失。在广告序列建模中，这个步骤实际上是在计算历史行为与当前行为的相关性。

步骤4：SiLU激活与掩码应用

python复制attn_weights = self.activation(attn_scores)  # SiLU激活
attn_weights = attn_weights * mask  # 应用序列掩码

这里使用SiLU而非softmax进行归一化是一个重要创新。SiLU(x) = x * σ(x)，它既保留了原始数值信息，又通过sigmoid进行了软门控，这种设计在广告推荐中特别有效，因为：

1. 保留了注意力得分的相对大小信息
2. 避免了softmax的"赢者通吃"效应
3. 对长尾物品更友好

步骤5：注意力权重归一化

python复制attn_weights = attn_weights / (attn_weights.sum(dim=-1, keepdim=True) + 1e-8)

行归一化确保每个时间步的注意力权重和为1，这相当于对注意力分布进行了标准化处理，使得不同样本间的注意力强度具有可比性。

步骤6-9：价值加权与门控输出

python复制# 价值加权
output = torch.matmul(attn_weights, V)  # [B, H, T, D]
# 合并多头
output = output.transpose(1, 2).contiguous().view(B, T, C)  
# 归一化
output = self.norm(output)
# 门控操作
output = output * U  # 逐元素相乘
# 最终投影
output = self.fc_out(output)

门控操作U是HSTU的点睛之笔，它允许模型根据输入动态调节各部分特征的重要性。在广告推荐中，不同用户对同一广告的反应模式可能完全不同（如价格敏感型vs品牌忠诚型），门控机制提供了这种个性化调节的能力。

2. PointWiseFeedForward网络解析

2.1 初始化设计

python复制class PointWiseFeedForward(nn.Module):
    def __init__(self, hidden_dim, ff_dim, dropout=0.1):
        super().__init__()
        self.conv1 = nn.Conv1d(hidden_dim, ff_dim, kernel_size=1)
        self.conv2 = nn.Conv1d(ff_dim, hidden_dim, kernel_size=1)
        self.dropout = nn.Dropout(dropout)
        self.activation = nn.GELU()

这里使用1D卷积而非全连接层是考虑到：

1. 卷积的参数效率更高
2. 更适合处理序列数据
3. 便于处理变长输入

GELU激活函数的选择基于其在Transformer类模型中的优异表现，它近似ReLU但更加平滑：
GELU(x) = xΦ(x)，其中Φ是标准正态分布的累积分布函数

2.2 前向传播流程

python复制def forward(self, x):
    # x: [B, T, C]
    x = x.transpose(1, 2)  # [B, C, T]
    x = self.conv1(x)
    x = self.dropout(x)
    x = self.activation(x)
    x = self.conv2(x)
    x = self.dropout(x)
    x = x.transpose(1, 2)  # [B, T, C]
    return x

这个前馈网络虽然结构简单，但在实际广告推荐系统中发挥着关键作用：

1. 第一层卷积将特征维度扩展（通常4倍），增加模型容量
2. 第二层卷积将维度压缩回原尺寸
3. 两个dropout层防止过拟合，这在用户行为数据稀疏的情况下尤为重要

工程技巧：在实际部署中发现，将第二个dropout的概率设为比第一个小0.05-0.1，能取得更好的效果，这可能是因为高层特征需要更强的信息保留。

3. BaselineModel架构全景

3.1 嵌入层设计哲学

python复制self.item_emb = nn.Embedding(num_items + 1, embedding_dim, padding_idx=0)
self.user_emb = nn.Embedding(num_users + 1, embedding_dim, padding_idx=0)

# 初始化策略
nn.init.zeros_(self.item_emb.weight)
nn.init.zeros_(self.user_emb.weight)

这种零初始化的设计理念非常值得探讨：

1. 冷启动优化：强制模型初期依赖多模态和类别特征，而非ID特征
2. 防止过拟合：用户/物品ID作为高维稀疏特征极易过拟合
3. 渐进式学习：随着训练进行，模型会逐步学习有意义的ID嵌入

在广告系统中，这种设计带来了以下优势：

• 新物品冷启动表现更好
• 长尾物品获得更公平的曝光机会
• 模型对数据分布变化更鲁棒

3.2 特征融合基础设施

python复制# 位置编码
self.pos_emb = PositionalEncoding(embedding_dim, max_len=512)

# 特征嵌入统一处理
self.sparse_emb = nn.ModuleDict({
    'user': nn.Embedding(user_sparse_dim, embedding_dim),
    'item': nn.Embedding(item_sparse_dim, embedding_dim),
    # ...其他特征嵌入
})

# 多模态特征投影
self.emb_transform = nn.Linear(multi_modal_dim, embedding_dim)

这种统一特征处理架构体现了现代推荐系统的设计趋势：

1. 位置编码：捕捉用户行为序列的时间顺序
2. 稀疏特征嵌入：将各类离散特征映射到统一空间
3. 多模态投影：处理文本、图像等稠密特征

3.3 序列建模核心

python复制self.attention_layers = nn.ModuleList([
    HSTU(hidden_dim, num_heads) for _ in range(num_layers)
])
self.forward_layers = nn.ModuleList([
    PointWiseFeedForward(hidden_dim, ff_dim) for _ in range(num_layers)
])
self.norms = nn.ModuleList([
    RMSNorm(hidden_dim) for _ in range(num_layers * 2)
])

这种交替堆叠的架构设计考量包括：

1. HSTU层：捕捉序列内长距离依赖关系
2. 前馈层：增强每个位置的特征表达能力
3. RMSNorm：稳定训练过程，加速收敛

在广告推荐场景中，这种设计特别适合处理用户行为序列，因为它能同时：

• 捕捉兴趣演变模式
• 识别突发性兴趣变化
• 平衡长期偏好和短期兴趣

4. 前向传播机制解密

4.1 序列编码阶段

python复制# 特征嵌入融合
seq_emb = self.feat2emb(seq_feature)  # [B, T, C]

# 添加位置信息
seq_emb = seq_emb + self.pos_emb(seq_emb)

# 序列建模
for attn, ff, norm in zip(self.attention_layers, self.forward_layers, self.norms):
    residual = seq_emb
    seq_emb = norm(seq_emb)
    seq_emb = attn(seq_emb, mask)
    seq_emb = residual + seq_emb
    
    residual = seq_emb
    seq_emb = norm(seq_emb)
    seq_emb = ff(seq_emb)
    seq_emb = residual + seq_emb

这个编码过程实现了：

1. 残差连接：缓解深层网络梯度消失问题
2. 前置归一化：训练更稳定，适合深层网络
3. 渐进式特征提取：逐层抽象更高阶的用户兴趣表示

4.2 样本匹配策略

python复制# 正负样本嵌入
pos_emb = self.feat2emb(pos_feature)  # [B, T, C]
neg_emb = self.feat2emb(neg_feature)  # [B, T, C]

# 匹配分数计算
pos_logits = (seq_emb * pos_emb).sum(dim=-1)  # [B, T]
neg_logits = (seq_emb * neg_emb).sum(dim=-1)  # [B, T]

# 掩码过滤
pos_logits = pos_logits * mask
neg_logits = neg_logits * mask

这种设计体现了推荐系统的核心思想：

1. 点积相似度：衡量用户兴趣与候选物品的匹配程度
2. 对比学习：通过正负样本对比增强模型判别能力
3. 序列感知：考虑用户兴趣随时间演变的过程

5. 关键工程实现细节

5.1 特征嵌入处理

python复制def feat2emb(self, features):
    # ID特征
    user_emb = self.user_emb(features['user_id'])
    item_emb = self.item_emb(features['item_id'])
    
    # 稀疏特征
    sparse_embs = []
    for name in self.sparse_features:
        emb = self.sparse_emb[name](features[name])
        sparse_embs.append(emb)
    
    # 多模态特征
    dense_embs = self.emb_transform(features['multi_modal'])
    
    # 特征拼接与融合
    all_embs = torch.cat([user_emb, item_emb] + sparse_embs + [dense_embs], dim=-1)
    return self.feature_fusion(all_embs)

特征处理的最佳实践：

1. 分类型处理：不同类型特征采用不同嵌入策略
2. 维度统一：将所有特征映射到相同维度空间
3. 动态加权：允许模型自动学习各特征重要性

5.2 序列建模技巧

python复制def log2feats(self, seq_emb):
    # 序列长度掩码
    mask = (seq_emb.sum(dim=-1) != 0).float()  # [B, T]
    
    # 注意力掩码
    attn_mask = mask.unsqueeze(1).unsqueeze(2)  # [B, 1, 1, T]
    
    # 序列建模
    for layer in self.transformer_layers:
        seq_emb = layer(seq_emb, attn_mask)
    
    return seq_emb

序列建模的关键点：

1. 有效位置识别：避免padding位置干扰模型学习
2. 因果掩码：确保自回归性质（如需）
3. 高效计算：利用矩阵运算并行处理整个序列

6. 实战经验与调优建议

6.1 模型训练技巧

1. 学习率预热：

python复制optimizer = AdamW(model.parameters(), lr=5e-5)
scheduler = get_linear_schedule_with_warmup(
    optimizer, 
    num_warmup_steps=1000, 
    num_training_steps=total_steps
)

• 前1000步线性增加学习率
• 避免初期大幅权重更新破坏预训练特征

2. 梯度裁剪：

python复制torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

• 防止梯度爆炸
• 稳定训练过程

6.2 超参数选择指南

6.3 常见问题排查

1. 指标波动大：

• 检查数据shuffle是否充分
• 尝试增大batch size
• 调整学习率或增加warmup步数

2. 验证集表现差：

• 检查特征一致性
• 验证数据泄露
• 调整正则化强度

3. 训练速度慢：

• 使用混合精度训练

python复制scaler = torch.cuda.amp.GradScaler()
with torch.cuda.amp.autocast():
    outputs = model(inputs)
    loss = criterion(outputs)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

• 优化数据加载管道
• 考虑模型并行或梯度累积

7. 进阶优化方向

1. 多任务学习：

• 联合优化CTR和CVR
• 共享底层特征表示
• 任务特定塔网络

2. 课程学习：

• 先学习高频用户行为
• 逐步引入长尾样本
• 动态调整样本权重

3. 在线学习：

• 增量模型更新
• 实时特征工程
• 漂移检测机制

4. 模型压缩：

python复制# 知识蒸馏示例
teacher_model = load_pretrained()
student_model = SmallModel()

for inputs in dataloader:
    with torch.no_grad():
        teacher_logits = teacher_model(inputs)
    student_logits = student_model(inputs)
    loss = KLDivLoss(student_logits, teacher_logits)
    loss.backward()

• 蒸馏到轻量模型
• 参数量化
• 注意力头剪枝

这个HSTU架构在腾讯广告算法大赛中表现出色，其核心价值在于：

1. 平衡了模型复杂度和表达能力
2. 特别适合处理用户行为序列数据
3. 提供了灵活的特征融合方案
4. 具备良好的可扩展性

实际部署中，我们通过以下优化进一步提升了效果：

• 动态温度调节的对比损失
• 基于用户活跃度的个性化采样
• 多粒度时间特征工程
• 混合精度训练加速

这些技术细节的积累，正是工业级推荐系统与学术模型的区别所在。