HiSAC模型：超长用户行为序列的高效建模技术解析

1. 项目概述

在推荐系统领域，用户历史行为序列建模一直是个极具挑战性的课题。传统方法如SIM（Search-based Interest Model）和Twin模型采用两阶段架构，但这种设计存在一个根本性缺陷：第一阶段产生的误差会直接传递到后续阶段且无法修正。HiSAC（Hierarchical Sparse Activation Compression）这篇论文提出了一种创新性的解决方案，通过层次化稀疏激活压缩技术，实现了对超长用户行为序列的高效建模。

核心突破点在于：将用户历史行为特征压缩为层次化的语义表示，同时通过软路由注意力机制保留长尾兴趣特征。这种设计既解决了计算效率问题，又避免了传统硬路由导致的量化误差放大现象。

2. 核心设计思路解析

2.1 多模态特征提取架构

模型首先使用冻结参数的CLIP模型分别提取图像和文本特征：

• 图像特征提取：CLIP视觉编码器处理商品图片
• 文本特征提取：CLIP文本编码器处理商品标题/描述
• 特征融合：通过QFormer（Querying Transformer）实现跨模态特征对齐

这种设计充分利用了CLIP强大的预训练表征能力，同时通过QFormer实现模态间的信息交互。实际部署时需要注意：

• CLIP模型保持冻结可显著降低训练成本
• QFormer需要针对电商场景进行微调
• 特征维度建议设置为768或1024以平衡效果与计算开销

2.2 残差量化VAE（RQ-VAE）设计

论文采用两层次残差量化变分自编码器构建码本：

python复制class RQVAE(nn.Module):
    def __init__(self, num_layers=2, codebook_size=512):
        self.quantizers = nn.ModuleList([
            VectorQuantizer(codebook_size) 
            for _ in range(num_layers)
        ])
    
    def forward(self, x):
        residuals = x
        quantized_out = 0
        for quantiz