1. 推荐系统重排技术概述
在推荐系统的完整流程中,重排(Re-ranking)阶段扮演着至关重要的角色。当系统通过召回和精排阶段筛选出候选物品后,重排负责对这些物品进行最后的顺序调整,以优化用户体验和业务指标。不同于精排阶段主要关注单个物品的点击率或转化率预测,重排更注重物品序列的整体质量,特别是多样性和新颖性等关键指标。
推荐系统的多样性问题源于用户兴趣的广泛性和推荐算法天然的"马太效应"。如果仅依赖精排分数进行展示,系统往往会过度推荐相似的热门内容,导致用户体验单调乏味。这种现象在电商推荐中表现为同一品类商品扎堆出现,在内容平台则体现为同质化内容泛滥。重排技术的核心目标就是打破这种"信息茧房",在保证推荐相关性的前提下,提升结果的丰富度。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 相似性度量方法
2.1 基于物品属性的相似性计算
最直观的相似性度量方式是利用物品的显式属性标签。在电商场景中,这些属性可能包括:
- 类目层级(如电子产品→手机→智能手机)
- 品牌信息(Apple、华为、小米等)
- 价格区间(0-1000元、1000-2000元等)
- 关键词标签("全面屏"、"5G"、"大电池"等)
属性相似性的优势在于计算简单、解释性强。例如,可以定义两个商品的相似度为它们共同属性标签的加权和。但这种方法也存在明显局限:依赖人工定义的标签体系,难以捕捉细粒度差异,且无法处理属性缺失的情况。
2.2 基于向量表征的相似性计算
更先进的相似性度量依赖于物品的向量化表征。常见方法包括:
-
双塔模型向量:来自召回阶段的物品embedding,但这类向量通常偏向热门物品,对长尾物品表征不足
-
内容特征向量:
- 文本特征:通过TF-IDF或BERT等模型从商品标题、描述中提取
- 图像特征:使用CNN等视觉模型从商品主图中提取
- 多模态融合:结合图文特征的联合表征
实践中,基于内容的向量表征往往能提供更细粒度的相似性判断。例如,两款手机可能属于相同类目和品牌,但通过图像特征可以区分它们在外观设计上的差异。
2.3 多模态表征学习
现代推荐系统中的物品往往包含多种模态的内容。以小红书笔记为例,每条笔记都包含图文信息。CLIP(Contrastive Language-Image Pretrainin
