1. 推荐系统范式演进:从判别式到生成式
在推荐系统领域,我们正经历着一场静悄悄的革命。作为一名从业多年的算法工程师,我亲眼见证了推荐系统从早期的协同过滤,到后来的矩阵分解,再到如今深度学习主导的各个阶段。而最近两年,一个全新的范式正在崛起——生成式推荐(Generative Recommendation)。
传统推荐系统的工作流程大家应该都很熟悉:先对用户行为数据进行清洗和处理,然后经过召回、粗排、精排、重排等多个阶段,最终生成推荐列表。这种我们称之为"判别式推荐"(Discriminative Recommendation)的方法,在过去十年里一直是行业标准。但就像任何技术都会遇到瓶颈一样,判别式推荐也开始显露出它的局限性。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 判别式推荐的困境解析
2.1 判别式推荐的核心机制
判别式推荐的核心是学习一个条件概率分布:p(y=1|u,i,c),即预测用户u在上下文c的条件下,对物品i产生交互(点击、点赞、收藏等)的概率。这种建模方式有几个显著特点:
- 多阶段级联架构:典型的工业级推荐系统通常包含4-6个阶段
- 局部优化导向:每个阶段都在优化自己的子目标
- 候选集依赖:模型只能在预设的候选集内进行选择
2.2 判别式推荐的三大痛点
在实际业务中,我们发现判别式推荐存在几个难以克服的问题:
2.2.1 参数效率低下
以典型的双塔召回模型为例,Embedding层往往占据了模型90%以上的参数量。这些参数:
- 高度稀疏(用户和物品的长尾分布)
- 更新频率低(冷启动问题严重)
- 难以共享(用户和物品的Embedding独立)
2.2.2 语义建模缺失
传统方法对物品间关系的建模非常有限:
- 只计算单个物品的得分
- 忽略物品序列的全局语义
- 难以捕捉跨类目的关联性
2.2.3 多阶段级联困境
级联架构带来的问题尤为突出:
- 误差累积:前序阶段的错误会传递给后续阶段
- 目标不一致:召回/排序/重排的目标函数往往不统一
- 信息损失:严格的截断(top-K)可能导致优质内容被过滤
提示:在实际业务中,我们经常发现精排模型给某些内容打了高分,但这些内容在召回阶段就被过滤掉了,这就是典型的级联困境。
