推荐系统中的曝光偏差与去偏技术实践

1. 曝光偏差：推荐系统里的"马太效应"

想象你是一家独立书店的老板，每天都会遇到这样的场景：畅销书被摆在门口最显眼的展台上，而真正有深度的文学作品却被塞在角落的书架里。三个月后，你发现畅销书的销量增长了200%，而那些优质但小众的书籍却积满了灰尘。这不是因为这些书不好，而是顾客根本不知道它们的存在。

这就是推荐系统中典型的**曝光偏差（Exposure Bias）**问题。在实际的推荐系统中，用户只能对系统展示的商品产生点击、购买等行为反馈。而那些从未被展示的商品，即使完美匹配用户兴趣，也无法获得任何正反馈数据。这就形成了一个恶性循环：

1. 系统基于历史数据训练模型
2. 模型倾向于推荐已有曝光数据的商品
3. 新商品和小众商品获得更少曝光机会
4. 这些商品的数据更加匮乏
5. 模型更加不会推荐它们

根据2022年RecSys会议的研究数据，在主流电商平台中，头部5%的商品占据了85%的曝光量，而尾部50%的商品合计曝光量不足3%。这种分布不仅影响用户体验，长期来看也会损害平台生态。

关键问题：我们观察到的用户行为数据，本质上是经过系统"筛选过滤"后的结果。这就像只通过调查常春藤校友来研究"美国人的教育经历"——数据本身已经带有严重的selection bias。

2. 曝光去偏的核心原理与技术方案

2.1 逆倾向加权（IPS）方法详解

逆倾向加权（Inverse Propensity Scoring, IPS）是目前最主流的曝光去偏技术。其数学本质是通过对样本加权，构造一个无偏的损失函数：

$$
\hat{R}{IPS} = \frac{1}{n} \sum^n \frac{\delta_i y_i}{p_i}
$$

其中：

• $p_i$ 是商品i被曝光的概率（倾向性分数）
• $\delta_i$ 是曝光指示变量（1表示曝光，0未曝光）
• $y_i$ 是用户反馈（如点击率）

工程实现中的关键点：

1. 倾向性分数估计：

   • 使用逻辑回归或深度网络训练曝光预测模型
   • 输入特征包括用户画像、商品属性、上下文特征
   • 输出为[0,1]区间的曝光概率

2. 权重裁剪策略：

   python复制# 权重裁剪示例代码
   min_propensity = 0.