1. 推荐系统中的相似度计算困境
在构建推荐系统时,我们常常面临一个基础但关键的问题:如何准确衡量两个用户之间的相似度?这个问题看似简单,实则暗藏玄机。想象一下,你正在为一家视频平台设计推荐算法,平台上有两位用户:
- 用户A是个"严格评委",最高只给3星评价
- 用户B是个"慷慨观众",最低给出4星评价
如果直接比较他们的原始评分,系统会得出完全错误的结论。这就是为什么我们需要皮尔逊相关系数——它能穿透个人评分习惯的表象,捕捉到用户喜好的本质趋势。
关键提示:在评分预测场景中,我们真正关心的是用户对物品的相对偏好,而非绝对评分值。皮尔逊相关系数的核心价值就在于它能剥离评分尺度的影响。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 余弦相似度的局限性分析
2.1 余弦相似度的数学本质
余弦相似度通过计算两个向量夹角的余弦值来衡量相似度,其公式为:
code复制cosθ = (A·B) / (||A|| * ||B||)
其中:
- A·B表示向量A与B的点积
- ||A||表示向量A的模长
这个度量有一个重要特性:它只关注向量的方向,而不关心其长度。在文本相似度等场景中,这是个优点;但在评分预测中,却可能成为致命缺陷。
2.2 实际案例中的失效场景
让我们看一个具体例子。三位用户对三部电影的评分如下:
| 用户 | 电影X | 电影Y | 电影Z |
|---|---|---|---|
| 严苛型A | 3 | 2 | 1 |
| 宽松型B | 4 | 5 | 3 |
| 中立型C | 3 | 3 | 3 |
计算A与B的余弦相似度:
- 向量A = [3,2,1]
- 向量B = [4,5,3]
- 点积 = 34 + 25 + 1*3 = 25
- 模长乘积 = √(3²+2²+1²) * √(4²+5²+3²) ≈ 3.74 * 7.07 ≈ 26.44
- 余弦相似度 ≈ 25/26.44 ≈ 0.945
这个结果明显违背直觉——A和B的评分趋势实际上是相反的(A给高分的电影,B给低分),但余弦相似度却显示他们高度相似。这就是我们需要更优度量方法的原因。
