1. 余弦相似度:从数学原理到工程实践
第一次听说余弦相似度这个概念时,我正被一个文本分类问题困扰——如何判断两段文字在语义上的相似程度?传统的词频统计方法在"苹果手机"和"iPhone"这样的同义表达面前完全失效。直到一位前辈扔给我一篇论文,里面那个简单的余弦公式彻底改变了我的工作方式。
余弦相似度本质上测量的是两个向量在方向上的接近程度,完全不受向量长度影响。这个特性让它成为NLP、推荐系统、图像识别等领域的标配工具。举个例子,当我们需要比较两篇文章的相似性时,即使一篇是长篇大论另一篇只是简短摘要,只要它们讨论的主题方向一致,余弦值就会很高。
关键认知:余弦相似度关注的是向量的夹角而非大小,这使得它特别适合比较不同长度的文本、图像等数据的相似性。
1.1 数学本质解析
余弦相似度的计算公式看似简单:
$$
\text{similarity} = \cos(\theta) = \frac{A \cdot B}{|A| |B|} = \frac{\sum_{i=1}^{n} A_i B_i}{\sqrt{\sum_{i=1}^{n} A_i^2} \sqrt{\sum_{i=1}^{n} B_i^2}}
$$
但这个简单的分数背后藏着几个重要特性:
-
取值范围固定:结果永远在[-1,1]之间
- 1表示完全相同方向
- 0表示正交(完全不相关)
- -1表示完全相反方向
-
长度不变性:对向量做等比例缩放不会改变结果
python复制# 示例:长度不影响结果 vec1 = [1, 2, 3] vec2 = [2, 4, 6] # vec1的2倍 print(cosine_similarity([vec1], [vec2])) # 输出1.0 -
维度无关性:可以处理任意维度的向量比较
在实际工程中,我们常用预计算范数来优化性能:
python复制def cosine_sim_optimized(a, b):
"""优化版余弦相似度计算"""
dot_product = np.dot(a, b)
norm_a = np.linalg.norm(a)
norm_b = np.linalg.norm(b)
return dot_product / (norm_a * norm_b)
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心应用场景深度剖析
2.1 自然语言处理实战
在NLP领域,余弦相似度是词向量、文档相似度的黄金标准。我参与过的一个智能客服项目就依赖这个技术:
- 问句匹配:将用户问题与知识库问题转化为向量后比较
python复制from sentence_
