撒哈巴拉卡达西亚1. 从 TF-IDF 到 BM25：经典信息检索算法的前世今生
在搜索引擎和各类信息检索系统的背后，有一系列精妙的算法支撑着我们对海量数据的快速查询。作为一名长期从事搜索算法研发的工程师，我见证了从早期简单匹配到现代智能检索的演进历程。今天要分享的TF-IDF和BM25算法，就像信息检索领域的"活化石"——虽然诞生于上个世纪，但至今仍在各类系统中发挥着重要作用。
这两个算法的核心价值在于：它们教会了计算机如何理解"相关性"。不同于简单的关键词匹配，它们能够量化评估文档与查询之间的关联程度，并给出可比较的分数。这种能力使得搜索引擎从最初的"有无匹配"进化到"质量排序"，奠定了现代搜索技术的基础。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. TF-IDF：统计学视角的关键词权重
2.1 TF-IDF的核心思想
TF-IDF（Term Frequency-Inverse Document Frequency）算法诞生于1972年，由Karen Spärck Jones提出。它的核心假设非常直观：一个词如果在某篇文档中频繁出现，而在其他文档中很少出现，那么这个词就能很好地代表这篇文档的内容。
这个假设背后有两个关键洞察：
- 高频词更可能反映文档主题
- 常见词（如"的"、"是"）区分度低
2.2 算法组成与计算
TF-IDF由两部分组成：
-
词频(TF)：衡量词在文档中的重要性
最简单的计算方式是原始计数：code复制tf(t,d) = count(t in d)但更常用的是对数归一化版本：
code复制tf(t,d) = log(1 + count(t in d)) -
逆文档频率(IDF)：衡量词的区分度
code复制idf(t,D) = log(N / (df(t) + 1))其中N是文档总数，df(t)是包含词t的文档数
最终的TF-IDF权重是两者的乘积：
code复制tfidf(t,d,D) = tf(t,d) × idf(t,D)
2.3 实际应用示例
假设我们有一个小型文档集：
- "苹果是一种水果"
- "苹果公司发布了新手机"
- "水果富含维生素"
计算"苹果"在各文档中的TF-IDF值：
-
文档1："苹果"的tf=1，idf=log(3/2)=0.176
tfidf=1×0.176=0.176 -
文档2："苹果"的tf=1，idf=0.176
tfidf=0.176 -
文档3："苹果"未出现，tfidf=0
虽然这个简单例子中两篇文档得分相同，但在实际应用中，结合其他词的TF-IDF值就能区分出不同主题的文档。
2.4 TF-IDF的局限性
尽管TF-IDF简单有效，但在实际应用中暴露了两个主要问题：
- 词频饱和问题：一个词在文档中出现100次并不比出现10次"相关"10倍
- 文档长度偏差：长文档天然包含更多词汇，容易获得更高分数
这些问题促使研究者们寻找更优的算法，最终催生了BM25。