稀疏检索技术：从TF-IDF到SPLADE的演进与应用

1. 稀疏检索技术的历史与现状

稀疏检索技术作为信息检索领域的基石，已经默默支撑搜索引擎运行了数十年。尽管近年来密集嵌入（dense embeddings）方法备受关注，稀疏检索技术正在经历一场复兴。这种复兴源于其独特的优势：计算效率高、结果可解释性强，以及与现有基础设施的无缝兼容。

传统稀疏检索方法的核心思想是将文档和查询表示为高维空间中的稀疏向量，其中每个维度对应词汇表中的一个词项。这种表示方法的优势在于：

• 索引构建和查询处理效率极高
• 检索结果具有高度可解释性
• 系统调试和优化路径清晰

然而，传统方法也面临词汇不匹配（vocabulary mismatch）和语义理解不足等挑战。这正是近年来神经稀疏检索方法试图解决的问题。

2. 经典稀疏检索方法解析

2.1 TF-IDF：基础中的基础

TF-IDF（Term Frequency-Inverse Document Frequency）是信息检索领域最经典的权重计算方法。其核心思想是：一个词项在文档中出现次数越多（TF越高），同时在所有文档中出现次数越少（IDF越高），则该词项对该文档的代表性越强。

TF-IDF的计算公式如下：

code复制TF(t,d) = (词项t在文档d中的出现次数) / (文档d的总词数)
IDF(t,D) = ln(文档集合D的总文档数 / (1 + 包含词项t的文档数))
TF-IDF(t,d,D) = TF(t,d) × IDF(t,D)

实际应用中，TF-IDF存在两个明显缺陷：

1. 对长文档不公平：长文档中词项的TF值会自然偏高
2. 词频贡献线性增长：重复出现的词项会获得不成比例的高分

2.2 BM25：TF-IDF的改进版

BM25（Best Match 25）是TF-IDF的改进算法，通过引入两个关键调整解决了上述问题：

1. 词频饱和：使用非线性函数限制高频词项的贡献
2. 文档长度归一化：考虑文档长度与平均长度的比值

BM25的完整公式为：

code复制score(D,Q) = Σ IDF(qi) × (f(qi,D) × (k1 + 1)) / (f(qi,D) + k1 × (1 - b + b × |D|/avgdl))

其中：

• k1控制词频饱和程度（通常取值1.2-2.0）
• b控制长度归一化强度（通常取值0.5-0.8）
• avgdl是文档集合的平均长度

提示：在实际系统中，BM25的参数k1和b需要根据具体数据集进行调整。通常建议先使用默认值（k1=1.5，b=0.75），然后在小规模验证集上进行微调。

2.3 倒排索引：高效检索的基石

BM25只是一个评分函数，实际检索系统还需要高效的索引结构。倒排索引（Inverted Index）是支撑大规模检索的核心数据结构。

倒排索引的构建过程：

1. 文档分词：将每个文档分解为词项序列
2. 统计词频：记录每个词项在每个文档中的出现次数
3. 建立映射：以词项为键，存储包含该词项的文档列表及其词频

倒排索引的查询处理流程：

1. 查询分词：将用户查询分解为词项
2. 获取倒排列表：从索引中查找每个查询词项对应的文档列表
3. 计算相关性：对候选文档集应用BM25等评分函数
4. 结果排序：按得分降序排列文档

3. 神经稀疏检索的演进

3.1 Doc2Query：文档扩展的先驱

传统稀疏检索面临的核心挑战是词汇不匹配问题。Doc2Query（2019）提出了一种简单而有效的解决方案：使用生成模型为每个文档生成可能的查询，然后将这些查询附加到原文后进行索引。

Doc2Query的工作流程：

1. 训练查询生成模型：使用文档-查询对训练Transformer模型
2. 生成伪查询：对每个文档，模型生成多个可能的查询
3. 文档扩展：将生成的查询附加到原文
4. 重建索引：对扩展后的文档集建立倒排索引
5. 检索：使用BM25进行常规检索

Doc2Query的优势在于：

• 显著缓解词汇不匹配问题
• 保持检索效率不变
• 无需修改现有检索架构

3.2 DeepCT：上下文感知的术语加权

DeepCT（Deep Contextualized Term weighting）进一步提出了基于上下文的术语加权方法。其核心思想是：同一个词在不同上下文中可能具有不同的重要性。

DeepCT的技术要点：

1. 使用BERT获取词项的上下文表示
2. 预测每个词项的重要性分数
3. 将预测分数转换为整数权重（通常缩放至0-100）
4. 在索引中存储这些权重

DeepCT的训练目标基于查询词召回率（Query Term Recall）：

code复制QTR(t,d) = (包含词项t的d相关查询数) / (d的总相关查询数)

实际应用中发现，DeepCT倾向于给文档核心概念赋予更高权重，而对边缘概念赋予较低权重。这种特性使其在主流信息需求场景表现优异，但在查找细节信息时可能表现不佳。

3.3 SparTerm：显式术语扩展

SparTerm在DeepCT基础上引入了显式的术语扩展机制，通过两个核心模块解决语义鸿沟问题：

1. 重要性预测器（Importance Predictor）：

   • 基于BERT的上下文表示
   • 预测词汇表中每个词项的重要性分布
   • 使用ReLU和求和进行聚合

2. 门控控制器（Gating Controller）：

   • 决定激活哪些词项来表示文档
   • 提供两种模式：仅字面匹配和扩展增强

SparTerm的训练采用两阶段策略：

1. 先训练门控控制器（使用交叉熵损失）
2. 固定门控控制器，训练整个框架（使用排序损失）

虽然SparTerm取得了不错的效果，但其架构复杂性和训练流程的繁琐性限制了其广泛应用。

4. SPLADE：简洁而强大的现代方案

4.1 SPLADE的核心创新

SPLADE（Sparse Lexical and Expansion Model）对SparTerm进行了大幅简化，主要改进包括：

1. 统一架构：使用单一PLM处理查询和文档
2. 对数饱和求和：控制权重分布，自然产生稀疏性
3. FLOPS正则化：优化计算效率
4. 端到端训练：简化训练流程

SPLADE的词汇权重计算采用对数饱和求和：

code复制w_j = Σ log(1 + ReLU(z_ij))

其中z_ij是第i个位置对词项j的logit。

4.2 SPLADE的训练技巧

SPLADE的成功很大程度上归功于其精心设计的训练策略：

1. InfoNCE损失：使用批次内负样本进行对比学习
2. FLOPS正则化：控制激活词项的频次分布

   code复制L_FLOPS = Σ (平均激活)^2
   

3. 渐进式正则化：在训练初期逐步增加正则化强度

实际应用中，SPLADE对查询和文档使用不同的正则化强度（λ_q > λ_d），因为查询端的稀疏性对延迟影响更大。

4.3 SPLADE-v2：最大池化改进

SPLADE-v2进一步简化了权重计算，将求和改为最大值：

code复制w_j = max log(1 + ReLU(z_ij))

这种改变带来了三个好处：

1. 计算更加高效
2. 权重分布更加稀疏
3. 在多个基准测试中表现出更好的效果

5. 稀疏检索的实践经验与调优建议

5.1 方法选型指南

根据应用场景选择合适的方法：

• 资源有限/延迟敏感：BM25 + Doc2Query
• 追求最佳效果：SPLADE-v2
• 需要可解释性：DeepCT
• 处理专业领域：SparTerm（可捕获领域特定扩展）

5.2 性能优化技巧

1. 索引优化：

   • 对长文档进行分段处理
   • 考虑使用复合索引（如同时包含原始词和扩展词）

2. 查询处理：

   • 对用户查询也应用扩展和重加权
   • 实现查询缓存机制

3. 参数调优：

   • BM25的k1和b参数
   • SPLADE的正则化强度
   • 扩展词的数量阈值

5.3 常见问题排查

1. 召回率低：

   • 检查词汇扩展是否充分
   • 验证索引覆盖率
   • 调整稀疏性控制参数

2. 准确率低：

   • 检查术语权重计算
   • 验证模型是否过拟合
   • 考虑引入二次精排

3. 延迟高：

   • 优化倒排列表访问
   • 减少查询端激活词数
   • 考虑近似检索技术

6. 稀疏检索的未来展望

稀疏检索技术仍在持续进化，几个有前景的方向包括：

1. 混合检索：稀疏与密集方法的有机结合
2. 动态稀疏：根据查询特性调整稀疏模式
3. 领域自适应：针对特定领域优化扩展策略
4. 可学习索引：将索引结构与检索模型联合优化

在实践中，我们观察到稀疏检索特别适合以下场景：

• 需要快速响应的大规模系统
• 对结果可解释性要求高的应用
• 需要频繁更新索引的动态环境

从工程角度看，现代稀疏检索系统的实现要点包括：

1. 分布式索引架构
2. 增量索引更新
3. 查询预处理流水线
4. 结果缓存机制
5. 实时监控和A/B测试框架

在部署稀疏检索系统时，建议采用渐进式策略：

1. 从BM25基线开始
2. 逐步引入Doc2Query扩展
3. 评估神经稀疏方法的效果提升
4. 最后考虑混合检索方案

我个人在多个实际系统中的经验表明，稀疏检索方法在保持高效率的同时，通过现代神经技术的增强，已经能够达到接近密集方法的检索质量。特别是在需要频繁更新内容、对延迟敏感的在线场景中，稀疏检索仍然是不可替代的基础技术。