Wong Kosheng1. 混合搜索：当传统检索遇上语义理解
在信息检索领域，我们长期面临一个根本性矛盾：用户需要的是语义层面的答案，但系统处理的却是字符层面的匹配。这个问题在RAG（检索增强生成）系统中尤为突出，因为LLM的生成质量高度依赖于检索到的上下文质量。传统的关键词检索（如BM25）能精准匹配"2023年诺贝尔物理学奖"这样的术语，但会完全错过"去年量子纠缠研究的最高荣誉"这样的同义表达；而纯向量检索虽然能理解语义关联，却可能漏掉精确的专业术语或拼写变体。
混合搜索（Hybrid Search）的诞生正是为了解决这一核心矛盾。作为一名在搜索系统领域实践多年的工程师，我见证过太多次单一检索方法导致的灾难性结果——医疗问答系统因为忽略药品商品名而漏掉关键论文，法律咨询机器人因无法识别法条编号而给出错误指引。这些血泪教训让我深刻认识到：在专业领域的RAG系统中，混合搜索不是可选项，而是必选项。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 混合搜索的技术解剖
2.1 稀疏检索：关键词匹配的利剑
BM25作为稀疏检索的黄金标准，其核心在于计算查询词项与文档的统计相关性。它的公式看起来可能有些吓人：
code复制score(D,Q) = Σ IDF(qi) * (f(qi,D) * (k1 + 1)) / (f(qi,D) + k1 * (1 - b + b * |D| / avgdl))
但实际原理很简单：如果一个词在文档中频繁出现（TF高），同时在语料库中很少见（IDF高），那么这个词就能很好地区分该文档。我在电商搜索系统实践中发现，BM25对产品型号、SKU编码等精确匹配场景的准确率能达到98%以上，这是任何语义检索都难以企及的。
实战经验：调整BM25的k1和b参数对结果影响巨大。k1控制词频饱和度（通常1.2-2.0），b控制文档长度归一化强度（0.6-0.8）。建议先用网格搜索在小数据集调优。
2.2 稠密检索：语义理解的革命
当2017年Google推出BERT模型时，我们团队第一时间做了对比测试：用"汽车排气管异响"查询汽车维修手册，传统关键词检索的MRR（平均倒数排名）只有0.45，而基于BERT的稠密检索直接飙升至0.82。这是因为向量嵌入能够捕捉"排气管"-"尾管"-"消音器"等术语的语义关联。
现代嵌入模型如bge-small、gte-base通