1. 开放域问答的技术演进与核心挑战
开放域问答(Open-Domain Question Answering)是自然语言处理领域最具挑战性的任务之一。与封闭域问答不同,系统需要从海量非结构化文本中寻找答案,而不局限于特定知识库。2017年之前的主流方法主要依赖传统的倒排索引和浅层语义匹配,直到DrQA系统的提出,检索-阅读(Retrieve-Then-Read)的两阶段框架才逐渐成为行业标准。
这个框架的核心思想很直观:首先从大规模文档集合中检索出少量相关文档(通常20-100篇),然后让神经网络阅读器精读这些文档提取答案。这种设计完美平衡了效率与精度——检索阶段快速缩小范围,阅读阶段深入理解文本。但早期系统在检索环节存在明显短板:传统BM25算法虽然速度快,却难以处理语义相似但词汇不匹配的查询,比如"动物界速度冠军"与"猎豹的奔跑时速"这类表述差异。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 稠密检索的技术突破
2.1 双塔编码器的结构设计
稠密检索(Dense Retrieval)的兴起彻底改变了游戏规则。其核心是双塔编码器架构:一个塔处理问题文本,另一个塔处理文档文本,两者输出固定维度的稠密向量(通常是768维)。通过计算向量间的余弦相似度实现语义匹配,这种方式的泛化能力远超传统关键词匹配。
我实际部署时发现,编码器的选择至关重要。早期尝试直接使用BERT作为编码器,但推理延迟太高(单GPU每秒仅能处理约50个查询)。后来切换到蒸馏后的MiniLM模型,在保持90%以上效果的同时,吞吐量提升到每秒300+查询。这里有个实用技巧:对文档编码可以离线预处理,但问题编码必须在线计算,因此问题塔应该选用更轻量的模型。
2.2 对比学习的训练策略
要让双塔模型真正发挥作用,对比学习(Contrastive Learning)是关键训练技术。不同于传统的点积损失,我们构建"问题-正例文档-负例文档"的三元组进行优化。负例的选择策略直接影响模型效果——除了随机采样,我们还会加入以下两种困难负例:
- BM25检索结果中排名靠前但不包含答案的文档
- 同一批次中其他问题对应的正例文档(称为in-batch negatives)
实测表明,当负例数量从1个增加到16个时,模型在NQ数据集上的Top-5召回率从58%提升到72%。但继续增加负例会显著延长训练时间,需要
