1. 开放域问答的技术演进与核心挑战
开放域问答(Open-Domain Question Answering)作为自然语言处理领域的皇冠明珠,正在经历从传统管道式架构到端到端智能系统的范式转移。我仍记得2017年首次接触DrQA系统时的震撼——那个基于TF-IDF和浅层神经网络的混合架构,虽然检索准确率不足40%,却为后续技术发展奠定了重要基础。
当前主流系统普遍采用检索-阅读(Retrieve-Then-Read)的两阶段框架,其核心思想是将海量文档库的搜索问题分解为两个优化目标:首先通过检索器(Retriever)从千万级文档中筛选出Top-K相关段落,再由阅读器(Reader)对这些候选段落进行深度语义理解并生成最终答案。这种架构的巧妙之处在于,它完美平衡了计算效率与答案质量之间的矛盾。
1.1 传统稀疏检索的瓶颈
早期系统多采用BM25、TF-IDF等稀疏检索方法,这些基于词频统计的算法虽然计算高效,但面临着严重的词汇不匹配(Lexical Gap)问题。例如当用户询问"如何缓解手机续航焦虑"时,传统方法可能无法识别"省电技巧"、"电池优化"等相关文档,因为它们在字面上没有重叠词汇。
更棘手的是,稀疏检索难以处理以下场景:
- 同义词和近义表达("新冠" vs "COVID-19")
- 抽象概念的具体化表述("经济下行" vs "GDP增速放缓")
- 跨语言知识关联("机器学习" vs "machine learning")
这些问题直接导致检索召回率(Recall)的天花板效应,即便后续阅读器再强大,也无法从漏检的文档中提取正确答案。
1.2 稠密检索的技术突破
2019年Facebook AI提出的DPR(Dense Passage Retrieval)系统标志着稠密检索时代的到来。其核心创新在于采用双塔编码器架构:
- 问题编码器(Question Encoder):将用户查询映射为768维稠密向量
- 段落编码器(Passage Encoder):并行处理所有文档段落生成向量库
通过对比学习(Contrastive Learning)优化,使相关问答对的向量空间距离接近,不相关对则相互排斥。这种方法的优势在于:
- 语义泛化能力:突破字面匹配限制,捕捉深层语义关联
- 计算效率:预先编码文档库,线上检
