1. 项目背景与核心痛点
去年这个时候,我们团队接到了一个看似简单实则棘手的需求——打造一个"像和人聊天一样自然"的文档问答系统。最初以为三个月就能搞定,结果光是解决"回答卡顿"这个问题就耗掉了大半年。现在回头看,文档问答这个赛道远比想象中复杂,今天就把我们趟过的坑和解决方案完整分享出来。
文档问答系统的核心矛盾在于:用户期待的是Google搜索般的即时响应,但背后需要完成的却是阅读理解、信息抽取、语义匹配等一系列NLP任务。我们实测发现,当响应时间超过1.5秒时,用户满意度就会断崖式下跌。而传统方案在处理200页以上的PDF时,延迟经常突破5秒大关。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术架构演进之路
2.1 第一代方案:全文检索+关键词匹配
初期我们采用最朴素的方案:
- 使用Elasticsearch建立全文索引
- 用户提问时先检索相关段落
- 再用规则引擎提取关键词进行匹配
踩坑实录:
- 专业术语变体(如"CNN"和"卷积神经网络")导致召回率不足
- 长文档分块时上下文断裂(比如表格被硬生生拆开)
- 无法处理"对比A和B的特点"这类需要推理的问题
2.2 第二代方案:向量数据库+Embedding
中期升级为语义搜索架构:
python复制# 典型处理流程
doc_chunks = split_document(pdf) # 智能分块
embeddings = model.encode(doc_chunks) # 生成向量
vector_db.insert(embeddings)
# 查询时
query_embedding = model.encode(user_question)
results = vector_db.search(query_embedding)
性能优化关键点:
- 分块策略:采用滑动窗口重叠分块(窗口512token,重叠128token)
- Embedding模型选型:测试了超10种模型后选定bge-small(速度与精度平衡)
- 向量数据库:从Faiss切换到Milvus(支持动态更新)
2.3 第三代方案:混合检索+RAG
当前生产环境架构:
code复制[用户问题] →
[关键词检索] ↘
[结果融合]
