1. 项目概述:混合架构RAG知识库的核心价值
去年在帮一家医疗科技公司搭建智能问答系统时,我首次尝试将在线大语言模型(LLM)与本地化Embedding相结合。当系统在断网环境下依然能准确回答药品配伍禁忌问题时,现场医护人员的惊喜表情让我意识到这种混合架构的实用价值。
这种架构本质上是在成本、效果和稳定性之间寻找平衡点。在线LLM(如GPT-4)提供强大的语义理解能力,而本地部署的Embedding模型(如bge-small)则保障基础检索的稳定性和数据隐私。就像医院既需要专家会诊(在线LLM),也需要常驻医师(本地Embedding)处理日常病例。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 架构设计:分而治之的智慧
2.1 在线LLM的选型策略
在实际项目中,我通常会准备三个候选模型:
- GPT-4-turbo(最佳效果但成本高)
- Claude-3-sonnet(性价比之选)
- 国内合规API(如文心一言,满足监管要求)
关键技巧是建立fallback机制:当主模型响应超时或报错时,自动切换到备用模型。这需要设置合理的timeout(建议3-5秒)和重试策略。
2.2 离线Embedding的部署要点
经过多次测试,我发现这些参数组合效果最佳:
python复制# 使用BAAI/bge-small-zh-v1.5模型
model_kwargs = {'device': 'cuda'} # 有GPU时
encode_kwargs = {
'normalize_embeddings': True, # 余弦相似度必须开启
'batch_size': 32 # 2080Ti实测最佳值
}
特别注意:不同Embedding模型的维度差异会导致向量数据库报错。例如Chromadb常见错误"collection expecting embedding with dimension 768"就是维度不匹配导致的,解决方案是初始化集合时显式指定维度:
python复制collection = client.create_collection(
name="medical_knowledge",
metadata={"hnsw:space": "cosine"},
embedding_function=e
