1. RAG技术概述与项目背景
检索增强生成(Retrieval-Augmented Generation,简称RAG)是当前大模型应用领域最热门的技术方向之一。简单来说,RAG就是在传统大模型生成答案之前,先从一个外部知识库中检索相关文档片段,然后将这些检索结果作为上下文提供给大模型,最终生成更加准确和可靠的回答。
为什么RAG如此重要?我在实际项目中发现,纯粹依赖大模型本身的知识存在几个明显痛点:
- 知识局限性:模型训练数据之外的领域知识(如企业内部文档、产品手册等)无法被准确回答
- 时效性问题:模型训练完成后,新产生的知识无法自动更新
- 幻觉风险:当模型遇到不确定的问题时,容易编造看似合理实则错误的答案
- 可控性差:对于客服、医疗等专业领域,我们需要确保回答严格基于既定资料
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 项目架构设计
2.1 整体技术栈选型
经过多个项目的实践验证,我最终确定了以下技术组合:
- 前端界面:Streamlit(快速构建交互式Web应用)
- 后端服务:FastAPI(高性能API框架)
- RAG框架:LangChain(提供标准化组件和流程编排)
- 向量数据库:Chroma(轻量级本地向量存储方案)
- Embedding模型:DashScope的text-embedding-v4
- 大语言模型:通义千问qwen3-max
这个技术栈的选择基于几个关键考量:
- 开发效率:Streamlit和FastAPI都能极大减少样板代码
- 本地化部署:Chroma无需额外服务,适合中小规模知识库
- 成本控制:使用国内云服务商的模型API,避免国际结算问题
2.2 系统分层架构
项目采用经典的五层架构设计:
code复制用户层
├── Streamlit Web界面
└── FastAPI HTTP接口
应用服务层
└── RAGService(核心业务逻辑)
RAG编排层
├── Prompt构造
├── Retriever检索
├── 对话历史管理
└── LLM调用
知识库层
├── 文件加载
├── 文档切片
├── Embedding向量化
└── Chroma向量存储
本地存储层
├── chroma_db(向量数据)
└── chat_history(会话记录)
3. 知识库构建实战
3.1 文件上传服务实现
文件上传是知识库构建的第一步。我们在Streamlit中实现了多文件上传组件:
python复制uploaded_files = st.file_uploader(
"📁 选择要上传的文件",
type=["txt", "md", "json", "pdf", "docx", "xlsx", "xls"],
accept_multiple_files=True,
help="支持格式:txt, md, json, pdf, docx, xlsx, xls"
)
关键设计点:
- 格式兼容性:覆盖了办公场景常见的文档类型
- 批量上传:accept_multiple_files=True支持一次选择多个文
