1. 项目背景与核心挑战
最近在帮一家制造业客户搭建知识型智能问答系统时,遇到了一个典型的企业级需求场景:需要同时对接多个业务系统的结构化数据表(MySQL)、非结构化的产品文档(PDF/Word)以及历史工单记录(CSV),构建一个能理解复杂业务问题、支持多轮对话的智能体。这个案例非常具有代表性,今天就把整个技术方案和踩坑经验整理分享出来。
企业数据整合面临三个核心痛点:
- 多表关联查询:订单表、产品表、客户表需要动态关联
- 多文档解析:产品手册、技术白皮书等格式混杂
- 上下文保持:对话中需要记忆历史提问和业务上下文
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术架构设计
2.1 整体方案选型
采用RAG(检索增强生成)架构,具体组件如下:
mermaid复制graph TD
A[数据源] --> B[ETL管道]
B --> C{存储类型}
C -->|结构化| D[关系型数据库]
C -->|非结构化| E[向量数据库]
D --> F[SQL生成器]
E --> G[语义检索]
F & G --> H[大模型]
H --> I[响应生成]
2.2 关键技术组件
-
数据接入层
- 结构化数据:使用SQLAlchemy建立ORM映射
- 非结构化数据:采用Unstructured库解析文档
- 增量同步:通过时间戳+CDC机制实现
-
检索增强模块
- 多表查询:基于LangChain的SQLDatabaseChain
- 文档检索:ChromaDB向量库+Cohere嵌入模型
- 混合检索:自定义权重算法(0.6向量分+0.4关键词分)
-
对话管理
- 会话状态:Redis存储对话历史
- 意图识别:Fine-tuned BERT模型
- 上下文窗口:采用滑动窗口策略(最近5轮对话)
3. 核心实现细节
3.1 多表数据处理
python复制# 动态表关系建模示例
db = SQLDatabase.from_uri(
"mysql://user:pass@host/db",
include_tables=["orders", "products"],
