Spring AI与向量数据库构建金融知识库智能问答系统

1. 项目背景与核心价值

去年参与某金融集团知识库升级项目时，我深刻体会到传统关键词检索的局限性——当业务人员搜索"跨境汇款手续费政策"时，系统只能返回包含完整关键词的文档，而无法理解"国际转账收费规则"这类语义相近的查询。这正是我们引入Spring AI+向量数据库技术栈的根本原因。

这套方案的核心突破点在于：

• 语义理解：通过嵌入模型将文本转化为高维向量，使"转账"和"汇款"这类近义词在向量空间中距离相近
• 上下文关联：基于RAG（检索增强生成）架构，问答系统能同时考虑知识库文档和用户问题上下文
• 动态更新：相比传统知识图谱，向量数据库支持实时增量更新，适合政策频繁变更的金融场景

2. 技术架构设计解析

2.1 整体架构图

mermaid复制graph TD
    A[用户提问] --> B(Spring Boot应用)
    B --> C[文本嵌入模型]
    C --> D[(Milvus向量数据库)]
    D --> E[LLM大模型]
    E --> F[生成回答]

2.2 核心组件选型对比

关键提示：金融行业建议选择本地化部署方案，避免敏感数据外泄。我们测试发现，当向量维度超过1024时，Milvus集群需要额外增加查询节点。

3. 关键实现步骤详解

3.1 知识库向量化处理

java复制// 文档分块处理示例
TextSplitter splitter = new TokenTextSplitter()
    .setChunkSize(512)
    .setChunkOverlap(50);
List<TextSegment> chunks = splitter.split(documentContent);

// 生成向量嵌入
EmbeddingModel embeddingModel = new OllamaEmbeddingModel("bge-small");
List<Embedding> embeddings = embeddingModel.embed(chunks);

参数设置经验：

• 分块大小：政策文件建议512 tokens，合同条款建议256 tokens
• 重叠窗口：保持10-15%的重叠可避免关键信息被割裂
• 元数据存储：建议保留文件名、章节标题等字段供后续过滤使用

3.2 Milvus向量数据库配置

yaml复制# application-milvus.yml
spring:
  ai:
    vectorstore:
      milvus:
        host: 10.0.0.100
        port: 19530
        collection-name: finance_kb
        metric-type: COSINE
        dimensions: 768
        index-type: IVF_FLAT
        nlist: 1024

性能调优要点：

• IVF_FLAT索引在准确性和性能间取得平衡，nlist值越大查询越精确但耗时越长
• 生产环境建议启用GPU加速，QPS可提升3-5倍
• 定期执行flush和compact操作维护索引效率

4. 智能问答系统实现

4.1 RAG增强检索流程

java复制@RestController
public class QAController {
    
    @Autowired
    private VectorStore vectorStore;
    
    @Autowired
    private ChatClient chatClient;

    @PostMapping("/ask")
    public String answerQuestion(@RequestBody String question) {
        // 1. 问题向量化
        Embedding questionEmbedding = embeddingModel.embed(question);
        
        // 2. 向量相似度检索
        List<Document> relevantDocs = vectorStore.similaritySearch(
            SearchRequest.query(questionEmbedding)
                .withTopK(3)
                .withSimilarityThreshold(0.7));
        
        // 3. 构建提示词
        PromptTemplate promptTemplate = new PromptTemplate("""
            基于以下上下文回答问题：
            {context}
            
            问题：{question}
            """);
            
        Prompt prompt = promptTemplate.create(
            Map.of("context", relevantDocs, "question", question));
            
        // 4. 调用LLM生成回答
        return chatClient.call(prompt).getResult().getOutput().getContent();
    }
}

4.2 效果优化技巧

1. 混合检索策略：结合BM25关键词检索与向量检索，提升精确匹配场景效果

   java复制SearchRequest.composite()
       .addVectorSearch(questionEmbedding, 0.7)
       .addKeywordSearch(question, 0.3)
   

2. 结果重排序：使用Cross-Encoder对Top20结果进行精排，NDCG@5提升28%
3. 缓存机制：对高频问题建立LRU缓存，减少LLM调用成本

5. 生产环境部署要点

5.1 性能监控指标

5.2 安全防护方案

1. 输入过滤：使用正则表达式拦截敏感查询（如证件号、账号等）

   java复制if (question.matches(".*[0-9]{18}.*")) {
       throw new IllegalQueryException();
   }
   

2. 输出审核：部署T5模型对生成内容进行合规性检查
3. 访问控制：基于Spring Security实现RBAC权限管理

6. 典型问题排查实录

问题1：检索结果相关度突然下降

• 现象：相同问题返回文档得分从0.8降至0.5
• 排查：
  1. 检查嵌入模型版本是否变更
  2. 确认向量数据库是否执行过reindex操作
  3. 验证原始文档编码是否一致（曾因UTF-8/BOM混用导致问题）
• 解决：统一使用StandardCharsets.UTF_8处理所有文本输入

问题2：高并发时Milvus OOM

• 现象：QPS>500时节点内存溢出
• 排查：
  1. 检查preload_collection参数是否开启
  2. 确认查询时nprobe参数是否过大
• 解决：调整queryNode.resource.limit=16GB并设置nprobe=32

问题3：LLM回答偏离预期

• 现象：回答包含无关内容
• 排查：
  1. 分析提示词模板中的上下文截断问题
  2. 检查temperature参数设置（金融场景建议0.3-0.5）
• 解决：在提示词中添加"仅根据上下文回答，不知道则明确告知"

经过半年生产验证，这套方案使客服问题解决率提升65%，平均处理时间缩短40%。特别在理财产品说明、跨境业务政策等复杂场景表现突出。对于考虑类似升级的企业，建议先从非核心业务试点，逐步完善检索策略和回答质量控制机制。