1. 多模态RAG:当大模型学会"看图说话"
去年我在帮一家金融客户优化智能客服系统时遇到一个典型问题:用户上传的合同PDF里常包含关键表格和流程图,但传统文本检索式问答(RAG)总在这些环节掉链子。这正是多模态RAG(MM-RAG)大显身手的场景——它让大模型真正具备了"图文并茂"的理解能力。
1.1 系统架构解析
MM-RAG的核心创新在于将传统RAG的"文本单行道"扩展为"多模态立交桥"。其架构可分为两个关键路径:
1.1.1 离线建库流程(紫色路径)
在金融合同处理的实践中,我们采用这样的处理流水线:
-
多模态数据预处理
- 图像类:使用PaddleOCR提取图中文字,配合BLIP-2生成图像描述
- 视频类:按1秒/帧采样,通过Whisper进行语音转写
- 表格类:结合LayoutLM解析表格结构和内容
-
跨模态向量编码
测试对比了三种主流方案:python复制# BridgeTower示例代码 from transformers import BridgeTowerModel model = BridgeTowerModel.from_pretrained("BridgeTower/bridgetower-large") inputs = {"image": image_tensor, "text": text_tokens} outputs = model(**inputs) # 输出统一向量表示 -
向量数据库选型
我们最终选择LanceDB的考虑因素:- 支持混合模态向量(文本+图像embeddings)
- 动态schema适应不同模态组合
- 本地部署满足金融数据安全要求
1.1.2 在线推理流程(绿色路径)
实际问答时最关键的三个技术点:
-
查询理解增强
- 对"解释这张流程图"类模糊查询,先用GPT-4生成搜索关键词
- 视觉查询会同时生成CLIP和文本embedding进行混合检索
-
多模态上下文构建
markdown复制
| 模态类型 | 处理方式 | 成
