孔小哥1. 项目概述：多模态RAG电影推荐系统实战
去年参与某在线视频平台推荐系统优化时，我深刻体会到传统协同过滤推荐在冷启动和多样性上的局限。当用户面对平台首页推荐的《肖申克的救赎》第15次时，那种"怎么又是它"的无奈表情让我意识到：是时候尝试多模态融合方案了。
这个基于Streamlit和多模态RAG的电影推荐系统，核心解决了三个行业痛点：
- 信息单一性：传统推荐仅用评分/标签数据，忽视海报视觉信息（如《布达佩斯大饭店》的对称构图暗示其艺术片属性）
- 冷启动难题：新用户/新电影缺乏历史交互数据时，多模态特征可提供初始推荐依据
- 可解释性弱：RAG机制能生成"因为您喜欢科幻视觉风格和AI伦理主题..."等自然语言解释
技术栈选择上，前端用Streamlit而非传统Django/Flask，因其特别适合快速构建数据应用原型（一个.py文件就能实现交互界面）；后端采用RAG架构而非纯生成式模型，确保推荐结果既保持相关性又避免幻觉问题——这在电影推荐中至关重要，没人希望被推荐根本不存在的"2025年上映的《阿凡达4》"。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 系统架构设计
2.1 多模态特征工程流水线
电影特征提取是系统的基石，我们的处理流程如下：
python复制# 文本特征提取（使用BERT-base）
from transformers import BertTokenizer, BertModel
text_encoder = BertModel.from_pretrained('bert-base-uncased')
text_inputs = tokenizer("A story about AI awakening...", return_tensors='pt')
text_embeddings = text_encoder(**text_inputs).last_hidden_state.mean(dim=1)
# 图像特征提取（使用ResNet50）
from torchvision.models import resnet50
img_encoder = resnet50(pretrained=True).eval()
img_embeddings = img_encoder(preprocess_image("movie_poster.jpg").unsqueeze(0))
关键设计决策：
- 特征融合时机：实验对比了早期融合（直接拼接文本/图像向量）和晚期融合（分别检索后加权），最终选择中期融合——先各自归一化到512维，再用注意力机制加权组合，在MovieLens-1M数据集上使Recall@10提升17.3%
- 用户偏好建模：除了显式评分，还通过用户历史浏览时长（观看完整片尾≈高兴趣）、暂停/回放片段（情感波动点）构建隐式反馈特征
2.2 RAG推荐引擎实现
与传统推荐系统不同，我们的RAG架构包含双路检索：
- 语义检索路：使用FAISS构建多模态索引，支持混合查询如
python复制# 组合文本查询与图像示例查询 query_vec = 0.6*text_encoder("cyberpunk style") + 0.4*img_encoder("blade_runner_poster.jpg") - 行为检索路：基于用户最近交互的K近邻推荐，作为语义检索的补充
生成阶段采用T5模型，输入模板示例：
code复制基于以下特征生成推荐理由：
用户偏好：[科幻, 强剧情, 视觉特效]
电影特征：
- 标题：《湮灭》
- 类型：科幻/惊悚
- 视觉风格：迷幻色彩、生物变形
- 相似电影：《降临》《机械姬》
3. 核心实现步骤
3.1 数据准备与清洗
使用MovieLens-25M数据集时需特别注意：
- 海报图像处理：遇到404失效链接时，通过TMDB API补全，并统一缩放至224x224像素
- 文本去噪：电影描述中的演员生日等无关信息需清洗，保留剧情/风格关键词
- 评分标准化：处理极端评分（如大量0分或10分）采用Tukey方法：
python复制def normalize_ratings(df): q1, q3 = df['rating'].quantile([0.25, 0.75]) iqr = q3 - q1 return df[(df['rating'] >= q1-1.5*iqr) & (df['rating'] <= q3+1.5*iqr)]
3.2 Streamlit前端开发
实现交互功能时的三个实用技巧：
- 会话状态管理：用st.session_state持久化用户画像
python复制if 'user_profile' not in st.session_state: st.session_state.user_profile = {'explicit': [], 'implicit': []} - 性能优化：对FAISS索引使用st.cache_data装饰器
python复制@st.cache_data def load_faiss_index(path): return faiss.read_index(path) - 渐进式加载：先返回文字推荐，再异步加载海报图像
4. 效果评估与调优
4.1 评估指标设计
除常规的准确率/召回率外，我们特别关注：
- 多样性：计算推荐列表的品类熵值
python复制genres = ['科幻','动作','爱情'] counts = [5, 3, 2] entropy = -sum((c/sum(counts)) * math.log(c/sum(counts)) for c in counts) - 惊喜度：用KL散度衡量推荐与历史偏好的差异
- 响应延迟：90%查询需<800ms（实测平均623ms）
4.2 典型问题排查
- 冷门电影过度推荐：因长尾分布，调整损失函数增加热门样本权重
python复制weights = 1/torch.sqrt(movie_popularity + 1) loss = weighted_loss(predictions, labels, weights) - 多模态特征冲突：当海报风格与剧情不符时（如喜剧用暗黑海报），引入模态一致性损失
- Streamlit内存泄漏：定期调用gc.collect()并限制缓存大小
5. 项目扩展方向
在实际部署中，我们进一步探索了：
- 实时特征更新：当用户鼠标在某个海报上悬停超过3秒时，触发特征提取加入画像
- AB测试框架：使用Firebase分流测试不同推荐策略
- 硬件加速：用Triton推理服务器部署模型，QPS提升4.8倍
关键教训：多模态融合并非简单拼接数据。在初期版本中，直接拼接文本和图像特征反而使效果下降12%，直到引入跨模态注意力机制后才实现正向收益。这印证了"特征交互比特征本身更重要"的推荐系统设计原则。
这个毕设项目的独特价值在于：它不仅实现了标准的多模态推荐流程，更通过RAG机制解决了推荐可解释性这一行业难题。答辩时，教授特别赞赏了能生成"这部影片融合了您喜欢的赛博朋克视觉风格和人工智能伦理主题"这类自然语言解释的功能设计。