Python构建视频推荐系统：从爬虫到算法实现-AI智能范式网

Python构建视频推荐系统：从爬虫到算法实现

葛店小学张洪雨·2026-09-07·阅读 21 GEO检测（免费）

推荐系统PythonScrapy

|难度：普通|阅读约 18 分钟

1. 项目概述与架构设计

在大数据时代，个性化推荐系统已经成为视频平台提升用户体验的核心竞争力。这个基于Python Flask/Django框架的视频推荐系统，通过爬虫技术获取海量影视数据，结合用户行为分析构建精准推荐模型，为不同用户提供千人千面的内容推荐服务。

系统采用前后端分离的现代化架构设计，这种架构选择主要基于三个考量：首先，前后端解耦可以让团队分工更明确；其次，独立部署能够更好地应对高并发场景；最后，这种架构便于后续的功能扩展和维护升级。

后端技术栈选择了Python生态中的Flask或Django框架。Flask轻量灵活，适合快速迭代开发；Django则提供了完整的MVC解决方案和丰富的内置功能。根据我们的实际项目经验，当需要快速验证原型时首选Flask，而面对复杂业务逻辑时Django的全家桶优势更为明显。

数据存储方面采用了混合数据库方案：

MySQL：存储结构化的用户基本信息和社交关系数据，利用其ACID特性保证核心数据的一致性
MongoDB：存储非结构化的用户行为日志和视频元数据，发挥其schema-free的优势应对快速变化的数据需求
Redis：作为缓存层存储热门推荐结果和会话信息，利用内存数据库的高性能特性提升系统响应速度

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 数据采集模块实现细节

2.1 爬虫框架选型与技术实现

我们选择Scrapy作为爬虫框架，相比Requests+BeautifulSoup的组合，Scrapy提供了更完整的爬取生命周期管理和分布式扩展能力。在实际部署中，我们针对国内主流视频平台（如爱奇艺、腾讯视频）定制了不同的爬取策略。

爬虫实现的核心要点包括：

遵守robots.txt协议，设置合理的爬取间隔（通常3-5秒/次）
使用随机User-Agent轮换避免被封禁
实现自动重试机制处理网络异常
采用分布式架构提升爬取效率

python复制import scrapy
from scrapy.http import Request
from urllib.parse import urljoin

class VideoSpider(scrapy.Spider):
    name = 'iqiyi_spider'
    custom_settings = {
        'DOWNLOAD_DELAY': 3,
        'CONCURRENT_REQUESTS': 4,
        'USER_AGENT': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
    }
    
    def start_requests(self):
        base_url = 'https://www.iqiyi.com'
        categories = ['dianying', 'dianshiju', 'zongyi']
        for cat in categories:
            yield Request(urljoin(base_url, cat), callback=self.parse_category)

    def parse_category(self, response):
        for item in response.css('.qy-mod-ul li'):
            detail_url = item.css('a::attr(href)').get()
            if detail_url:
                yield Request(detail_url, callback=self.parse_detail)
        
        next_page = response.css('.next-page::attr(href)').get()
        if next_page:
            yield Request(next_page, callback=self.parse_category)

    def parse_detail(self, response):
        yield {
            'title': response.css('.video-title::text').get().strip(),
            'director': response.css('.director::text').get(),
            'actors': response.css('.actor a::text').getall(),
            'rating': float(response.css('.score::text').get()),
            'tags': response.css('.tag span::text').getall(),
            'description': response.css('.info-desc::text').get().strip()
        }

2.2 数据清洗与存储优化

原始爬取的数据往往包含大量噪声，我们建立了完整的数据清洗流水线：

去重处理：基于视频ID建立唯一索引
缺失值处理：对关键字段设置默认值
格式标准化：统一时间、评分等字段的格式
异常值过滤：剔除明显不合理的数据（如评分超过范围）

实际项目中我们发现，视频平台的页面结构经常变动，因此建议将XPath/CSS选择器配置化，便于快速调整而不需要修改代码。同时，建立定期的爬取任务监控机制，及时发现解析失败的情况。

3. 用户画像构建与特征工程

3.1 用户行为数据采集

通过前端埋点收集多维度的用户行为数据：

显性反馈：评分、收藏、分享等主动行为
隐性反馈：观看时长、暂停/继续、拖动进度条等被动行为
上下文信息：观看时段、设备类型、网络环境等

我们设计了轻量级的埋点方案，使用JSON格式记录行为事件：

json复制{
  "user_id": "u123456",
  "video_id": "v789012",
  "event_type": "play",
  "timestamp": "2023-07-20T14:30:00Z",
  "duration": 125,
  "progress": 0.35,
  "device": "iOS/Chrome",
  "ip_location": "Shanghai"
}

3.2 特征提取与向量化

对于文本数据（如视频描述、用户评论），我们采用TF-IDF+Word2Vec的组合方法：

TF-IDF处理标签和分类信息：

python复制from sklearn.feature_extraction.text import TfidfVectorizer

tfidf = TfidfVectorizer(max_features=1000)
tag_features = tfidf.fit_transform(video_tags)

Word2Vec生成内容特征向量：

python复制from gensim.models import Word2Vec

sentences = [doc.split() for doc in video_descriptions]
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1)
content_vector = model.wv[video_id]

用户画像更新策略采用实时+离线混合模式：

实时更新：用户显性反馈（如评分）立即生效
离线更新：每小时全量计算一次隐性反馈特征
每日夜间进行特征降维和聚类分析

4. 推荐算法核心实现

4.1 协同过滤算法优化

我们改进了传统的用户协同过滤算法，加入了时间衰减因子和置信度权重：

用户相似度计算：
$$
sim(u,v) = \frac{\sum_{i \in I} w_{u,i} \cdot w_{v,i} \cdot (r_{u,i} - \bar{r}u)(r - \bar{r}v)}{\sqrt{\sum{i \in I} w_{u,i}(r_{u,i} - \bar{r}u)^2}\sqrt{\sum{i \in I} w_{v,i}(r_{v,i} - \bar{r}_v)^2}}
$$

其中：

$w_{u,i}$ = 置信度权重（基于行为次数）
时间衰减因子：$decay(t) = e^{-\lambda(t_{now}-t_{event})}$

Python实现示例：

python复制import numpy as np
from scipy.spatial.distance import cosine

def user_similarity(user1, user2, ratings, time_decay=0.1):
    common_items = set(ratings[user1]) & set(ratings[user2])
    if not common_items:
        return 0
    
    scores1, scores2 = [], []
    for item in common_items:
        r1, t1 = ratings[user1][item]
        r2, t2 = ratings[user2][item]
        weight = np.exp(-time_decay * (current_time - max(t1, t2)))
        scores1.append(r1 * weight)
        scores2.append(r2 * weight)
    
    return 1 - cosine(scores1, scores2)

4.2 混合推荐策略

针对不同场景采用不同的推荐策略组合：

用户类型	主要算法	辅助算法	冷启动方案
新用户	热门推荐	内容推荐	基于注册信息推荐
轻度用户	协同过滤	内容推荐	社交关系推荐
活跃用户	矩阵分解	深度学习	实时行为调整

我们特别优化了冷启动问题：

新用户：基于注册时填写的兴趣标签推荐
新视频：使用内容相似度匹配已有视频
混合策略：初期侧重内容推荐，随着数据积累逐步增加协同过滤权重

5. 系统部署与性能优化

5.1 微服务化部署架构

采用Docker+ Kubernetes的云原生部署方案：

code复制├── recommendation-api (Flask/Django)
├── data-processor (Spark)
├── scraper-scheduler (Scrapy)
├── user-profile-service
├── realtime-recommender
└── monitoring (Prometheus + Grafana)

关键配置参数：

API服务：Gunicorn + 4 workers (8核32G机器)
Spark集群：3个worker节点，每个8核32G
Redis：哨兵模式，3节点集群
MySQL：主从复制，读写分离

5.2 缓存策略优化

建立了三级缓存体系提升响应速度：

本地缓存（LRU）：存储用户最近推荐结果，有效期5分钟
Redis集群：存储热门推荐和用户特征，有效期1小时
数据库缓存：物化视图预计算常用查询

缓存更新策略：

定时更新：每10分钟刷新热门推荐
事件驱动：用户重要行为触发相关推荐更新
降级方案：缓存失效时返回通用推荐并异步重建

6. 实战经验与问题排查

6.1 常见性能瓶颈与解决方案

我们在实际部署中遇到的典型问题及解决方法：

推荐响应延迟高

现象：API响应时间>500ms
排查：发现特征查询没有走索引
解决：为user_id和video_id建立联合索引

Spark任务失败

现象：夜间批处理任务频繁失败
排查：发现内存不足导致OOM
解决：调整executor内存配置并增加重试机制

推荐结果重复率高

现象：用户反馈看到相同推荐
排查：发现缓存过期时间设置过长
解决：引入多样性因子和缓存抖动机制

6.2 推荐质量评估指标

建立了一套完整的推荐效果评估体系：

离线指标：

准确率：Precision@K, Recall@K
覆盖率：推荐物品占总物品比例
新颖度：推荐物品的平均热度倒数

在线指标：

CTR（点击通过率）
观看时长提升率
用户留存率变化

业务指标：

付费转化率
内容消费深度
用户满意度调查

我们在A/B测试中发现，加入时间衰减因子后，CTR提升了12.7%，而引入内容多样性惩罚后，用户留存率提高了8.3%。

7. 系统扩展与未来优化

当前系统已经支持基础的推荐功能，但仍有改进空间：

实时推荐增强：引入Flink替换部分Spark Streaming任务，降低延迟
深度学习模型：试验BERT+NeuralCF混合架构
可解释性推荐：增加推荐理由生成功能
多模态处理：融合视频封面和内容分析

在实际项目中，推荐系统的优化是一个持续迭代的过程。我们建立了数据闭环，通过收集用户反馈不断调整算法参数和策略组合。特别值得注意的是，不同地区的用户可能表现出完全不同的行为模式，这就需要我们建立区域化的推荐策略。