Python+Flask实现图书馆协同过滤推荐系统

1. 项目概述：基于协同过滤的图书推荐系统

最近在图书馆管理系统项目中实现了一个基于用户行为的图书推荐模块，这个系统采用Python+Flask作为后端，Vue.js作为前端框架，通过协同过滤算法分析用户的借阅记录来生成个性化推荐。在实际运行中，系统将用户借阅行为转化为评分矩阵，通过计算用户相似度或图书相似度来预测用户可能感兴趣的新书。

这个系统特别适合解决图书馆场景中的几个典型问题：一是帮助读者从海量藏书中快速发现符合兴趣的书籍，二是提高图书流通率，三是通过数据分析优化图书馆采购决策。从技术实现角度看，系统包含了完整的数据采集、算法计算、结果展示链条，其中协同过滤算法可以根据不同场景灵活选择基于用户(UserCF)或基于物品(ItemCF)的推荐策略。

提示：在图书馆场景中，由于显式评分数据较少，实际开发时需要特别重视隐式反馈数据的处理，比如借阅时长、续借次数、翻阅记录等都可以转化为有效的用户偏好指标。

2. 系统架构设计

2.1 技术栈选型分析

后端选择Python+Flask组合主要基于三个考虑：一是Python在数据科学领域的生态优势，二是Flask的轻量级特性适合快速迭代，三是与协同过滤算法库的良好兼容性。具体技术栈如下：

• 后端框架：Flask 2.0+（比Django更轻量，适合API开发）
• 算法库：Surprise（推荐系统专用库）、scikit-learn（基础计算）
• 数据库：MySQL 8.0（关系型）+ Redis（缓存）
• 前端框架：Vue 3 + Element Plus（UI组件库）
• 可视化：ECharts 5（推荐理由展示）

python复制# Flask后端基础结构示例
from flask import Flask, jsonify
from flask_cors import CORS

app = Flask(__name__)
CORS(app)  # 解决跨域问题

@app.route('/recommend/<user_id>', methods=['GET'])
def get_recommendations(user_id):
    # 推荐逻辑实现
    return jsonify({"books": recommended_books})

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)

2.2 数据流设计

系统数据流遵循采集→处理→计算→展示的闭环：

1. 数据采集层：通过图书馆OPAC系统接口获取借阅记录，前端埋点收集用户交互数据
2. 数据处理层：清洗数据并构建用户-图书评分矩阵（显式评分+隐式反馈转化）
3. 算法计算层：运行协同过滤算法生成推荐结果，定期离线更新相似度矩阵
4. 应用展示层：通过API接口向前端提供推荐结果，支持多维度筛选

注意：实际部署时需要特别注意用户隐私保护，借阅记录等敏感数据需做匿名化处理，符合图书馆数据管理规范。

3. 核心算法实现

3.1 用户相似度计算

基于用户的协同过滤(UserCF)核心是计算用户间的相似度，这里采用改进的余弦相似度算法，解决评分标准不一致问题：

python复制import numpy as np
from scipy.spatial.distance import cosine

def adjusted_cosine_sim(user1, user2, book_avg_ratings):
    """
    考虑图书平均评分的改进余弦相似度
    :param user1: 用户1的评分字典 {book_id: rating}
    :param user2: 用户2的评分字典 
    :param book_avg_ratings: 图书平均评分字典
    :return: 相似度分数 [0,1]
    """
    common_books = set(user1.keys()) & set(user2.keys())
    if not common_books:
        return 0.0
    
    # 计算调整后的评分向量
    vec1 = [user1[b] - book_avg_ratings[b] for b in common_books]
    vec2 = [user2[b] - book_avg_ratings[b] for b in common_books]
    
    return 1 - cosine(vec1, vec2)

这个改进算法相比传统余弦相似度有两个优势：一是消除评分偏差（有的用户习惯打高分），二是考虑图书本身的平均质量影响。

3.2 推荐结果生成

得到用户相似度后，预测目标用户对未借阅图书的评分：

python复制def predict_rating(target_user, similar_users, book_id, k=5):
    """
    预测目标用户对指定图书的评分
    :param target_user: 目标用户ID
    :param similar_users: 相似用户列表 [(user_id, similarity)]
    :param book_id: 待预测图书ID
    :param k: 取最相似的k个用户
    :return: 预测评分
    """
    numerator = 0
    denominator = 0
    
    for user_id, sim in sorted(similar_users, key=lambda x: x[1], reverse=True)[:k]:
        if book_id in user_ratings[user_id]:
            numerator += sim * user_ratings[user_id][book_id]
            denominator += abs(sim)
    
    if denominator == 0:
        return global_avg_rating  # 退回全局平均分
    
    return numerator / denominator

3.3 冷启动解决方案

针对新用户或新图书的冷启动问题，系统采用三种策略组合：

1. 基于内容的过滤：新书通过元数据（分类、作者、主题词）匹配相似书籍
2. 热门榜单：展示当前最受欢迎的图书作为默认推荐
3. 随机探索：按一定比例混入随机推荐，收集用户反馈

python复制# 冷启动处理示例
def hybrid_recommend(user_id, n=10):
    if is_new_user(user_id):
        # 新用户策略
        return popular_books[:n//2] + random_books(n//2)
    else:
        # 常规协同过滤
        return cf_recommendations(user_id, n)

4. 关键功能模块实现

4.1 用户行为采集系统

图书馆场景中用户显式评分较少，需要设计多维度的隐式反馈采集：

python复制# 隐式反馈转显式评分
def implicit_to_rating(behavior_data):
    base_score = 0
    if behavior_data['borrowed']:
        base_score += 3.0
        base_score += behavior_data['renew_times'] * 0.5
        duration = behavior_data['duration_days']
        if duration > 14:  # 超过平均借阅时长
            base_score += 1.0
    elif behavior_data['browsed']:
        base_score += 1.5
    elif behavior_data['searched']:
        base_score += 0.5
    return min(base_score, 5.0)  # 限定在5分制内

4.2 推荐结果展示组件

前端采用Vue实现动态推荐展示，核心功能包括：

1. 推荐理由可视化：使用ECharts展示"因为您借阅过XX类图书"等解释性信息
2. 多维度筛选：支持按分类、出版时间、借阅热度等条件过滤
3. 反馈收集：提供"不感兴趣"按钮实时调整推荐策略

vue复制<template>
  <div class="recommend-container">
    <el-card v-for="book in books" :key="book.id">
      <div class="book-cover">
        <img :src="book.cover_url" @error="handleImgError">
      </div>
      <div class="book-info">
        <h3>{{ book.title }}</h3>
        <p class="author">{{ book.author }}</p>
        <div class="reason" v-if="book.reason">
          <el-tag type="success">推荐理由</el-tag>
          <span>{{ book.reason }}</span>
        </div>
        <el-slider 
          v-model="book.predicted_rating"
          :min="1" :max="5" 
          :step="0.5"
          @change="handleRatingChange(book)">
        </el-slider>
      </div>
    </el-card>
  </div>
</template>

<script>
export default {
  methods: {
    handleRatingChange(book) {
      this.$axios.post('/feedback', {
        book_id: book.id,
        rating: book.predicted_rating
      })
    }
  }
}
</script>

5. 性能优化方案

5.1 计算效率提升

当用户规模超过1万时，直接计算用户相似度矩阵会面临性能瓶颈。我们采用以下优化措施：

1. 稀疏矩阵存储：使用scipy.sparse存储评分矩阵，内存占用减少70%
2. 局部相似度计算：通过聚类先对用户分群，只在群内计算相似度
3. 增量更新：每晚只对新产生的借阅记录更新相似度，而非全量重算

python复制from scipy.sparse import csr_matrix
from sklearn.cluster import MiniBatchKMeans

# 稀疏矩阵表示
def build_sparse_matrix(user_ratings):
    users = list(user_ratings.keys())
    books = set()
    for ratings in user_ratings.values():
        books.update(ratings.keys())
    books = sorted(books)
    
    row_ind = []
    col_ind = []
    data = []
    
    for i, user in enumerate(users):
        for book, rating in user_ratings[user].items():
            j = books.index(book)
            row_ind.append(i)
            col_ind.append(j)
            data.append(rating)
    
    return csr_matrix((data, (row_ind, col_ind))), users, books

# 用户聚类分群
def cluster_users(sparse_matrix, n_clusters=10):
    kmeans = MiniBatchKMeans(n_clusters=n_clusters, batch_size=1000)
    clusters = kmeans.fit_predict(sparse_matrix)
    return clusters

5.2 缓存策略设计

推荐结果缓存采用分级策略：

python复制import redis
from functools import lru_cache

# Redis连接池
redis_pool = redis.ConnectionPool(host='localhost', port=6379, db=0)

# 两级缓存装饰器
def cached_recommendation(user_id):
    # 先查Redis
    r = redis.Redis(connection_pool=redis_pool)
    cache_key = f"rec:{user_id}"
    result = r.get(cache_key)
    if result:
        return json.loads(result)
    
    # 再查内存缓存
    result = _get_recommendation(user_id)
    
    # 写回Redis
    r.setex(cache_key, 3600, json.dumps(result))  # 1小时过期
    return result

@lru_cache(maxsize=1000)
def _get_recommendation(user_id):
    # 实际计算逻辑
    pass

6. 评估与调优

6.1 离线评估指标

采用三种经典指标评估推荐质量：

1. 准确率-召回率曲线：衡量推荐的相关性
2. 覆盖率：评估推荐结果的多样性
3. 新颖性：检查是否推荐了用户不知道的物品

python复制from surprise import Dataset, Reader
from surprise.model_selection import cross_validate

# 使用Surprise库进行交叉验证
def evaluate_model(algo, data):
    cv_results = cross_validate(
        algo, 
        data, 
        measures=['RMSE', 'MAE'], 
        cv=5, 
        verbose=True
    )
    
    # 计算覆盖率
    all_items = set()
    recommended_items = set()
    trainset = data.build_full_trainset()
    algo.fit(trainset)
    
    for user in trainset.all_users():
        uid = trainset.to_raw_uid(user)
        recs = algo.get_recommendations(uid, k=10)
        recommended_items.update(recs)
        all_items.update(trainset.ur[user])
    
    coverage = len(recommended_items) / len(all_items)
    cv_results['coverage'] = coverage
    
    return cv_results

6.2 在线A/B测试设计

在实际部署时，我们设计了以下分组测试：

测试结果显示，对于图书馆场景，ItemCF在CTR上比UserCF高15%，但混合推荐在长期用户满意度上表现最好。最终采用动态混合策略：新用户阶段侧重ItemCF，积累足够行为数据后逐步增加UserCF权重。

7. 部署注意事项

在实际部署过程中，有几个关键点需要特别注意：

1. 数据更新频率：推荐系统需要定期更新用户相似度矩阵，但频繁全量更新会影响性能。建议采用：

   • 实时：用户新产生的借阅行为立即影响下次推荐
   • 增量：每晚更新相似度计算
   • 全量：每周重建整个模型

2. 资源监控：算法服务需要特别关注以下指标：

   bash复制# 监控命令示例
   $ docker stats rec-server --format "table {{.Container}}\t{{.CPUPerc}}\t{{.MemUsage}}"
   $ redis-cli info memory
   

3. 灰度发布策略：新算法上线应采用分阶段发布：

   • 阶段1：10%流量，监控错误率和性能指标
   • 阶段2：50%流量，对比A/B测试结果
   • 阶段3：全量发布，保留回滚机制

我在实际部署中发现，图书馆系统的推荐结果需要特别考虑时效性——新购图书即使内容相关，如果仅按协同过滤算法推荐，曝光机会可能不足。后来我们增加了新书加权因子，使上架3个月内的新书获得额外曝光权重，显著提高了新书流通率。