Terminucia1. 项目概述：当二手车遇上智能推荐
去年帮朋友选购二手车时，我深刻体会到信息过载的困扰——平台上近万辆待售车辆，光是筛选符合预算的车型就花了整整三天。这次经历让我萌生了开发二手车推荐系统的想法。这个基于Python+Django的推荐系统，核心在于运用机器学习中的双协同过滤算法，为每位用户提供个性化的车辆推荐。
系统采用B/S架构设计，前端用Bootstrap构建响应式界面，后端使用Django REST framework处理业务逻辑。与普通分类展示不同，我们创新性地融合了基于用户（UserCF）和基于物品（ItemCF）的协同过滤算法：UserCF分析相似用户的偏好，ItemCF则挖掘车辆间的关联性。当用户浏览一辆2018款丰田凯美瑞时，系统不仅会推荐其他凯美瑞车型，还会根据相似用户的选择推荐本田雅阁等竞品。
实际测试中发现，单纯使用UserCF在新用户冷启动阶段效果较差，而结合车辆基本属性的混合推荐能将点击率提升40%
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心技术解析：双协同过滤的化学反应
2.1 算法层设计
系统采用矩阵分解优化传统协同过滤。用户-车辆评分矩阵R可分解为潜在特征矩阵P和Q：
python复制import numpy as np
from scipy.sparse.linalg import svds
def matrix_factorization(R, k=10, steps=500, alpha=0.0002, beta=0.02):
# R: 用户-车辆评分矩阵
# k: 潜在特征维度
m, n = R.shape
P = np.random.rand(m,k)
Q = np.random.rand(n,k)
for step in range(steps):
for i in range(m):
for j in range(n):
if R[i,j] > 0:
eij = R[i,j] - np.dot(P[i,:],Q[j,:].T)
for ki in range(k):
P[i,ki] += alpha * (2 * eij * Q[j,ki] - beta * P[i,ki])
Q[j,ki] += alpha * (2 * eij * P[i,ki] - beta * Q[j,ki])
loss = 0
for i in range(m):
for j in range(n):
if R[i,j] > 0:
loss += (R[i,j] - np.dot(P[i,:],Q[j,:].T))**2
for ki in range(k):
loss += (beta/2) * (P[i,ki]**2 + Q[j,ki]**2)
if loss < 0.001:
break
return P, Q
2.2 工程实现要点
-
数据预处理管道：
- 里程数归一化：
(x - min_mileage)/(max_mileage - min_mileage) - 车龄处理：
log(age + 1)缓解长尾分布 - 品牌one-hot编码：处理类别型特征
- 里程数归一化：
-
混合推荐策略：
mermaid复制graph TD A[新用户] -->|冷启动| B(基于内容的推荐) A -->|有行为数据| C(协同过滤推荐) B --> D[品牌偏好调查] B --> E[价格区间选择] C --> F[UserCF 推荐] C --> G[ItemCF 推荐] -
实时性优化：
- 使用Redis缓存用户最近浏览记录
- 每2小时离线更新推荐模型
- 采用Faiss进行近邻搜索加速
3. Django工程化实践
3.1 模型设计关键点
python复制from django.db import models
class Vehicle(models.Model):
TRANSMISSION_CHOICES = [
('AT', 'Automatic'),
('MT', 'Manual'),
]
title = models.CharField(max_length=200)
price = models.DecimalField(max_digits=10, decimal_places=2)
mileage = models.PositiveIntegerField()
manufacture_year = models.PositiveSmallIntegerField()
transmission = models.CharField(max_length=2, choices=TRANSMISSION_CHOICES)
# 其他字段...
class UserBehavior(models.Model):
EVENT_TYPES = [
('view', 'View'),
('collect', 'Collect'),
('contact', 'Contact Seller'),
]
user = models.ForeignKey(User, on_delete=models.CASCADE)
vehicle = models.ForeignKey(Vehicle, on_delete=models.CASCADE)
event_type = models.CharField(max_length=10, choices=EVENT_TYPES)
timestamp = models.DateTimeField(auto_now_add=True)
3.2 推荐API实现
python复制from rest_framework.decorators import api_view
from django.core.cache import cache
@api_view(['GET'])
def get_recommendations(request):
user_id = request.user.id
cache_key = f'rec_{user_id}'
# 先尝试从缓存获取
recs = cache.get(cache_key)
if recs:
return Response(recs)
# 冷启动处理
if not UserBehavior.objects.filter(user=request.user).exists():
recs = cold_start_recommendation()
else:
# 双协同过滤计算
usercf_recs = user_based_cf(user_id)
itemcf_recs = item_based_cf(user_id)
recs = hybrid_strategy(usercf_recs, itemcf_recs)
# 缓存结果2小时
cache.set(cache_key, recs, timeout=7200)
return Response(recs)
4. 性能优化实战记录
4.1 数据库查询优化
在车辆列表页发现N+1查询问题：
python复制# 反例：每次循环都查询
vehicles = Vehicle.objects.all()
for v in vehicles:
print(v.dealer.name) # 每次循环都查询dealer
# 正例：使用select_related
vehicles = Vehicle.objects.select_related('dealer').all()
4.2 推荐结果去重策略
发现用户浏览过的车辆仍被推荐，通过Bloom Filter优化：
python复制from pybloom_live import ScalableBloomFilter
def get_filter():
filter = ScalableBloomFilter(initial_capacity=1000)
viewed_items = UserBehavior.objects.filter(
user=request.user,
event_type='view'
).values_list('vehicle_id', flat=True)[:1000]
for item in viewed_items:
filter.add(item)
return filter
4.3 缓存穿透防护
当遇到恶意请求不存在的用户ID时：
python复制from django.core.cache import cache
def get_user_recommendations(user_id):
# 空值缓存
cache_key = f'user_rec_{user_id}'
result = cache.get(cache_key)
if result is None:
try:
result = calculate_recommendations(user_id)
cache.set(cache_key, result, timeout=3600)
except User.DoesNotExist:
cache.set(cache_key, [], timeout=300) # 缓存空结果5分钟
return []
return result
5. 部署中的坑与解决方案
5.1 生产环境配置要点
gunicorn_config.py 关键配置：
python复制bind = "0.0.0.0:8000"
workers = (2 * cpu_count()) + 1
worker_class = "gevent"
keepalive = 60
timeout = 30
max_requests = 1000
max_requests_jitter = 50
5.2 机器学习模型加载优化
初始方案每次请求加载模型导致延迟高：
python复制# 优化前：每次请求加载
def recommend(request):
model = load('recommender.model') # 耗时操作
# ...
# 优化后：全局加载
class RecommendationEngine:
_instance = None
def __new__(cls):
if not cls._instance:
cls._instance = super().__new__(cls)
cls._instance.model = load('recommender.model')
return cls._instance
5.3 监控指标设计
Prometheus监控指标示例：
python复制from prometheus_client import Counter, Gauge
RECOMMENDATION_REQUESTS = Counter(
'recommendation_requests_total',
'Total recommendation requests',
['user_type']
)
RECOMMENDATION_LATENCY = Gauge(
'recommendation_latency_seconds',
'Recommendation calculation latency'
)
6. 效果验证与调优
6.1 A/B测试方案
python复制def get_recommendations_variants(user):
# 对照组：传统推荐
if user.id % 2 == 0:
return traditional_recommend(user)
# 实验组：双协同过滤
else:
return hybrid_recommend(user)
6.2 关键指标对比
| 指标 | 传统推荐 | 双协同过滤 | 提升幅度 |
|---|---|---|---|
| 点击率(CTR) | 12.3% | 18.7% | +52% |
| 转化率 | 2.1% | 3.4% | +62% |
| 用户停留时长 | 86s | 142s | +65% |
| 推荐多样性 | 0.45 | 0.68 | +51% |
6.3 线上问题排查案例
现象：新上线后推荐结果过于集中
排查：
- 检查算法权重参数
- 验证数据分布
- 追踪用户行为日志
解决：在相似度计算中引入车辆属性的Jaccard多样性系数：
python复制def diversity_penalty(item1, item2):
attr1 = {item1.brand, item1.transmission, item1.fuel_type}
attr2 = {item2.brand, item2.transmission, item2.fuel_type}
return len(attr1 & attr2) / len(attr1 | attr2)
这个项目从原型到上线历时4个月，最大的收获是认识到推荐系统不是单纯的算法问题，更需要考虑业务场景特性。比如二手车领域，用户对"车龄"的敏感度远高于图书推荐中的"出版年份"，需要针对性地设计特征权重。下次迭代我计划加入强化学习机制，使推荐策略能动态适应用户偏好变化。