1. 项目概述：图书馆占座检测系统的技术实现
图书馆座位资源紧张是高校普遍存在的问题，传统的人工巡查方式效率低下且难以覆盖全时段。我们基于YOLOv11n模型开发了一套自动化占座检测系统，能够准确识别座位（chair）和人（person）两类目标，实现座位占用状态的智能判断。系统在2568张标注图像上训练后，mAP@0.5达到0.983的优异性能，并通过PyQt5开发了直观的图形界面，支持图片、视频和实时摄像头三种检测模式。
这个项目的技术亮点在于：针对图书馆场景的特殊性（如桌椅排列密集、人员姿态多样等），我们通过数据增强和模型微调，使YOLOv11n在小目标检测和遮挡场景下仍保持高精度。实测表明，系统能有效区分"真实占座"与"临时放置物品"的情况，准确率比传统图像处理方法提升约40%。对于开发者而言，项目提供了完整的训练代码和即用型界面程序，只需配置Python环境即可快速部署。
2. 数据集构建与标注规范
2.1 数据采集要点
图书馆场景数据集构建需要特别注意光照条件和视角多样性。我们采集了2568张图像，覆盖以下关键场景：
- 不同时段（早晨/中午/晚上）的自然光和灯光条件
- 多种拍摄角度（俯拍45°、平视、远距离全景）
- 各类干扰场景（书包占座、书本占座、人员短暂离开等）
重要提示：避免拍摄到读者面部特征，所有涉及人像的数据需做模糊处理，这不仅是伦理要求，也能让模型更关注整体姿态而非面部细节。
2.2 标注标准详解
数据集采用YOLO和VOC两种格式标注，包含7434个chair和3016个person标注。标注时遵循以下规则：
-
椅子标注规范：
- 框选整个可见座位区域（包括椅背和座面）
- 对于被人体遮挡的椅子，按可见部分标注并添加
occlusion属性 - 连排座椅按单个实例标注，避免分割过细
-
人员标注规范：
- 框选从头部到臀部的区域（忽略腿部）
- 对于坐姿人员，标注框下沿与椅子座面重合
- 多人重叠时确保各实例边界清晰
python复制# YOLO格式标注示例（chair）
0 0.453125 0.521875 0.112500 0.175000
# 对应参数：class_id x_center y_center width height
2.3 数据增强策略
为提高模型鲁棒性，训练时采用了动态增强组合：
yaml复制# data.yaml 增强配置（追加）
augmentation:
hsv_h: 0.015 # 色相抖动
hsv_s: 0.7 # 饱和度增强
hsv_v: 0.4 # 明度调整
degrees: 10 # 旋转角度
translate: 0.1 # 平移比例
scale: 0.5 # 缩放范围
shear: 5 # 剪切幅度
perspective: 0.001 # 透视变换
3. YOLOv11n模型训练全流程
3.1 环境配置与依赖安装
推荐使用Python 3.8+和CUDA 11.3环境：
bash复制# 创建conda环境
conda create -n yolov11 python=3.8
conda activate yolov11
# 安装核心依赖
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 --extra-index-url https://download.pytorch.org/whl/cu113
pip install ultralytics==8.0.0 albumentations==1.2.1 PyQt5==5.15.7
3.2 训练参数深度解析
在train.py中，关键参数设置依据显存容量调整：
python复制results = model.train(
data='library_dataset/data.yaml',
epochs=30, # 经验表明30轮足够收敛
imgsz=640, # 图书馆场景需要较高分辨率
batch=16, # RTX 3060(12GB)实测值
cos_lr=True, # 余弦学习率调度
lr0=0.01, # 初始学习率
lrf=0.01, # 最终学习率
momentum=0.937, # SGD动量
weight_decay=0.0005, # 权重衰减
warmup_epochs=3, # 学习率预热
...
)
3.3 训练过程监控技巧
通过以下命令启动训练并监控关键指标：
bash复制# 启动训练（支持断点续训）
python train.py
# 使用TensorBoard监控
tensorboard --logdir runs/train
重点关注三个指标曲线：
- train/box_loss：应稳定下降至0.02以下
- val/mAP@0.5：最终应高于0.98
- val/obj_loss：反映定位精度，需持续下降
实测发现：当val_loss连续5轮不下降时触发早停(patience=5)，可避免过拟合同时节省30%训练时间。
4. PyQt5界面开发与功能实现
4.1 界面架构设计
采用Model-View-Controller模式构建：
code复制MainWindow
├── VideoCaptureThread (QThread)
├── DetectionWorker (QObject)
└── UI Components
├── VideoDisplay (QLabel)
├── ControlPanel (QWidget)
└── ResultsTable (QTableWidget)
4.2 关键功能代码剖析
多线程检测实现：
python复制class DetectionThread(QThread):
frame_processed = pyqtSignal(QImage, list, float)
def run(self):
while self.running:
ret, frame = self.cap.read()
if not ret: break
# 推理耗时统计
start = time.time()
results = self.model(frame, stream=True)
infer_time = time.time() - start
# 结果解析
detections = []
for r in results:
for box in r.boxes:
detections.append({
'class': self.model.names[int(box.cls)],
'conf': float(box.conf),
'xyxy': box.xyxy[0].tolist()
})
# 信号发射
self.frame_processed.emit(
self.cv2qt(frame),
detections,
infer_time
)
4.3 性能优化技巧
通过以下方法将FPS从15提升到28：
- 帧采样策略：对视频检测采用每2帧处理1帧
- TensorRT加速：转换模型为engine格式
python复制model.export(format='engine', device=0)
- 图像预处理卸载：使用CUDA加速的cv2.cuda模块
5. 部署实践与问题排查
5.1 常见环境问题解决方案
| 问题现象 | 排查方法 | 解决方案 |
|---|---|---|
| CUDA out of memory | nvidia-smi查看显存占用 | 减小batch_size或imgsz |
| libGL.so.1缺失 | ldd检查依赖 | apt install libgl1-mesa-glx |
| QObject::connect报错 | 检查信号槽参数类型 | 使用@pyqtSlot装饰器 |
5.2 模型精度提升技巧
当遇到特定场景检测不佳时：
- 困难样本挖掘：对误检样本进行二次标注
python复制# 保存误检帧
if pred_conf > 0.3 and gt_conf < 0.5:
cv2.imwrite(f'hard_neg/{time.time()}.jpg', frame)
- 迁移学习：使用预训练权重
python复制model = YOLO('yolov11n.pt').load('library_weights.pt')
- 测试时增强：启用多尺度推理
python复制results = model(frame, augment=True)
5.3 实际部署注意事项
- 摄像头安装角度建议30-45度俯角
- 光照不足时需补光（避免直射读者眼睛）
- 系统可配置为定时扫描模式（如每10分钟检测一次）
我在多个图书馆部署时发现，系统对以下边缘情况处理尤为关键：
- 冬季厚外套挂在椅背上
- 笔记本电脑等小型物品占座
- 多人共享一个座位的情况
通过增加约200张针对性样本后，这些场景的识别准确率从78%提升到95%。
6. 项目扩展方向
当前系统可进一步优化：
- 行为分析扩展：结合姿态估计判断"真实占座"（如检测玩手机、睡觉等行为）
- 多摄像头协同：使用RTSP协议实现场馆级覆盖
- 预约系统对接：通过REST API与图书馆管理系统集成
一个实用的改进是在检测到占座后，自动计算持续时间：
python复制# 在DetectionThread中添加
self.occupancy_timers = defaultdict(float)
for det in detections:
if det['class'] == 'chair' and det['conf'] > 0.7:
chair_id = self.get_chair_id(det['xyxy'])
self.occupancy_timers[chair_id] += frame_interval
if self.occupancy_timers[chair_id] > 3600: # 1小时
self.send_alert(chair_id)
这个项目最让我惊喜的是YOLOv11n在边缘设备上的表现——在Jetson Xavier NX上仍能保持22FPS的实时性能，这为大规模部署提供了可能。建议尝试将模型量化成INT8格式，还能再提升30%的推理速度。