1. 项目概述：基于Yolov11的鱼类识别系统
去年帮学弟调试毕业设计时，我接触到了这个用Yolov11实现的鱼类识别系统。作为计算机视觉领域经典的检测框架，YOLO系列在实时性方面一直保持着优势，而Yolov11作为社区最新改进版本，在保持速度优势的同时，通过引入更高效的网络结构和训练策略，显著提升了小目标检测能力——这对水下拍摄的鱼类识别尤为重要。
这个系统核心功能是通过摄像头或视频流实时检测并分类鱼类，典型应用场景包括：
- 海洋馆游客互动展示
- 水产养殖智能监控
- 生态研究中的物种统计
- 渔获物自动分拣系统
实测在RTX 3060显卡上，处理640x640分辨率图像能达到83FPS，对常见20种鱼类的mAP@0.5达到76.4%。系统采用PyTorch框架实现，包含完整的数据标注工具、模型训练代码和可视化界面，特别适合作为深度学习入门项目或毕业设计选题。
提示：选择Yolov11而非YOLOv8等官方版本，主要因其社区改进的轻量化设计更适配边缘设备部署，且提供了更灵活的结构修改接口
2. 核心技术与环境搭建
2.1 Yolov11架构解析
相比前代版本，Yolov11主要做了三点关键改进：
- 滑动窗口大图推理：通过重叠切片处理高分辨率水下照片，解决小目标漏检问题（需在推理时设置--img-size 1280和--stride 64参数）
- 自适应特征融合：在Neck部分采用BiFPN结构，自动学习不同尺度特征的融合权重
- 解耦头设计：将分类和回归任务分离，减少两个任务的相互干扰
网络结构示意图如下（以nano版本为例）：
python复制# models/yolov11n.yaml
backbone:
# [from, repeats, module, args]
[[-1, 1, Conv, [64, 6, 2, 2]], # 0-P1/2
[-1, 1, Conv, [128, 3, 2]], # 1-P2/4
[-1, 3, C3, [128]], # 2
[-1, 1, Conv, [256, 3, 2]], # 3-P3/8
[-1, 6, C3, [256]], # 4
[-1, 1, Conv, [512, 3, 2]], # 5-P4/16
[-1, 6, C3, [512]], # 6
[-1, 1, Conv, [1024, 3, 2]], # 7-P5/32
[-1, 3, C3, [1024]], # 8
]
head:
[[-1, 1, Conv, [512, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 6], 1, Concat, [1]], # cat backbone P4
[-1, 3, C3, [512, False]], # 12
...]
2.2 开发环境配置
推荐使用conda创建Python3.8环境：
bash复制conda create -n fishdetect python=3.8
conda activate fishdetect
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 --extra-index-url https://download.pytorch.org/whl/cu113
pip install -r requirements.txt # 包含opencv、pillow等依赖
常见环境问题解决方案：
- CUDA out of memory：减小--batch-size（建议从16开始尝试）
- DLL load failed：检查CUDA/cuDNN版本匹配（需CUDA11.3+cuDNN8.2）
- OpenCV无法显示窗口：在WSL2中需配置X11转发，或改用--noshow参数
3. 数据集构建与模型训练
3.1 鱼类数据收集与标注
建议采用组合数据集：
- 公开数据集：Fish4Knowledge（含23k张标注图像）
- 自采集数据：用水下摄像机拍摄补充本地鱼种
- 数据增强：应用albumentations库实现：
- 颜色扰动（水下色偏校正）
- 随机气泡遮挡
- 光线折射模拟
标注工具推荐使用LabelImg，注意保存为YOLO格式：
code复制<class_id> <x_center> <y_center> <width> <height>
3.2 模型训练技巧
关键训练参数配置（train.py）：
python复制parser.add_argument('--epochs', type=int, default=300)
parser.add_argument('--batch-size', type=int, default=16)
parser.add_argument('--img-size', nargs='+', type=int, default=[640, 640])
parser.add_argument('--hyp', type=str, default='data/hyps/hyp.scratch.yaml')
提升精度的三个实用技巧：
- 预热训练：前3个epoch使用低学习率（lr0=0.001）
- 马赛克增强：在data.yaml中设置mosaic=1.0
- 类别平衡采样：对稀少鱼种设置--cls 2.0权重
4. 系统部署与优化
4.1 模型导出与加速
使用TensorRT加速推理：
bash复制python export.py --weights runs/train/exp/weights/best.pt --include engine --device 0
部署时的关键参数调优：
- FP16量化：减少显存占用（--half参数）
- 动态批处理：设置--batch-size 8提高吞吐量
- 后端优化：对于树莓派等设备，建议转换为ONNX后使用OpenVINO
4.2 可视化界面开发
系统提供两种交互方式：
- PyQt5桌面应用：
python复制class FishDetectionApp(QMainWindow):
def init_ui(self):
self.video_label = QLabel(self)
self.model = attempt_load('weights/best.pt', map_location='cpu')
def detect_frame(self):
results = self.model(img)
plot_one_box(box, img, label=names[int(cls)])
- Flask Web服务：
python复制@app.route('/upload', methods=['POST'])
def upload():
file = request.files['image']
img = cv2.imdecode(np.frombuffer(file.read(), np.uint8), 1)
detections = detect(img)
return jsonify(detections)
5. 论文写作要点
5.1 创新点设计建议
可重点突出的方向：
- 跨域适应：解决水下图像到清晰图像的域偏移问题
- 小目标优化：对比Yolov11与原版YOLO在小目标检测上的提升
- 边缘部署：在Jetson Nano上的量化部署方案
5.2 实验对比设计
建议包含以下对比实验：
| 模型 | mAP@0.5 | 速度(FPS) | 参数量(M) |
|---|---|---|---|
| YOLOv5s | 68.2 | 142 | 7.2 |
| YOLOv8n | 72.1 | 156 | 3.4 |
| YOLOv11n | 76.4 | 136 | 4.1 |
6. 常见问题排查
6.1 训练阶段问题
Loss震荡不收敛
- 检查数据标注质量（常见于遮挡严重的鱼类）
- 调整学习率策略（尝试cosine退火）
- 关闭马赛克增强（设置mosaic=0）
6.2 部署阶段问题
检测框漂移
- 校准摄像头畸变参数
- 测试时保持与训练相同的--img-size
- 对视频流启用--tracker参数（使用ByteTrack）
7. 项目扩展方向
- 多模态融合：加入声呐数据辅助识别
- 三维姿态估计：预测鱼体朝向和游动方向
- 异常行为检测：通过LSTM分析鱼群运动模式
这个项目最让我惊喜的是Yolov11在小目标检测上的鲁棒性——在测试水下拍摄的鱼群照片时，即使目标只占图像面积的0.3%，也能保持65%以上的召回率。建议在实际部署时，配合背景减除算法（如ViBe）进一步降低误检率。