YOLOv8在无人机小目标检测中的优化实践

1. 项目背景与核心挑战

无人机航拍场景下的小目标检测一直是计算机视觉领域的难点问题。Visidron数据集作为专门针对无人机视角小目标检测的基准数据集，包含了大量像素占比小于32×32的目标实例。这类目标在图像中往往只占据几十甚至几个像素，传统检测方法容易出现漏检和误检。

去年我在参与一个智慧农业项目时，需要从百米高空拍摄的影像中识别病虫害叶片，目标尺寸普遍只有15×15像素左右。最初尝试用Faster R-CNN和RetinaNet等经典架构，mAP始终徘徊在0.3左右。后来转向YOLOv8这一最新版本，经过系列优化最终将检测精度提升至0.68，验证了其在微小目标检测上的潜力。

2. 数据集准备与特殊处理

2.1 Visidron数据集特性分析

Visidron数据集包含12,000张无人机拍摄的1280×720分辨率图像，标注了车辆、行人、动物等7类目标。统计显示约83%的目标尺寸小于32×32像素，其中15%的目标甚至不足10×10像素。这种分布带来三个典型问题：

1. 目标像素信息极度匮乏
2. 密集小目标易被背景噪声淹没
3. 常规数据增强可能破坏有效特征

2.2 数据预处理关键步骤

针对上述特性，我们采用特殊预处理方案：

python复制# 自定义小目标数据增强管道
class SmallObjectAugment:
    def __init__(self):
        self.mosaic = v8.transforms.Mosaic(prob=0.8)
        self.mixup = v8.transforms.MixUp(prob=0.5)
        
    def __call__(self, images, targets):
        # 禁用可能破坏小目标的增强
        if random.random() < 0.7:  
            images, targets = self.mosaic(images, targets)
        if random.random() < 0.3:
            images, targets = self.mixup(images, targets)
        return images, targets

关键处理策略：

1. 选择性使用Mosaic增强：保留原始图像中小目标的相对位置关系
2. 限制MixUp强度：避免过度混合导致小目标特征消失
3. 禁用随机旋转：防止方向变化造成特征扭曲

2.3 标注信息优化技巧

原始标注存在两个突出问题：

1. 边界框包含过多背景
2. 部分目标标注偏移

我们开发了标注修正工具，核心逻辑是：

1. 对每个bbox计算梯度幅值图
2. 通过边缘检测收缩bbox到有效特征区域
3. 人工复核调整后的标注

处理后的小目标IoU平均提升12%，显著改善了后续训练效果。

3. 模型架构改进方案

3.1 骨干网络优化

YOLOv8默认使用CSPDarknet53，我们针对小目标做出三项改进：

1. 浅层特征保留：在PANet结构中增加P2特征层（160×160尺度）的输出路径

yaml复制# backbone.yaml修改部分
head:
  - [-1, 1, Conv, [256, 3, 2]]  # P2
  - [[-1, 6], 1, Concat, [1]]  # 新增P2融合路径

2. 感受野控制：在浅层减少扩张卷积的使用，防止过早扩大感受野
3. 通道注意力增强：在P2/P3层添加CBAM模块，增强小目标特征响应

3.2 检测头改进

原始检测头对小目标存在两个不足：

1. 特征金字塔层级不足
2. 分类与回归任务存在冲突

我们的解决方案：

1. 增加80×80尺度的检测头
2. 采用TOOD任务对齐机制
3. 引入动态正样本分配策略

改进后的检测头结构参数：

python复制class SmallObjectHead(nn.Module):
    def __init__(self, ch_in, nc):
        super().__init__()
        self.cls_convs = nn.Sequential(
            Conv(ch_in, ch_in*2, 3),
            CBAM(ch_in*2),  # 新增注意力
            Conv(ch_in*2, ch_in, 3))
        self.reg_convs = nn.Sequential(
            Conv(ch_in, ch_in*2, 3),
            Conv(ch_in*2, ch_in, 3))
        self.cls_pred = nn.Conv2d(ch_in, nc, 1)
        self.reg_pred = nn.Conv2d(ch_in, 4, 1)
        self.task_align = TaskAlignHead(ch_in)  # 任务对齐模块

3.3 损失函数调优

针对小目标检测的特殊损失配置：

1. 分类损失：使用VarifocalLoss替代BCE
   • 缓解正负样本不平衡
   • 保留低质量预测的梯度
2. 回归损失：采用WIoU v3
   • 动态调整损失权重
   • 对微小目标定位更友好
3. 新增小目标惩罚项：

   python复制def small_obj_loss(pred, target, size_thresh=32):
       # 计算目标尺寸
       target_size = target[:, 2:4] - target[:, 0:2]
       small_mask = (target_size.max(dim=1)[0] < size_thresh).float()
       loss = (1 + small_mask) * iou_loss(pred, target)
       return loss.mean()
   

4. 训练策略与精度提升

4.1 多阶段训练方案

采用三阶段渐进式训练：

1. 基础阶段（100epoch）

   • 输入尺寸：640×640
   • 学习率：0.01 → 0.1（余弦衰减）
   • 重点：建立基础特征提取能力

2. 微调阶段（50epoch）

   • 输入尺寸：1280×1280
   • 学习率：0.001 → 0.01
   • 冻结骨干网络前三层
   • 重点：提升小目标敏感度

3. 强化阶段（30epoch）

   • 输入尺寸：960×960
   • 学习率：0.0001 → 0.001
   • 仅训练检测头
   • 重点：优化定位精度

4.2 关键超参数配置

实验得出的最优参数组合：

yaml复制# hyp.scratch.yaml修改项
lr0: 0.01
lrf: 0.1
momentum: 0.937
weight_decay: 0.0005
warmup_epochs: 5
warmup_momentum: 0.8
box: 0.05  # 降低定位损失权重
cls: 0.5   # 提高分类损失权重
obj: 1.0
small_obj: 0.2  # 新增小目标损失项

4.3 精度提升技巧实录

1. 梯度累积技巧：

   • 当使用大batch时（>32），采用2-4步梯度累积
   • 保持等效batch size稳定
   • 防止小目标梯度被大目标主导

2. 困难样本挖掘：

   python复制def hard_example_mining(loss, ratio=0.3):
       _, idx = loss.topk(int(loss.size(0)*ratio))
       return loss[idx].mean()
   

3. 测试时增强(TTA)：

   • 对验证集使用多尺度翻转增强
   • 取各增强结果的加权融合
   • 小目标检测精度可提升3-5%

5. 实战问题排查指南

5.1 典型问题与解决方案

5.2 显存优化技巧

当输入分辨率较大时（>1024），可采用以下策略：

1. 梯度检查点技术：

   python复制torch.utils.checkpoint.checkpoint(model, x)
   

2. 混合精度训练：

   python复制scaler = torch.cuda.amp.GradScaler()
   with torch.cuda.amp.autocast():
       outputs = model(inputs)
   

3. 动态分辨率训练：
   • 前50epoch使用640×640
   • 后逐步提升到960×960

5.3 部署优化建议

1. TensorRT加速：

   bash复制trtexec --onnx=yolov8s.onnx --saveEngine=yolov8s.engine \
           --inputIOFormats=fp16:chw --outputIOFormats=fp16:chw
   

2. 量化部署方案：

   • 训练后量化（PTQ）精度损失约2%
   • 量化感知训练（QAT）可减少损失

3. 边缘设备优化：

   • 使用NCNN或TNN框架
   • 对检测头进行剪枝
   • 8bit量化后模型<3MB

6. 效果对比与性能指标

6.1 精度对比实验

在Visidron测试集上的结果对比：

6.2 消融实验分析

各改进模块的贡献度：

6.3 实际部署表现

在NVIDIA Jetson Xavier NX上的实测数据：

在实际项目中，我们最终选择960×960方案，在精度和速度间取得平衡。一个意外发现是：适当降低输入分辨率反而可能提升小目标检测效果，因为大分辨率下小目标的特征可能被过度稀释。这需要根据具体场景通过实验确定最优尺寸。