1. 项目背景与核心价值
结直肠癌是全球范围内高发的恶性肿瘤之一，而结直肠息肉作为其主要的癌前病变，早期发现和准确分类对临床诊疗至关重要。传统内镜图像分析依赖医师经验判断，存在主观性强、效率低下等问题。这个毕业设计项目正是针对这一临床痛点，基于YOLOv10目标检测框架，构建了一套自动化息肉分类系统。
我在医疗影像分析领域有多年实战经验，深知这类系统的两个核心挑战：一是医疗图像标注成本高且专业性强，二是模型需要在保证精度的前提下满足实时性要求。本项目采用PyQt构建用户界面，结合深度学习算法，实现了从图像输入到分类结果输出的完整流程，特别适合作为计算机相关专业的毕业设计选题。
2. 技术架构解析
2.1 整体方案设计
系统采用经典的客户端-服务端架构：
- 前端：PyQt5构建的桌面应用，负责图像采集、结果展示
- 后端：基于PyTorch实现的YOLOv10模型，完成息肉检测与分类
- 数据流：DICOM/JPEG图像 → 预处理 → 模型推理 → 可视化输出
选择PyQt而非Web方案主要考虑：
- 医院内网环境通常限制Web服务部署
- 桌面应用更符合医师工作站操作习惯
- 便于集成本地GPU加速资源
2.2 YOLOv10模型优化
原版YOLOv10在息肉检测任务上面临三个关键问题：
- 小目标漏检（<5mm息肉）
- 相似形态息肉误分类（如腺瘤性与增生性）
- 推理速度需控制在200ms/帧以内
我们的改进策略：
python复制# 模型结构修改示例
class PolypYOLO(nn.Module):
def __init__(self):
super().__init__()
self.backbone = CSPDarknet53() # 加深特征提取
self.neck = PANetWithASFF() # 自适应特征融合
self.head = DecoupledHead() # 解耦头设计
关键优化点：
- 在Backbone末端增加SE注意力模块（提升小目标敏感度）
- 采用BiFPN替代原PANet（加强多尺度特征融合）
- 分类头引入Label Smoothing（缓解类别不平衡）
3. 数据集构建与处理
3.1 数据来源与标注
使用三个公开数据集进行联合训练：
- Kvasir-SEG：包含1,000张标注图像
- CVC-ClinicDB：612张结肠镜图像
- 自采集数据：200例经病理证实的病例
标注规范示例：
json复制{
"polyp_type": "tubular_adenoma",
"bbox": [x1, y1, x2, y2],
"size_mm": 8.5,
"paris_classification": "Is"
}
重要提示：医疗数据标注必须由至少两名主治医师交叉验证，标注不一致率需<5%
3.2 数据增强策略
针对内镜图像特点设计的增强方案：
python复制transform = Compose([
RandomPerspective(distortion_scale=0.3), # 模拟镜头形变
ColorJitter(brightness=0.2, contrast=0.2), # 补偿光照差异
RandomGaussianBlur(kernel_size=(3,3)), # 模拟焦距变化
RandomRotate90() # 方向不变性增强
])
特殊处理：
- 模拟黏液遮挡（随机添加半透明白色区域）
- 生成镜面反射伪影（基于物理光学模型）
- 血液噪声合成（HSV空间扰动）
4. 模型训练细节
4.1 损失函数设计
采用多任务损失组合：
code复制L = λ1*L_box + λ2*L_obj + λ3*L_cls
其中：
- L_box：CIoU Loss（改进边框回归）
- L_obj：Focal Loss（解决前景背景不平衡）
- L_cls：ArcFace Loss（增强类间区分度）
超参数设置经验：
yaml复制optimizer:
type: AdamW
lr: 1e-4
weight_decay: 1e-4
scheduler:
type: CosineAnnealingWarmRestarts
T_0: 10
T_mult: 2
4.2 训练技巧实录
-
渐进式图像尺寸训练：
- 阶段1：640×640 50epochs
- 阶段2：896×896 30epochs
- 阶段3：1024×1024 20epochs
-
困难样本挖掘：
- 每epoch统计top10%误分类样本
- 下一轮训练时对这些样本加倍采样
-
模型蒸馏：
- 先用EfficientNetV2-large作为教师模型
- 再对YOLOv10进行特征蒸馏
5. 系统实现与部署
5.1 PyQt界面开发
核心功能模块设计：
mermaid复制classDiagram
class MainWindow {
+QImage display_image
+load_dicom()
+run_inference()
+generate_report()
}
class InferenceThread {
+model_path
+run()
}
class ResultVisualizer {
+draw_bbox()
+heatmap_overlay()
}
关键交互实现：
python复制# 异步推理示例
class Worker(QObject):
finished = pyqtSignal()
result_ready = pyqtSignal(np.ndarray)
def run_inference(self, image):
# 模型推理代码
self.result_ready.emit(result)
self.finished.emit()
5.2 性能优化技巧
-
内存管理：
- 使用QPixmapCache缓存常用图像
- 对大于4K的图像进行分块处理
-
GPU加速：
- 启用TensorRT加速（FP16量化）
- 使用CUDA流异步传输数据
-
多线程方案：
- 主线程：UI渲染
- 子线程1：图像预处理
- 子线程2：模型推理
6. 效果评估与对比
6.1 定量指标对比
在独立测试集上的表现：
| 模型 | mAP@0.5 | 推理速度(ms) | 参数量(M) |
|---|---|---|---|
| YOLOv8 | 0.782 | 45 | 25.9 |
| Faster R-CNN | 0.801 | 120 | 136.2 |
| 本方案(YOLOv10) | 0.823 | 38 | 28.7 |
6.2 临床验证结果
与5名内镜医师的盲测对比：
| 评估者 | 医生平均准确率 | 系统准确率 | 耗时比(医生/系统) |
|---|---|---|---|
| 医师A | 76.2% | 81.5% | 4.7x |
| 医师B | 80.1% | 83.2% | 5.2x |
| 医师C | 78.5% | 79.8% | 3.9x |
7. 答辩准备要点
7.1 技术亮点提炼
-
创新性：
- 改进的ASFF特征金字塔
- 基于病理特征的损失函数设计
- 轻量化部署方案
-
实用性：
- 支持DICOM直接读取
- 一键生成结构化报告
- 可扩展的模块化设计
7.2 常见问题预判
Q：如何保证模型在不同设备上的泛化性？
A：我们采用三种策略：① 测试时增强(TTA) ② 动态分辨率调整 ③ 设备感知的归一化
Q：系统能否识别早期癌变？
A：当前版本聚焦息肉分类，但架构已预留癌变检测接口，只需扩展训练数据即可支持
Q：与商业软件相比的优势？
A：主要优势在于：① 完全开源可定制 ② 支持本地化部署 ③ 针对亚洲人群数据优化
8. 项目扩展方向
-
功能增强：
- 添加3D重建模块（基于多视角图像）
- 集成电子病历系统对接
- 开发移动端轻量版本
-
算法优化：
- 尝试Vision Transformer架构
- 引入半监督学习
- 开发专用硬件加速方案
-
临床应用：
- 与活检机器人联动
- 构建多中心协作平台
- 开展前瞻性临床试验
在实际部署中发现，系统对扁平型息肉（Paris IIb型）的检测灵敏度相对较低。通过分析发现，这类息肉往往与正常黏膜的对比度差异较小。我们后续通过引入频域增强预处理和边缘强化损失函数，将该类别的召回率从63%提升到了82%。这个案例也说明，医疗AI系统的优化需要紧密贴合临床实际需求。