基于CNN与VIT混合模型的乳腺癌病理图像分类技术

1. 项目背景与意义

乳腺癌是全球女性最常见的恶性肿瘤之一，早期准确诊断对提高治愈率至关重要。传统病理诊断依赖医生在显微镜下观察组织切片，存在主观性强、效率低下的问题。近年来，深度学习技术在医学图像分析领域展现出巨大潜力，特别是卷积神经网络（CNN）和视觉Transformer（VIT）在图像分类任务中的优异表现。

本项目基于BreaKHis公开数据集，构建了结合CNN和VIT的混合模型，实现了乳腺癌病理图像的自动分类。实验表明，该模型在40倍至400倍放大倍数下，分类准确率最高可达95.1%，显著优于传统方法和单一架构模型。

2. 数据集与预处理

2.1 BreaKHis数据集介绍

BreaKHis数据集包含7,909张乳腺癌病理图像，来自82位患者（24例良性，58例恶性）。图像按放大倍数分为40X、100X、200X和400X四组，所有图像均为RGB格式，固定尺寸为700×460像素。

数据集分布情况：

• 40X：1,995张（625良性/1,370恶性）
• 100X：2,081张（644良性/1,437恶性）
• 200X：2,013张（623良性/1,390恶性）
• 400X：1,820张（588良性/1,232恶性）

2.2 数据增强策略

针对高分辨率病理图像特性，我们采用基于四叉树的图像分割方法进行数据增强：

1. 一级分割：原始图像保持完整
2. 二级分割：将图像均等分为4块
3. 三级分割：进一步分为16块

每块子图像继承原始图像的标签，使训练数据量分别扩大4倍和16倍。这种方法特别适合病理图像中局部特征显著的特点。

3. 模型架构设计

3.1 混合模型整体架构

我们的模型采用双分支结构，结合CNN的局部特征提取能力和VIT的全局建模优势：

code复制输入图像 → [CNN分支] --特征融合--> 分类头
         ↘ [VIT分支] --/

3.2 CNN分支实现

基于InceptionV3架构进行改进：

1. 特征提取层：保留至最后一个池化层（输出2048维特征向量）
2. 迁移学习：使用ImageNet预训练权重初始化
3. 改进点：
   • 添加空间注意力模块（CBAM）
   • 采用G