多模态AI模型预测直肠癌新辅助治疗效果

1. 项目背景与临床意义

局部晚期直肠癌（LARC）患者接受新辅助放化疗（nCRT）后，约15-27%会达到病理完全缓解（pCR）。准确预测pCR对临床决策至关重要——避免对达到pCR的患者进行过度手术创伤，同时为未达pCR者制定精准辅助治疗方案。传统预测方法依赖临床病理特征和影像学主观评估，准确率仅60-70%。中山六院团队创新性整合放射组学（CT/MRI定量特征）与病理组学（活检标本数字化分析），构建多模态预测模型，为个体化治疗提供客观量化工具。

2. 核心技术方法解析

2.1 数据采集与预处理

研究纳入2015-2020年三家医疗中心的LARC患者队列（n=322），所有患者均接受标准长程放化疗（50.4Gy放疗+卡培他滨化疗）后行全直肠系膜切除术。关键数据源包括：

• 放射影像：治疗前高分辨率T2加权MRI（3.0T扫描仪，层厚3mm）
• 病理标本：治疗前活检组织的全切片数字化图像（40倍扫描）
• 金标准：术后病理评估（TRG分级，AJCC第8版）

操作要点：MRI扫描采用标准化定位（扫描范围包含肛门至骶岬），病理切片由两名资深病理医师盲法复核，确保数据一致性。

2.2 特征工程构建

2.2.1 放射组学特征提取

使用PyRadiomics工具包从MRI的肿瘤ROI中提取1218个定量特征，包括：

• 一阶统计量（肿瘤内信号强度分布）
• 纹理特征（GLCM、GLRLM、GLSZM）
• 形态学特征（肿瘤体积、表面不规则度）
• 小波变换特征（多尺度分解后的纹理）

2.2.2 病理组学特征挖掘

通过QuPath开源平台分析活检切片：

1. 细胞核分割（StarDist算法）
2. 提取1024维深度特征（ResNet50预训练模型）
3. 手工特征补充（核排列方向性、间质胶原分布）

2.3 模型开发与验证

2.3.1 特征筛选

• 放射组学：通过ICC>0.8筛选稳定性特征，再用LASSO回归降维
• 病理组学：使用t-SNE可视化聚类，保留区分度显著的深度特征
  最终保留23个放射特征+17个病理特征进入建模。

2.3.2 多模态融合策略

采用三层集成架构：

1. 单模态基模型（放射/病理分别用XGBoost）
2. 中间层融合（Sta