1. 项目概述：三模态抑郁症检测系统
抑郁症是全球范围内最常见的精神健康挑战之一，影响着约5%的成年人口。传统的抑郁症诊断主要依赖临床医生的主观评估和患者自评量表（如PHQ-9），这些方法存在主观性强、易受文化背景影响等局限性。近年来，随着计算机视觉、语音分析和眼动追踪技术的发展，基于多模态数据的客观抑郁症检测方法展现出巨大潜力。
我们开发了一种名为MF-GCN（多频图卷积网络）的创新系统，通过整合眼动追踪、面部表情和声学特征三种模态数据，实现了对抑郁症严重程度的自动化评估。该系统在103名参与者（年龄17-56岁）的数据集上验证，在二元分类任务中达到了96%的敏感度和0.94的F2分数，显著优于现有方法。
关键创新点：首次将眼动追踪数据与视听特征结合，并设计了能同时捕捉低频和高频信息的多频滤波器组模块（MFFBM），突破了传统图卷积网络仅关注低频信息的局限。
2. 核心技术与实现原理
2.1 三模态数据采集与处理
眼动追踪数据
使用GazePoint GP3 HD眼动仪（150Hz采样率）记录受试者观看情绪图片时的凝视模式。实验设计包含48张面部表情图片（快乐、悲伤、中性各12张），每张展示3秒后接2秒黑屏以"重置"凝视。通过比较注视点图与五种显著性模型（SalFBNet、MSI-Net等）生成的显著图，提取8个注意力指标（AUC Borji、NSS等）。
技术细节：校准过程至关重要，我们采用9点校准法，要求平均误差<0.5°。数据处理时使用速度-阈值算法（IVT）识别注视点，阈值设为30°/s。
面部表情数据
通过固定在显示器顶部的网络摄像头（1080p/30fps）录制PHQ-9访谈过程。使用FER库（基于OpenCV Haarcascade分类器）逐帧分析七种基本情绪（愤怒、厌恶、恐惧、快乐、悲伤、惊讶、中性）的强度值（0-1）。
经验技巧：光照条件会显著影响识别准确率。我们采用环形补光灯（色温5600K，照度500lux）确保面部均匀照明，并控制环境光在100-200lux之间。
声学特征数据
使用专业麦克风（Shure SM58，采样率44.1kHz）记录访谈音频。预处理包括：
- 使用UVR 5.6.0降噪
- PyAnnotate进行说话人分割
- OpenSmile提取eGeMAPS特征集（8个低级别描述符）
参数设置：梅尔频谱图采用128个频带，帧长25ms，步长10ms；MFCCs取前13个系数，保留delta和delta-delta特征。
2.2 多频图卷积网络架构
单模态特征提取
- 音频分支：1D CNN（kernel=5, stride=2）→ Bi-LSTM（128单元）→ 全连接层（64维）
- 视频分支：3D CNN（kernel=3×3×3）→ 时空注意力模块→ Bi-LSTM（64单元）
- 眼动分支：2D CNN（kernel=3×3）→ 图注意力层→ 全连接层
超参选择：经过网格搜索，学习率设为0.001（Adam优化器），batch size=16，Dropout=0.3防止过拟合。
多频滤波器组模块（MFFBM）
python复制class MFFBM(nn.Module):
def __init__(self, in_dim, out_dim):
super().__init__()
self.low_pass = nn.Linear(in_dim, out_dim) # 低频分量
self.high_pass = nn.Linear(in_dim, out_dim) # 高频分量
self.phi = 0.6 # 平衡参数，经实验确定
def forward(self, A, X):
X_low = F.relu(torch.mm(A, X) @ self.low_pass.weight)
X_high = torch.mm(A, X) @ self.high_pass.weight - X @ self.high_pass.weight
return self.phi * X_low + (1-self.phi) * X_high
数学原理：如定理1证明，MFFBM可表达为ℱ(λ)=2λ²-φλ+(1+φ)的二次带通滤波器，其中λ为图拉普拉斯特征值，φ控制截止频率。
2.3 模型训练策略
采用三阶段训练法：
- 单模态预训练：各分支单独训练，冻结底层参数
- 联合微调：解冻所有层，学习率降至1e-5
- 类别平衡采样：针对数据集不平衡（轻度:中度:重度=27%:35%:38%），采用Focal Loss（γ=2, α=[0.25,0.35,0.4]）
性能优化：使用混合精度训练（AMP）使GPU显存占用减少40%，训练速度提升1.8倍。
3. 关键实验发现
3.1 模态特异性特征分析
眼动模式差异
- 健康组：注视分布均匀（图6a），对快乐面孔的首次注视潜伏期更短（p<0.01）
- 抑郁组：显著偏向负面刺激（图6c），注视持续时间延长30-50ms（p<0.001）
面部表情特征
| 情绪 | 健康组均值 | 重度抑郁组均值 | 变化幅度 |
|---|---|---|---|
| 中性 | 0.777 | 0.551 | ↓29.1% |
| 快乐 | 0.080 | 0.065 | ↓18.8% |
| 悲伤 | 0.055 | 0.157 | ↑185.5% |
声学特征变化
- 基频（F0）：从28.5Hz（健康）升至34.6Hz（重度）（p<0.001）
- Hammarberg指数：0.077→0.100（p<0.001），反映声道紧张度增加
3.2 模型对比实验
在五折交叉验证下比较七种基线方法：
| 模型 | 准确率 | F2分数 | AUC |
|---|---|---|---|
| SVM（单模态） | 0.72 | 0.68 | 0.75 |
| Random Forest | 0.81 | 0.76 | 0.83 |
| CNN-LSTM | 0.85 | 0.79 | 0.87 |
| GAT（现有最佳GNN） | 0.89 | 0.85 | 0.91 |
| MF-GCN（Ours） | 0.93 | 0.94 | 0.96 |
显著性检验：通过McNemar检验，MF-GCN相比GAT的改进具有统计学意义（p=0.0032）。
4. 实际应用与部署考量
4.1 硬件配置方案
- 基础版：Intel i5+GTX1660，可实时处理单路视频（延迟<500ms）
- 专业版：Xeon W-2245+RTX5000，支持8路并行分析
4.2 系统集成流程
mermaid复制graph TD
A[摄像头/麦克风] --> B[数据采集模块]
B --> C[特征提取服务]
C --> D[MF-GCN推理引擎]
D --> E[结果可视化]
E --> F[临床决策支持]
部署注意：需通过HIPAA认证，数据加密采用AES-256，传输使用TLS 1.3。
5. 局限性与改进方向
- 数据多样性：当前样本以孟加拉人群为主（男性54.3%），未来需扩展跨文化数据集
- 动态适应：开发增量学习算法以适应个体基线差异
- 移动端优化：研发轻量版模型（<50MB），目标帧率30fps（现为15fps）
我们在实际部署中发现，环境噪声超过65dB时音频特征准确率下降12-15%。建议在诊室安装声学隔板（降噪20-25dB）并配置pop filter消除爆破音。
这项技术的临床转化仍需通过FDA三类医疗器械认证。我们正与约翰霍普金斯大学合作开展多中心临床试验（目标样本量N=1500），预计2025年完成IDE（Investigational Device Exemption）申请。