庞少东1. 项目概述
感冒预测是一个典型的医疗健康领域的分类问题。基于决策树算法构建预测模型，能够根据患者的症状、体征等特征，快速判断其患感冒的概率。这个项目使用了梅奥诊所的公开数据集，通过完整的数据处理流程和特征工程，最终在测试集上达到了94.79%的AUROC值，表现相当出色。
决策树算法因其直观易懂、不需要复杂的数据预处理等特点，特别适合医疗健康领域的初级预测任务。相比神经网络等"黑箱"模型，决策树的规则明确，医生和患者都能理解模型的判断依据，这在医疗场景中尤为重要。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 数据准备与预处理
2.1 数据集介绍
本项目使用的数据来自梅奥诊所的公开数据集，包含约5000条患者记录。每条记录包含以下主要特征：
- 人口统计学特征：年龄、性别
- 症状特征：发热程度、咳嗽频率、喉咙痛程度、鼻塞程度、头痛程度
- 体征特征：体温、心率、血压
- 实验室检查：白细胞计数
- 标签：是否确诊感冒（二分类）
提示：医疗数据通常包含大量缺失值和异常值，在建模前必须进行严格的清洗和验证。
2.2 数据清洗流程
-
缺失值处理：
- 对于连续变量（如体温、血压），使用中位数填充
- 对于分类变量（如症状程度），使用众数填充
- 缺失超过30%的特征直接删除
-
异常值检测：
- 使用IQR方法识别异常值
- 对于生理指标（如心率、血压），结合医学常识进行修正
-
数据标准化：
- 对连续特征进行Min-Max归一化
- 对分类特征进行独热编码
python复制# 示例：缺失值处理代码
from sklearn.impute import SimpleImputer
# 连续变量用中位数填充
num_imputer = SimpleImputer(strategy='median')
X[['temperature','heart_rate']] = num_imputer.fit_transform(X[['temperature','heart_rate']])
# 分类变量用众数填充
cat_imputer = SimpleImputer(strategy='most_frequent')
X[['cough_level','nasal_congestion']] = cat_imputer.fit_transform(X[['cough_level','nasal_congestion']])
2.3 特征工程
-
特征选择：
- 使用互信息法评估特征重要性
- 删除重要性低于阈值的特征
- 最终保留8个核心特征
-
特征构造：
- 创建"症状总分"特征，综合咳嗽、喉咙痛等症状程度
- 计算"体温变化率"，反映发热趋势
-
类别平衡：
- 使用SMOTE方法解决类别不平衡问题
- 调整后正负样本比例为1:1.2
3. 决策树模型构建
3.1 算法选择依据
选择决策树算法主要基于以下考虑：
- 可解释性：医疗场景需要模型决策过程透明
- 处理能力：能自动处理特征间的交互作用
- 效率：训练和预测速度快，适合实时应用
- 鲁棒性：对数据分布假设较少，抗噪声能力强
相比逻辑回归等线性模型，决策树能自动捕捉特征间的非线性关系；相比随机森林等集成方法，单棵决策树更易于理解和解释。
3.2 模型训练细节
-
参数设置：
- 最大深度：5（通过交叉验证确定）
- 最小样本分裂：10
- 分裂标准：基尼系数
- 类别权重：balanced
-
训练过程：
- 使用80%数据作为训练集
- 采用5折交叉验证调参
- 早停策略防止过拟合
python复制from sklearn.tree import DecisionTreeClassifier
# 初始化模型
clf = DecisionTreeClassifier(
max_depth=5,
min_samples_split=10,
criterion='gini',
class_weight='balanced',
random_state=42
)
# 训练模型
clf.fit(X_train, y_train)
3.3 模型评估指标
-
主要指标：
- AUROC：0.9479
- 准确率：89.2%
- 召回率：91.5%
- F1-score：90.3%
-
混淆矩阵分析：
- 假阳性率：7.8%
- 假阴性率：5.3%
-
特征重要性排序：
- 体温
- 咳嗽频率
- 症状总分
- 白细胞计数
- 鼻塞程度
4. 模型优化与调参
4.1 参数敏感性分析
通过网格搜索探究关键参数对模型性能的影响：
| 参数 | 测试范围 | 最优值 | 性能影响 |
|---|---|---|---|
| max_depth | 3-10 | 5 | 深度增加会提升训练集表现但可能过拟合 |
| min_samples_split | 5-30 | 10 | 值太小会导致过拟合，太大可能欠拟合 |
| max_features | sqrt, log2, None | sqrt | 限制特征数可提升泛化能力 |
4.2 正则化策略
-
预剪枝：
- 设置最大深度
- 设置叶节点最小样本数
- 设置分裂最小增益
-
后剪枝：
- 代价复杂度剪枝
- 使用α参数控制剪枝强度
python复制# 代价复杂度剪枝示例
path = clf.cost_complexity_pruning_path(X_train, y_train)
ccp_alphas = path.ccp_alphas
# 选择最优alpha
optimal_alpha = ccp_alphas[np.argmax(cv_scores)]
clf_pruned = DecisionTreeClassifier(ccp_alpha=optimal_alpha)
4.3 集成方法尝试
虽然最终采用单棵决策树以保证可解释性，但测试了以下集成方法作为对比：
-
随机森林：
- AUROC提升至0.956
- 但解释性下降
-
AdaBoost+决策树：
- 对难样本关注度提高
- 召回率提升至93.1%
-
梯度提升树：
- 最佳AUROC 0.961
- 但训练时间显著增加
5. 模型部署与应用
5.1 部署方案
-
服务架构：
- Flask REST API封装模型
- Docker容器化部署
- Nginx负载均衡
-
性能优化：
- 模型序列化存储
- 请求批处理
- 缓存常用查询
python复制# Flask API示例
from flask import Flask, request, jsonify
import pickle
app = Flask(__name__)
model = pickle.load(open('model.pkl','rb'))
@app.route('/predict', methods=['POST'])
def predict():
data = request.get_json()
features = preprocess(data)
proba = model.predict_proba([features])[0][1]
return jsonify({'probability': proba})
5.2 应用场景
-
初级分诊：
- 患者自评工具
- 减少不必要的门诊访问
-
临床决策支持：
- 辅助医生判断
- 提示高风险患者
-
公共卫生监测：
- 区域感冒趋势预测
- 疫情早期预警
5.3 局限性说明
-
数据局限性：
- 仅基于梅奥诊所数据
- 未考虑地域差异
-
模型局限性：
- 无法诊断感冒类型
- 对罕见症状敏感度低
-
应用注意事项：
- 不能替代专业医疗判断
- 需定期更新模型
6. 实操经验与问题排查
6.1 常见问题解决
-
过拟合问题：
- 现象：训练集准确率99%，测试集只有85%
- 解决：增加min_samples_split，应用剪枝
-
类别不平衡：
- 现象：模型总是预测多数类
- 解决：使用class_weight='balanced'，配合SMOTE
-
特征重要性异常：
- 现象：无关特征排名靠前
- 解决：检查数据泄露，重新评估特征选择
6.2 性能优化技巧
-
加速训练：
- 设置max_features='sqrt'
- 使用预排序presort=True（小数据集）
-
提升稳定性：
- 固定random_state
- 多次训练取平均重要性
-
增强解释性：
- 限制树深度
- 可视化决策路径
python复制# 决策树可视化
from sklearn.tree import export_graphviz
import graphviz
dot_data = export_graphviz(clf, feature_names=feature_names,
class_names=['No','Yes'], filled=True)
graph = graphviz.Source(dot_data)
graph.render("cold_decision_tree")
6.3 实际应用建议
-
数据收集建议：
- 确保体温测量方式统一
- 标准化症状程度评分标准
-
模型更新策略：
- 每季度重新训练
- 监控线上表现衰减
-
结果解读指南：
- 设置概率阈值（如>0.7为阳性）
- 结合临床其他指标综合判断
我在实际部署中发现，模型的预测结果需要与患者的其他临床表现结合使用。例如，当模型预测概率在0.6-0.8这个"灰色区域"时，需要特别关注患者的病史和接触史。另外，不同季节可能需要调整预测阈值，因为感冒的流行程度会随季节变化。