鄂奎阿1. 项目概述：基于深度学习的COVID-19感染人数预测实战
去年在参与某公共卫生数据分析项目时，我们需要对疫情发展趋势进行短期预测。传统统计学方法在复杂非线性关系建模上表现乏力，最终我们选择用PyTorch搭建了一个简单的神经网络模型，效果出乎意料地好。今天我就把这个项目的完整实现过程拆解给大家，包含从数据预处理到模型部署的全流程细节。
这个项目本质上是一个回归任务——根据93个特征维度（包括地区人口密度、检测率、移动指数等）预测未来一周的确诊人数。代码虽然只有200多行，但完整覆盖了深度学习项目的关键环节：
- 自定义数据集类实现标准化数据管道
- 带正则化的全连接网络设计
- 训练过程可视化与模型保存
- 测试集预测结果导出
提示：本实验使用的数据已进行匿名化处理，所有特征字段均不包含地理位置等敏感信息
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心实现细节解析
2.1 数据预处理关键点
原始数据存储在CSV文件中，我们需要通过自定义Dataset类实现高效加载。这里有几个值得注意的技术细节：
python复制class CovidDataset(Dataset):
def __init__(self, file_path, mode):
# 读取时跳过首行标题和首列ID
csv_data = np.array(ori_data)[1:, 1:].astype(float)
# 标准化处理 (x - μ)/σ
self.X = (X - X.mean(dim=0, keepdim=True)) / X.std(dim=0, keepdim=True)
为什么这样处理？
- 跳过首行标题避免将文本当作数值处理
- 标准化使不同量纲的特征具有可比性
keepdim=True保持矩阵维度一致性，避免广播机制出错
踩坑记录：最初没有指定
astype(float)，导致pandas自动推断类型时把部分特征识别为字符串，后续矩阵运算全部报错
2.2 神经网络架构设计
模型采用经典的两层全连接结构，包含三个关键技术点：
python复制class myModel(nn.Module):
def __init__(self, inDim):
self.fc1 = nn.Linear(inDim, 128) # 输入层→隐藏层
self.relu1 = nn.ReLU() # 激活函数
self.fc2 = nn.Linear(128, 1) # 隐藏层→输出层
def forward(self, x):
x = self.fc2(self.relu1(self.fc1(x)))
return x.squeeze(1) # 压缩输出维度
设计考量：
- 隐藏层128维是经过网格搜索验证的相对最优值
- ReLU相比Sigmoid能有效缓解梯度消失
- 最终
squeeze(1)将[batch_size, 1]输出转为[batch_size]
2.3 损失函数优化技巧
在基础MSE损失上增加了L2正则化：
python复制def mseLoss(pred, target, model):
regularization_loss = sum(p**2 for p in model.parameters())
return nn.MSELoss()(pred, target) + 0.00075 * regularization_loss
正则化系数0.00075的确定过程：
- 初始尝试0.01导致模型欠拟合
- 逐步降低到0.001时验证损失开始改善
- 最终0.00075在10折交叉验证中表现最优
3. 完整训练流程实现
3.1 训练参数配置
python复制# 关键参数设置
batch_size = 16 # 显存限制下的最大批次
epochs = 20 # 早停法监测到验证损失不再下降
lr = 0.001 # 学习率经过对数搜索
momentum = 0.9 # SGD优化器的动量参数
# 自动选择运算设备
device = "cuda" if torch.cuda.is_available() else "cpu"
参数选择经验：
- 批次大小建议设为2的整数次幂，利于GPU内存对齐
- 学习率采用"三角法"测试：0.1、0.01、0.001各跑3个epoch观察损失下降速度
3.2 训练过程可视化
训练循环中记录了每个epoch的损失值：
python复制plt.plot(plt_train_loss, label='train')
plt.plot(plt_val_loss, label='val')
plt.title('Training Progress')
plt.xlabel('Epoch')
plt.ylabel('MSE Loss')
plt.legend()
典型的学习曲线应呈现：
- 前5个epoch训练/验证损失快速下降
- 10个epoch后验证损失趋于平稳
- 若出现验证损失上升立即启用早停
4. 常见问题排查指南
4.1 数据加载异常
问题现象：
code复制TypeError: can't convert np.ndarray of type numpy.str_
解决方案：
- 检查CSV文件中是否存在非数值字符
- 显式指定数据类型：
astype(float) - 添加异常捕获打印出错行号
4.2 梯度爆炸
问题表现：
损失值突然变为nan
处理步骤：
- 添加梯度裁剪：
python复制torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) - 检查输入数据范围，确认标准化处理已执行
- 降低学习率10倍重试
4.3 模型过拟合
识别方法：
- 训练损失持续下降而验证损失上升
- 预测结果方差过大
改进策略：
- 增加Dropout层：
python复制self.dropout = nn.Dropout(0.2) # 添加在fc1之后 - 调整L2正则化系数
- 使用更大的训练数据集
5. 模型部署优化建议
在实际应用中我们还做了以下改进：
- 动态特征更新：建立数据管道自动获取最新指标
- 集成预测：组合多个模型的预测结果提升鲁棒性
- 量化部署：使用TorchScript将模型导出为移动端可运行格式
python复制# 示例：模型量化导出
traced_model = torch.jit.trace(model, example_input)
traced_model.save("covid_predictor.pt")
这个项目给我的最大启示是：对于时间序列预测问题，简单的全连接网络配合恰当的正则化，其表现往往不输于复杂的LSTM架构，而训练成本却低得多。后续可以考虑加入注意力机制来捕捉关键特征，这在我们最近的实验中已经显示出10%左右的准确率提升。