1. 核心基础:模型评估指标详解(必看)
在网络安全领域,模型评估从来不是简单的"准确率"数字游戏。我们面对的是高度不平衡的数据分布——正常流量往往占99%以上,而攻击流量可能不足1%。这种情况下,一个将所有流量都预测为正常的"傻瓜模型"也能达到99%准确率,但这显然毫无价值。
1.1 入侵检测专用评估指标
检测率(Recall/True Positive Rate):这是入侵检测系统的生命线。计算公式为:
code复制检测率 = 正确识别的攻击样本数 / 总攻击样本数
在实际部署中,我们宁可错杀一千(适当误报),不可放过一个(漏报)。因此检测率必须优先保障,建议生产环境不低于98%。
误报率(False Positive Rate):计算公式为:
code复制误报率 = 被误判为攻击的正常样本数 / 总正常样本数
这个指标直接影响运维人员的工作负担。根据我的实战经验,超过5%的误报率就会导致警报疲劳。
精确率(Precision):反映模型预测为攻击的样本中,真实攻击的比例。计算公式:
code复制精确率 = 正确识别的攻击样本数 / 模型预测为攻击的总样本数
在金融等敏感场景,这个指标尤为重要。
F1 Score:检测率与精确率的调和平均数,适合作为综合指标:
code复制F1 = 2 * (精确率 * 检测率) / (精确率 + 检测率)
ROC曲线与AUC值:通过绘制不同阈值下的TPR-FPR曲线,评估模型整体区分能力。AUC>0.99是优秀入侵检测模型的基本要求。
注意:不要孤立看待这些指标。我曾见过AUC达到0.998的模型,在实际流量中却表现糟糕——因为测试集没有覆盖新型攻击模式。
1.2 实验环境准备
延续前两篇的环境配置:
- Ubuntu 20.04 LTS
- Python 3.8.10
- TensorFlow 2.6.0
- Scapy 2.4.5 (用于实时抓包)
- 测试数据集:CIC-IDS2017(已预处理为28x28灰度图像格式)
硬件建议:
- 开发阶段:NVIDIA RTX 3060及以上显卡
- 生产部署:Intel Xeon Silver 4210 + T4显卡(性价比之选)
关键文件准备:
- 训练好的模型:
lenet5_ids_model.h5 - 测试数据集:
test_flows.npy(特征),test_labels.npy(标签) - 预处理脚本:
preprocess.py(与训练阶段保持一致)
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 模型评估全流程
2.1 依赖库与数据加载
python复制import numpy as np
import tensorflow as tf
from sklearn.metrics import classification_report, roc_curve, auc
import matplotlib.pyplot as plt
# 加载测试数据
X_test = np.load('test_flows.npy')
y_test = np.load('test_labels.npy')
# 加载模型
model = tf.keras.models.load_model('lenet5_ids_model.h5')
# 数据归一化(必须与训练时一致!)
X_test = X_test.astype('float32') / 255.0
X_test = np.expand_dims(X_te
