机器学习实战：特征工程、模型选择与评估指标详解

1. 机器学习实战中的核心思考

最近在整理机器学习项目笔记时，发现很多看似基础的概念在实际应用中会产生意想不到的微妙变化。今天想分享几个在真实业务场景中反复验证过的经验点，这些内容在教科书上往往一笔带过，但恰恰是项目成败的关键。

机器学习不是简单的调包游戏，从数据准备到模型部署，每个环节都有大量需要关注的细节。特别是在工业级应用中，一个参数的选择可能直接影响线上效果。下面就从特征工程、模型选择和评估指标三个维度，聊聊那些容易被忽视但至关重要的实战经验。

2. 特征工程中的魔鬼细节

2.1 数据清洗的边界把控

实际项目中我们常遇到这种情况：清洗太激进会损失信息，太保守又引入噪声。我的经验法则是：

1. 对于数值型特征，采用分位数过滤而非简单阈值。比如用5%-95%分位数作为截断边界，保留5%的极端值但做winsorize处理
2. 类别型特征的空值不要简单填充为"未知"，而是根据目标变量分布做定向填充。例如：
   • 如果空值组别的目标分布与整体差异显著（KS检验p<0.05），单独作为一类
   • 否则合并到相似分布的其他类别

重要提示：永远保留原始数据的备份版本，所有清洗操作必须可逆且记录完整参数

2.2 特征构造的创造性思维

好的特征构造能极大提升模型上限。分享几个实用技巧：

• 时间序列特征：不要局限于滑动平均，试试这些：

  python复制# 季节性差分特征
  df['seasonal_diff'] = df['value'] - df['value'].shift(season_period)
  
  # 变化加速度特征
  df['change_rate'] = df['value'].pct_change()
  df['acceleration'] = df['change_rate'].diff()
  

• 交叉特征：对于推荐系统，用户-物品的交叉统计比单独统计更有效。例如：

  • 用户点击该类目的平均停留时长
  • 该物品被相似用户群点击的比例

3. 模型选择的实战逻辑

3.1 树模型 vs 神经网络的选用标准

很多教程会说"小数据用树模型，大数据用神经网络"，实际情况要复杂得多。我的决策框架：

3.2 集成学习的组合艺术

XGBoost和LightGBM的差异比想象中大。最近一个CTR预测项目中对比发现：

• XGBoost在特征交互更复杂的场景表现更好（AUC高0.005）
• LightGBM训练速度优势明显（快3-5倍）
• 两者的特征重要性排序可能完全不同

解决方案：构建双层模型，先用LightGBM快速筛选特征子集，再用XGBoost精细训练。

4. 评估指标的陷阱与对策

4.1 AUC的局限性

AUC虽然常用但存在明显缺陷：

1. 对正负样本分布敏感：当负样本是随机采样时，AUC会虚高
2. 无法反映预测值校准程度：两个模型AUC相同但预测分布可能差异很大

改进方案：同时计算这些指标

• 分组AUC（按用户/时间等维度分组计算）
• Calibration curve（预测概率分桶后的准确率曲线）
• 业务相关指标（如Top-K准确率）

4.2 离线与线上指标的对齐

经常遇到离线指标提升但线上无效果的情况。关键检查点：

1. 特征一致性：线上特征计算逻辑是否与离线完全一致？
   • 常见问题：时间窗口定义不同导致数据穿越
2. 样本分布：离线验证集的样本分布是否匹配线上真实流量？
   • 建议保留部分线上数据不做训练，作为最终验证集
3. 延迟反馈：转化类目标是否有足够的观察窗口？

5. 生产环境中的模型维护

5.1 模型衰减监测方案

模型性能不是突然下降的，而是逐步衰减。我们采用的监测体系：

1. 基础指标日报：
   • 预测值分布变化（PSI <0.1）
   • 特征重要性变化（JS散度）
2. 周级深度检测：
   • 模拟线上环境重训练对比
   • 对抗样本测试
3. 应急响应机制：
   • 自动回滚阈值设置
   • 特征异常报警规则

5.2 持续学习的实现路径

完全重训练成本太高，这些增量学习方案更实用：

• 树模型：用新数据fine-tune最后n棵树
• 神经网络：固定底层参数，只更新最后两层
• 集成策略：将新模型作为meta-learner的输入

具体实施时要注意防止灾难性遗忘，我们的做法是保留部分历史数据作为负样本。

6. 避坑指南与实用技巧

1. 内存优化：对于大型稀疏特征
   • 使用category类型替代object
   • 启用LightGBM的two_round_loading参数
2. 加速训练：

   python复制# XGBoost高效参数设置
   params = {
       'tree_method': 'gpu_hist',  # GPU加速
       'predictor': 'gpu_predictor',
       'sampling_method': 'gradient_based'  # 梯度采样
   }
   

3. 特征保存：使用feather格式比pickle快10倍
4. 实验管理：推荐使用MLflow，特别是其artifact存储功能

在最近一个电商推荐项目里，通过调整样本权重使高价值商品的召回率提升23%。关键点是：不要简单按订单金额加权，而是用购买转化率与客单价的乘积作为权重系数。这个细节让模型更关注"既容易购买又高价值"的商品。