机器学习数据不平衡问题：欠采样与过采样实战指南

1. 数据不平衡问题的本质与挑战

在机器学习项目中，数据不平衡问题就像一位厨师面对一桌食材时发现：90%是土豆，只有10%是其他蔬菜。这种不均衡会导致模型（厨师）过度关注多数类（土豆），而忽视少数类（其他蔬菜）的重要特征。我在实际项目中遇到过文本分类任务中正负样本比例达到100:1的极端情况，模型准确率看似很高（99%），但对少数类的召回率却是灾难性的0%。

数据不平衡问题主要来源于两个层面：

• 客观分布：真实世界中某些事件就是稀少（如金融欺诈、罕见病诊断）
• 采集偏差：数据收集过程人为导致的倾斜（如爬虫抓取的网页类型偏好）

传统解决方案如调整分类阈值虽然简单，但往往治标不治本。真正要解决的是训练数据本身的表征能力问题，这就引出了欠采样与过采样这对"黄金组合"。

关键认知：数据不平衡影响的不是最终指标的数字游戏，而是模型学习到的决策边界是否真正反映了业务需求。

2. 欠采样：数据质量的精炼艺术

2.1 核心原理与适用场景

欠采样如同淘金——通过减少多数类样本量来凸显少数类的价值。其数学本质是调整数据分布的先验概率P(X)，使模型在训练时各类的梯度更新频次趋于平衡。我在NLP项目中验证过，当多数类样本量超过少数类100倍时，简单的随机欠采样就能提升少数类F1-score达40%。

最适合欠采样的三种场景：

1. 数据总量足够大（至少10万+样本）
2. 多数类存在大量冗余或低质量样本
3. 计算资源有限需要加速训练

2.2 智能欠采样实战方案

2.2.1 基于困惑度的文本筛选

python复制from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

def perplexity_filter(texts, model_name="gpt2", threshold=15.0):
    """
    基于语言模型困惑度筛选高质量文本
    :param texts: 待过滤文本列表
    :param threshold: 困惑度阈值（建议10-20之间）
    :return: 高质量文本列表
    """
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    model = AutoModelForCausalLM.from_pretrained(model_name)
    model.eval()
    
    filtered = []
    with torch.no_grad():
        for text in texts:
            inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=512)
            loss = model(**inputs, labels=inputs["input_ids"]).loss
            ppl = torch.exp(loss).item()
            if ppl < threshold:
                filtered.append(text)
    return filtered

这个方法的实际效果比想象中更显著。在某电商评论分类项目中，通过困惑度过滤（threshold=12）移除了约30%的多数类样本，不仅平衡了数据，还将整体准确率提升了5%，因为去除了大量无意义的灌水评论。

2.2.2 分层领域平衡采样

python复制import random
from collections import defaultdict

def domain_aware_sampling(data, domain_key_fn, target_ratios):
    """
    按领域分层采样
    :param data: 原始数据列表
    :param domain_key_fn: 从样本提取领域标识的函数
    :param target_ratios: 各领域目标占比字典
    :return: 平衡后的数据列表
    """
    domain_data = defaultdict(list)
    for item in data:
        domain = domain_key_fn(item)
        domain_data[domain]