1. 项目背景与核心需求
"边标边学"是一种典型的增量学习场景,特别适合数据获取成本高或标注资源有限的AI项目。我在计算机视觉领域做数据标注时,经常遇到这样的困境:客户急着要模型效果,但标注团队每天只能产出200-300张合格标注,传统批量训练模式根本来不及。
这个标题实际上提出了五个关键诉求:
- 数据量不足(我没有那么多数据)
- 时效性要求(需要马上学)
- 拒绝僵化规则(不要硬规则)
- 持续进化能力(可以逐步学习)
- 实时反馈机制(边标边学)
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术方案选型
2.1 主动学习(Active Learning)框架
我们最终选择了基于不确定度采样的主动学习方案,其核心流程如下:
python复制while not reach_stopping_criterion():
# 步骤1:用当前已标注数据训练模型
model.train(labeled_data)
# 步骤2:预测未标注数据并计算不确定度
uncertainties = calculate_uncertainty(model, unlabeled_data)
# 步骤3:选择最不确定的样本交给人工标注
to_label = select_most_uncertain(uncertainties, batch_size=50)
newly_labeled = human_label(to_label)
# 步骤4:扩充训练集
labeled_data.add(newly_labeled)
unlabeled_data.remove(to_label)
关键技巧:在计算不确定度时,我们采用预测熵(Prediction Entropy)而非简单置信度,能更好捕捉模型认知盲区
2.2 模型架构设计
考虑到增量学习的特性,我们采用以下架构组合:
- 特征提取器:ResNet18(冻结预训练权重)
- 分类头:2层MLP(允许动态扩展输出维度)
- 不确定性估计:MC Dropout(训练时开启,预测时进行5次前向传播)
3. 实操落地细节
3.1 标注平台集成
我们开发了带智能辅助的标注系统,主要功能包括:
- 自动预
