深度聚类新方法LFSS：利用样本稳定性提升无监督学习效果

1. 论文核心思想解析

这篇ICML 2025论文《Learning from Sample Stability for Deep Clustering》提出了一个新颖的深度聚类方法LFSS（Learning From Sample Stability），其核心创新点在于利用训练过程中样本表征的稳定性作为监督信号来指导模型优化。这个思路在无监督学习领域具有突破性意义，因为它首次将训练动态本身转化为有价值的学习信号。

1.1 样本稳定性的定义与观测

样本稳定性（sample stability）指的是同一个样本在连续训练轮次（epoch）中其表征（representation）的变化程度。论文通过大量实验发现了三个关键现象：

1. 不稳定样本与错误聚类的强相关性：那些在训练过程中表征波动较大的样本，最终被错误聚类的概率显著更高。这暗示着稳定性可以作为一种预测聚类质量的早期指标。

2. 长期不稳定样本的存在：部分样本在整个训练过程中持续表现出不稳定性，这些样本往往难以被模型"记住"或稳定分类。

3. 不稳定样本的视觉特性：通过人工检查发现，这些长期不稳定的样本通常具有视觉上的复杂性、非常规性（atypical）或罕见性，比如含有遮挡、特殊视角或罕见变体的图像。

实际应用中发现，在CIFAR-10数据集中，大约15-20%的样本会表现出这种长期不稳定性，它们往往对应着类别边界上的困难样本或标注可能存在问题的样本。

1.2 稳定性作为监督信号的合理性

传统深度聚类方法主要依赖静态的相似度度量或重构误差，而忽略了训练动态中蕴含的有价值信息。这篇论文的创新之处在于认识到：

• 稳定性反映了模型对样本的"理解"程度：稳定表征意味着模型已经掌握了该样本的关键特征
• 不稳定性揭示了学习难点：持续不稳定的样本往往对应着数据分布中的边界案例或异常点
• 稳定性信号是自监督的：它完全来自训练过程本身，不需要任何外部标注

这种思路与人类学习过程有相似之处——我们也会通过反复确认自己是否能够稳定回忆或识别某个概念来判断是否真正掌握了它。

2. LFSS方法详解

2.1 整体框架设计

LFSS方法的整体流程可以分为四个关键步骤：

1. 初始聚类：使用K-means在原始样本表征上进行初始聚类
2. 稳定性计算：跟踪每个样本在连续epoch中的表征变化
3. 稳定性感知优化：根据稳定性调整样本权重和损失函数
4. 对比学习增强：通过聚类感知的对比学习进一步优化表征

整个框架采用了在线网络和目标网络的孪生架构，其中：

• 在线网络（online network）接收数据增强版本并参与梯度更新
• 目标网络（target network）通过移动平均更新，提供更稳定的表征参考

2.2 稳定性计算与损失函数

2.2.1 稳定性度量

对于样本x_i，其在epoch t的稳定性S_i^t定义为：

S_i^t = 1 - ||z_i^t - z_i^{t-1}||_2

其中z_i^t是样本x_i在epoch t的表征。这个简单的度量直接反映了表征变化的幅度。

2.2.2 稳定性感知损失

LFSS的核心损失函数由三部分组成：

1. 聚类损失：基于初始K-means结果的交叉熵损失
2. 稳定性损失：鼓励稳定样本保持表征一致性
3. 对比损失：聚类感知的对比学习损失

其中最具创新性的是稳定性损失：

L_stab = Σ_i (1-S_i) * ||z_i^{online} - z_i^{target}||_2^2

这个损失函数实现了两个关键功能：

• 对不稳定样本（S_i小）施加更大的优化压力
• 通过在线网络和目标网络的表征差异来度量稳定性

2.3 对比学习模块

为了进一步增强聚类效果，LFSS引入了改进的对比学习机制：

1. 正样本对定义：同一聚类内的样本视为正样本对
2. 负样本对定义：不同聚类间的样本视为负样本对
3. 温度系数调整：根据聚类纯度动态调整对比损失的温度参数

这种设计使得对比学习能够与聚类目标协同工作，而不是相互冲突。实验表明，这种聚类感知的对比学习比传统实例对比学习更适合深度聚类任务。

3. 实现细节与调参经验

3.1 网络架构选择

在实际实现中，论文采用了以下架构配置：

• 主干网络：ResNet-18（小规模数据集）或ResNet-50（大规模数据集）
• 投影头：2层MLP（隐藏层512维，输出128维）
• 优化器：LARS优化器，初始学习率0.2，权重衰减1e-6
• 训练时长：400-800 epoch（取决于数据集规模）

实践中发现，投影头的设计对性能影响显著。过小的投影头会限制表征能力，而过大的投影头则可能导致过拟合。128维的输出空间在大多数情况下取得了最佳平衡。

3.2 关键超参数设置

1. 稳定性计算窗口：论文使用了滑动平均来平滑稳定性计算，窗口大小设为5个epoch
2. 损失权重平衡：聚类损失、稳定性损失和对比损失的权重比为1:0.5:0.3
3. 温度参数：对比损失的温度系数τ初始设为0.1，根据聚类纯度动态调整

3.3 训练技巧与加速

1. 记忆库（memory bank）：维护一个样本表征的队列来高效计算对比损失
2. 混合精度训练：使用AMP（自动混合精度）加速训练过程
3. 渐进式聚类更新：每隔k个epoch更新一次聚类分配，避免过早固化

4. 实验结果与分析

4.1 基准数据集表现

在CIFAR-10、CIFAR-100和ImageNet-10数据集上，LFSS相比之前的深度聚类方法（如DeepCluster、SCAN）取得了显著提升：

4.2 消融实验发现

通过系统的消融实验，论文验证了各组件的重要性：

1. 稳定性信号的作用：移除稳定性损失会导致性能下降7-9%
2. 对比学习的影响：去掉对比学习模块会使准确率降低5-6%
3. 长期不稳定样本的处理：专门优化这些样本带来了约3%的提升

4.3 可视化分析

t-SNE可视化显示，LFSS学习到的表征具有以下特点：

1. 类内距离更小，类间距离更大
2. 长期不稳定样本多位于类别边界区域
3. 随着训练进行，不稳定样本逐渐向所属类别中心移动

5. 实际应用建议

5.1 适用场景判断

LFSS方法特别适合以下场景：

1. 数据集中存在显著比例的困难样本（模糊、遮挡、罕见变体等）
2. 类别分布不均匀，存在长尾现象
3. 需要完全无监督的聚类解决方案

5.2 常见问题排查

1. 聚类结果不稳定：

   • 检查初始聚类质量，适当增加K-means的初始化次数
   • 调整稳定性计算窗口大小（通常5-10个epoch）

2. 性能提升不明显：

   • 验证数据增强策略是否合适
   • 检查投影头维度是否匹配数据复杂度

3. 训练速度过慢：

   • 启用混合精度训练
   • 减小记忆库大小（trade-off with performance）

5.3 扩展方向

基于LFSS的核心思想，可以考虑以下扩展：

1. 多模态稳定性：不仅考虑表征稳定性，还包括预测稳定性、注意力稳定性等
2. 动态权重调整：根据训练阶段自适应调整稳定性损失的权重
3. 半监督扩展：在有少量标注时，将标注信息与稳定性信号结合

在实际项目中应用LFSS时，我发现一个实用技巧是定期可视化稳定性分布——将样本按稳定性排序后检查最不稳定的一些样本，这往往能揭示数据集中潜在的问题或特殊模式。例如，在一个商品图像聚类项目中，这种方法帮助我们发现了拍摄角度异常的样本批次，进而改进了数据采集流程。