零样本视觉异常检测：无需训练的工业质检与医疗影像新方法

1. 论文核心思想与创新点解析

这篇论文提出了一种突破性的视觉异常检测方法，其核心创新在于完全摒弃了传统方法对语言模型或文本监督的依赖。在工业质检、医疗影像分析等实际场景中，我们经常遇到一个痛点：面对全新的检测对象时，既没有足够的异常样本进行模型训练，也难以用文字准确描述"什么是异常"。作者团队另辟蹊径，仅用纯视觉基础模型就实现了跨领域的通用异常检测。

传统方法通常需要针对每个新场景收集大量数据并重新训练模型，而该框架在零样本场景下（完全不接触目标域数据）和少样本场景下（每类仅需1-4张正常图像）都能稳定工作。这相当于给模型赋予了"举一反三"的能力——只要看过少量正常样本，就能自动推演出与之偏离的异常模式。这种特性在产线快速切换、稀有病例检测等场景中具有极高实用价值。

关键突破：模型在测试阶段完全冻结参数，不需要任何反向传播或微调操作。这意味着部署时不需要GPU训练资源，普通推理设备即可运行，大幅降低了落地门槛。

2. 技术架构深度拆解

2.1 整体框架设计

模型采用双分支结构设计：

• 正常特征提取分支：基于预训练的视觉Transformer（ViT）构建，在ImageNet等通用数据集上预训练后直接冻结参数。该分支负责编码输入图像的全局语义特征。
• 异常定位分支：采用轻量级的卷积神经网络，通过特征金字塔结构捕获多尺度局部细节。两个分支的特征会在不同层级进行交互。

这种设计巧妙结合了Transformer的全局理解能力和CNN的局部敏感性。在工业缺陷检测实验中，模型既能识别整体结构异常（如错位、缺失部件），也能捕捉细微的表面缺陷（划痕、污点）。

2.2 零样本异常检测机制

在完全未见过的领域工作时，模型通过以下步骤实现异常判断：

1. 将输入图像分割为N×N的网格块
2. 计算每个网格块特征与预训练数据集中百万级图像块的马氏距离
3. 通过高斯混合模型建模正常特征的分布边界
4. 偏离分布超过阈值的区域判定为异常

这种方法本质上是在利用大规模预训练获得的"常识"——在自然图像中哪些视觉模式是合理的。当遇到明显违背这些模式的特征时（如金属表面的有机纹理），即使从未见过该类异常也能识别。

2.3 少样本适配策略

当提供1-4张正常样本时，模型会启动更精确的适配流程：

1. 提取参考图像的