通过从单类嵌入的反向蒸馏进行异常检测

文章链接：CVPR 2022 Open Access Repository

源码链接：https://github.com/hq-deng/RD4AD

研究目的

提出了一种新的知识蒸馏范式——反向蒸馏，解决传统知识蒸馏（KD）方法中教师和学生模型架构相似导致的异常表示多样性不足的问题，从而提升异常检测的准确性和鲁棒性。 

 （a）传统知识蒸馏、（b）反向蒸馏。

首先，与传统知识蒸馏框架中教师和学生均采用编码器结构不同，反向蒸馏中T-S模型由异构架构组成：教师编码器和学生解码器；

其次，学生解码器不直接接收原始数据，而是以低维嵌入作为输入，目标是恢复教师模型在不同尺度上的表示；

从回归角度来看，反向蒸馏使用学生网络来预测教师模型的表示，“反向”既指教师编码器和学生解码器的反向结构，也指知识蒸馏的顺序（先蒸馏高层次表示，后是低层次特征）。

反向蒸馏的优势：

①非相似性结构

在提出的T-S模型中，可将教师编码器视为下采样滤波器，学生解码器视为上采样滤波器。这种“反向结构”避免了因非区分性滤波器引起的混淆。

②紧凑嵌入

输入学生解码器的低维嵌入充当正常模式恢复的信息瓶颈。将异常特征视为正常模式上的扰动，紧凑嵌入有助于阻止这些异常扰动传播到学生模型，从而增强T-S模型在异常上的表示差异。

紧凑嵌入是指通过将高维特征表示压缩到一个低维空间，从而保留最重要的信息，同时舍弃冗余或噪声信息的过程。此处是指将教师模型提取的多尺度特征通过一个可训练的单类瓶颈嵌入模块压缩到一个低维的嵌入空间。这个低维嵌入空间保留了正常模式的关键信息，同时过滤掉了异常扰动。 

研究方法

整体框架由三个模块组成：预训练的教师编码器、可训练的单类瓶颈嵌入模块和学生解码器。教师编码器提取多尺度表示，学生解码器从瓶颈嵌入中恢复特征。 

1.反向蒸馏范式

与传统的知识蒸馏不同，反向蒸馏中的教师模型是编码器，学生模型是解码器。学生模型不直接接收原始图像，而是以教师模型的单类嵌入作为输入，目标是恢复教师的多尺度表示。

2.单类瓶颈嵌入（OCBE）模块

为进一步压缩特征表示，引入单类瓶颈嵌入模块，该模块由多尺度特征融合（MFF）块和单类嵌入（OCE）块组成，旨在保留正常模式的基本信息，同时舍弃异常扰动。

引入可训练的单类嵌入块OCE，将教师模型的高维表示投影到低维空间。将异常特征视为正常模式上的扰动，紧凑嵌入充当信息瓶颈，有助于阻止异常扰动传播到学生模型，从而增强T-S模型在异常上的表示差异。

为了解决解码器DD低层次特征重建的问题，多尺度特征融合MFF块在单类嵌入之前连接多尺度表示。为了实现特征连接中的表示对齐，通过一个或多个步长为2的3×3卷积层对浅层特征进行下采样，然后进行批量归一化和ReLU激活函数。然后使用步长为1的1×1卷积层和带有ReLU激活的批量归一化来获得丰富而紧凑的特征。

综上，MFF旨在聚合低层次和高层次特征以构建丰富的嵌入用于正常模式重建，OCE旨在保留对学生解码教师响应有利的基本信息。

3.多尺度特征蒸馏

采用多尺度特征蒸馏策略，通过教师模型的深层和浅层特征来捕捉不同层次的异常信息。低层次特征反映局部异常，而高层次特征反映全局结构异常。

异常评分L

推理阶段，首先考虑像素级异常分数的测量，用于异常定位（AL）。当查询是异常时，学生
D生成与教师不同的表示。通过计算教师和学生模型特征之间的余弦相似度，生成异常图。异常分数通过多尺度异常图的累积计算得出，用于异常检测和定位。

对于异常检测，平均分数图S_AL中的所有值对于具有小异常区域的样本是不公平的。对于任何大小的异常区域，都存在最响应的点。因此将S_AL中的最大值定义为样本级异常分数S_AD。

 启发

特征压缩：压缩特征表示可有效保留正常模式的基本信息，同时舍弃异常扰动；（OCBE

多尺度特征：利用不同层次的特征，可以更全面地捕捉异常信息；（多尺度特征蒸馏策略